网络抓取 finviz 以获取有关市值的基本数据

如何解决网络抓取 finviz 以获取有关市值的基本数据

我正在尝试从基本表中的市值中提取 finviz(https://finviz.com/quote.ashx?t=aapl)，但我终生无法找到表或带有美丽汤的班级。似乎每次我使用soup.find_all() 时它都适用于'div'、'td'、'table' 等，但是当我尝试添加一个像{'class':'snapshot- 这样的类时它返回一个空列表td2'}。有谁知道我该如何解决这个问题？

import requests
from bs4 import BeautifulSoup
import bs4

def parseMarketCap():
    response = requests.get("https://finviz.com/quote.ashx?t=aapl")
    soup = bs4.BeautifulSoup(response.content,"lxml")
    table = soup.find_all('td',{'class':'snapshot-td2'})
    print(table)

我也尝试了以下表格，但也没有运气：

table = soup.find_all('table',{'class': "snapshot-table2"})

inspect

fundamental table

解决方法

因为 QHarr 建议您添加 user-agent 以获得正确响应

response = requests.get("https://finviz.com/quote.ashx?t=aapl",headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/83.0.4103.116 Safari/537.36'})

soup = BeautifulSoup(response.text,"lxml")
content_table = soup.find('table',{'class':'snapshot-table2'})
tabel_rows = content_table.find_all('tr')
market_cap = tabel_rows[1].find_all('td')[1].text

print(market_cap)

尝试使用 User-Agent 来处理您的请求：

user_agent = {'User Agent':'YOUR_USER_AGENT'}
r = requests.get('YOURURL',headers=user_agent)
...

您需要一个用户代理标头，然后您可以使用 -soup-contains: 通过其文本定位前面的 td，然后移动到所需的值字段：

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://finviz.com/quote.ashx?t=aapl',headers = {'User-Agent':'Mozilla/5.0'})
soup = bs(r.content,'lxml')
print(soup.select_one('td:-soup-contains("Market Cap")').find_next('b').text)