使用bs4删除Google知识框

如何解决使用bs4删除Google知识框

我正在尝试抓取Google搜索结果。这样，去谷歌搜索“苹果”。您将在知识框中的搜索结果的右列中看到“股票价格：AAPL”

我需要从搜索结果中删除AAPL。检查源之后，我将其称为“ kno-fv”。

page = requests.get("https://www.google.com/search?rlz=1C1CHBF_enUS916US916&ei=R3VZX_OGNvG9gge5n42YDw&q=apple&oq=aaple&gs_lcp=CgZwc3ktYWIQAzIQCC4QsQMQxwEQowIQQxCTAjIECAAQQzILCC4QsQMQxwEQowIyCAgAELEDEIMBMgQIABBDMgcIABCxAxBDMgUIABCxAzICCAAyBQgAELEDMggILhDHARCvAVAAWABgiiBoAHAAeACAAZIBiAGSAZIBAzAuMZgBAKoBB2d3cy13aXrAAQE&sclient=psy-ab&ved=0ahUKEwizxsCurN3rAhXxnuAKHblPA_MQ4dUDCA0&uact=5")
soup = BeautifulSoup(page.content,'html.parser')
ticker=soup.find('span',attrs={'class': "kno-fv"})
data = ticker.get_text()

但是，它总是给我错误或找不到“ AAPL”。

解决方法

谷歌在没有正确用户代理标头的情况下阻止。我已从您的代码示例中将用户代理字符串传递给 requests.get，它成功提取了该 AAPL 代码。

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent":
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/80.0.3987.87 Safari/537.36"
}

page = requests.get(
    "https://www.google.com/search?rlz=1C1CHBF_enUS916US916&ei=R3VZX_OGNvG9gge5n42YDw&q=apple&oq=aaple&gs_lcp=CgZwc3ktYWIQAzIQCC4QsQMQxwEQowIQQxCTAjIECAAQQzILCC4QsQMQxwEQowIyCAgAELEDEIMBMgQIABBDMgcIABCxAxBDMgUIABCxAzICCAAyBQgAELEDMggILhDHARCvAVAAWABgiiBoAHAAeACAAZIBiAGSAZIBAzAuMZgBAKoBB2d3cy13aXrAAQE&sclient=psy-ab&ved=0ahUKEwizxsCurN3rAhXxnuAKHblPA_MQ4dUDCA0&uact=5",headers=headers)
    
soup = BeautifulSoup(page.content,'html.parser')
ticker = soup.find('span',attrs={'class': "kno-fv"})
data = ticker.get_text()

print(data)

输出

AAPL (NASDAQ) $139.07 +2.20 (+1.61%)Jan 22,4:00 PM EST - Disclaimer

或者，如果您只想访问从搜索结果中提取的数据而不抓取 Google，您可以使用 SerpApi。这是一项免费试用的付费服务。

from serpapi import GoogleSearch
import os

params = {
  "q": "Apple","api_key": os.getenv("API_KEY")
}

search = GoogleSearch(params)
data = search.get_dict()

ticker = data["knowledge_graph"]["stock_price"]

print(ticker)

输出

AAPL (NASDAQ) $139.07 +2.20 (+1.61%)Jan 22,4 - 00 PM EST - Disclaimer

免责声明：我在 SerpApi 工作。