Python Requests-HTML-无法找到特定数据

如何解决Python Requests-HTML-无法找到特定数据

我正在尝试使用python request-html库抓取网页。
指向该网页的链接是https://www.koyfin.com/charts/g/USADebt2GDP?view=table，下图显示（红色四舍五入的数据）我想要获得的数据。

我的代码是这样的，

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://www.koyfin.com/charts/g/USADebt2GDP?view=table')
r.html.render(timeout=60)
print(r.text)

这样的网页html

问题是，当我抓取网页时，我找不到我想要的数据，可以在HTML代码中看到正文部分中第一个div标签中的数据。有关如何解决此问题的任何具体建议。

谢谢。

解决方法

问题在于，初始页面加载后，数据正在由JavaScript代码加载。一种解决方案是使用react-ga来驱动Web浏览器来刮取页面。但是，使用普通的浏览器，我查看了正在发出的网络请求，并发现您查找的数据正在通过以下AJAX调用加载：

Selenium

所以：

https://api.koyfin.com/api/v2/commands/g/g.gec/USADebt2GDP?dateFrom=2010-08-20&dateTo=2020-09-05&period=yearly

打印：

import requests

response = requests.get('https://api.koyfin.com/api/v2/commands/g/g.gec/USADebt2GDP?dateFrom=2010-08-20&dateTo=2020-09-05&period=yearly')
results = response.json();
print(results)
for t in results['graph']['data']:
    print(t)

我如何使用该网址

当您单击最后一条消息时：