微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

使用 python 和 requests_html 抓取使用 javascript 呈现的站点

如何解决使用 python 和 requests_html 抓取使用 javascript 呈现的站点

对于个人非商业用途,我希望能够使用 python 从 dappradar 中提取用户计数数据。我尝试使用 requests_html 库中的几种方法,但无法达到预期的结果。有没有办法使用 requests_html 或其他库提取用户数据?

作为第一步,我尝试了以下代码,目的是创建一个包含用户计数元素(以及其他元素)的元素列表。但是,此代码(以及我使用不同方法尝试过的所有其他版本)会生成一个空列表。据推测,如果我可以正确地填充列表,我就可以打印每个元素的文本以获得感兴趣的数量,即用户数。

    from requests_html import HTMLSession

    session = HTMLSession()

    resp = session.get("https://dappradar.com/ethereum/games/axie-infinity")

    resp.html.render()

    containers = resp.html.find("div",containing="article-page__stats-container article- 
    page__stats-container-enabled")

    print(containers)

我欢迎任何关于推进这种方法的建议,但我也愿意接受替代方法

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。