如何解决Python-有什么方法可以从Network的XHR选项卡上通过Web抓取信息吗?
我已经做了很多在线研究,通读了有关Stack Overflow的许多类似问题,但是找不到任何有用的东西。
我正在尝试从房屋网站上抓取一些信息,以获取研究论文。我不能使用请求(我不认为),因为它们的用户名和密码字段没有“名称”,并且该站点需要登录,因此我尝试使用Selenium。该网站使用无限滚动显示其信息。
当我在页面上滚动时,会弹出推荐列表。
我只是想知道是否有任何方法可以使用Python访问此选项卡中的信息,以便我可以解析和分析数据?
我没有想到其他方法吗?
谢谢!
解决方法
执行以下步骤:
- 打开Web控制台
- 转到网络并设置XHR
- 在顶部,您将看到“请求URL”
- 将其复制并通过请求/硒向该URL发出请求
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。