微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Python Splinter:打开 Chrome 开发工具修复超时

如何解决Python Splinter:打开 Chrome 开发工具修复超时

我运行的每周刮擦之一已超时。他们的错误页面没有搜索结果,而是显示一条消息,翻译为“网络服务器不可用”

程序将重新加载页面并重试。有时它会自己过去,但这可能需要一段时间并且不能保证。 browser.reload() 将超时并在捕获异常时重试。但是如果我在卡住的任何时候打开开发工具,页面将立即开始正常运行,重新加载将停止挂起,页面将加载,搜索结果将在那里。接下来的几次(从 3 到 20 多个)搜索会很好,然后它会再次发生,开发工具让事情回到正轨。

谁能提供有关为什么会发生这种情况的任何见解?

他们不使用验证码或其他任何东西,但这可能是在限制流量的保护伞下吗?

我曾尝试使用 splinter/selenium 开放开发工具,但未能实现。

我正在运行搜索位置列表和每个位置的日期列表。我的下一个想法是构建一个函数来终止浏览器实例,创建一个新实例,并处理最初访问该站点时所需的一些事情,以便它可以在循环中从停止的地方继续。在此之前,我还有什么需要研究的吗?在这个特定场景中,Google 没有给我任何信息。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?