如何解决通过 vpn 运行 Scrapy-Splash
我正在尝试通过我大学的 VPN 使用 Scrapy-Splash 运行一个抓取工具，因为它需要访问我想要抓取的页面。但是，当我尝试在连接 VPN 的情况下抓取页面时，Scrapy-Splash 不起作用。我在没有 VPN 的情况下尝试过，脚本运行良好。这个问题怎么卖？这是我的错误：
2021-06-27 16:56:27 [scrapy.extensions.logstats] INFO: Crawled 1 pages (at 0 pages/min),scraped 0 items (at 0 items/min)
2021-06-27 16:56:38 [scrapy.downloadermiddlewares.retry] DEBUG: retrying <GET https://www.mergentarchives.com/searchResults.PHP?searchType=annualReports&companyName=3Com+Corp.&compNumber=37958&aracompNumber=0/searchResults.PHP?searchType=annualReports&companyName=3Com+Corp.&compNumber=37958&aracompNumber=0 via http://0.0.0.0:8050/render.html> (Failed 1 times): [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.>]
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
