如何解决一个 ScrapySplash 服务器可以处理来自多个 Spider 的多个 SpashRequests 吗?
我有一个爬取多个 URL(100 多个)的 Spider,我计划同时使用 Requests
和 SplashRequests
,因为该网站需要 JavaScript 呈现。而且,我正在考虑为 URL 运行 Spiders simultaneously。
请注意,我的 Spider 会执行很多一系列回调。
ScrapySplash 是否能够处理来自多个 Spider 的同时请求?
也就是说,即使只有 Scrapy-Splash 在 localhost:8050 上运行(通过 Docker)?如果是,我该如何实施或有更好的替代方案?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。