微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

一个 ScrapySplash 服务器可以处理来自多个 Spider 的多个 SpashRequests 吗?

如何解决一个 ScrapySplash 服务器可以处理来自多个 Spider 的多个 SpashRequests 吗?

我有一个爬取多个 URL(100 多个)的 Spider,我计划同时使用 RequestsSplashRequests,因为该网站需要 JavaScript 呈现。而且,我正在考虑为 URL 运行 Spiders simultaneously

请注意,我的 Spider 会执行很多一系列回调

ScrapySplash 是否能够处理来自多个 Spider 的同时请求

也就是说,即使只有 Scrapy-Splash 在 localhost:8050 上运行(通过 Docker)?如果是,我该如何实施或有更好的替代方案?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。