如何解决使用Scrapy使用CONCURRENCY_REQUEST同时发送多个请求
请 如何精确配置CONCURRENCY_REQUEST,CONCURRENCY_REQUEST_PER_DOMAIN以同时发送多个请求? 我的DOWNLOAD_DELAY = 5且CONCURRENCY_REQUEST_PER_IP = 1
当我设置CONCURRENCY_REQUEST = 4时,时间没有区别,我也不明白
解决方法
您输入了错误的设置名称
刮{中没有CONCURRENCY_REQUEST
,CONCURRENCY_REQUEST_PER_DOMAIN
和CONCURRENCY_REQUEST_PER_IP
设置。
您需要使用CONCURRENT_REQUESTS
,CONCURRENT_REQUESTS_PER_DOMAIN
CONCURRENT_
not
CONCURRENCY_
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。