如何解决如何在python中使用scrapy或请求发送if-none-match标头?
我正在使用Scrapy抓取一个网站,但其中的某些API不会在没有'if-none-match'标头的情况下返回JSON数据。
我的API列表超过100个,因此我想生成自动标头以获取有效的JSON文件。任何人都知道如何处理此问题,或者有其他方法可以消除它。
谢谢。
解决方法
如果要为所有请求定义标头,则可以使用the DEFAULT_REQUEST_HEADERS
setting:
# settings.py
DEFAULT_REQUEST_HEADERS={
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Language': 'en','If-None-Match': '*',}
或the headers
parameter(针对个人请求):
req = scrapy.Request(url,callback=self.parse,headers={'If-None-Match': '*'})
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。