如何解决Requests.get无法使用某些URL
我正在尝试使用Python的请求库发出Get请求。我可以很好地运行quickstart示例,但是当我更改URL时,该代码不会返回很长时间,最后返回许多错误,这些错误引用了请求库代码中的深层代码。我一直在尝试使用Google进行搜索,但这超出了我的初学者的理解。传递给request.get()的URL的语法是否有一些限制?以下是网址无效的代码:
import requests
URL = 'https://www.landsofamerica.com/United-States/lakefront-property/'
r = requests.get(URL)
print(r.text)
"""
NOTE: This code taken from https://requests.readthedocs.io/en/master/user/quickstart/#make-a-request
The example code in the docs *does* execute correctly with this example URL:
URL = 'https://api.github.com/events'
"""
返回的错误很长,我不知道如何找到“最相关的部分”寻求帮助,所以我不认为我应该将所有内容都粘贴到这里吗?谢谢。
解决方法
该网站可能正在阻止抓取请求。
使用标头集合来模仿浏览器。
import requests
URL = 'https://www.landsofamerica.com/United-States/lakefront-property'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
r = requests.get(URL,headers=headers)
print(r.text)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。