如何解决使用代理时python请求的问题
我正在尝试使用python请求抓取网站。我们只能使用代理抓取该网站,因此我为此实现了代码。但是,即使我使用代理服务器,它也禁止了我的所有请求,因此我使用了一个网站https://api.ipify.org/?format=json来检查代理服务器是否正常工作。我发现即使使用代理服务器,它也可以显示我的原始IP。代码在下面
from concurrent.futures import ThreadPoolExecutor
import string,random
import requests
import sys
http = []
#loading http into the list
with open(sys.argv[1],"r",encoding = "utf-8") as data:
for i in data:
http.append(i[:-1])
data.close()
url = "https://api.ipify.org/?format=json"
def fetch(session,url):
for i in range(5):
proxy = {'http': 'http://'+random.choice(http)}
try:
with session.get(url,proxies = proxy,allow_redirects=False) as response:
print("Proxy : ",proxy," | Response : ",response.text)
break
except:
pass
# @timer(1,5)
if __name__ == '__main__':
with ThreadPoolExecutor(max_workers=1) as executor:
with requests.Session() as session:
executor.map(fetch,[session] * 100,[url] * 100)
executor.shutdown(wait=True)
我尝试了很多,但不了解如何显示我的IP地址而不是代理ipv4。您可以在https://imgur.com/a/z02uSvi
中找到代码的输出解决方法
您已为http
设置代理并将请求发送到使用https
的网站的问题。解决方法很简单:
proxies = dict.fromkeys(('http','https','ftp'),'http://' + random.choice(http))
# You can set proxy for session
session.proxies.update(proxies)
response = session.get(url)
# Or you can pass proxy as argument
response = session.get(url,proxies=proxies)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。