Python请求会话不轮换代理

如何解决Python请求会话不轮换代理

我正在使用 (https://proxy.webshare.io/proxy/rotating?) 提供的私有轮换代理，其中每个轮换代理请求都会收到一个新的 IP 地址。当我使用 requests.get('https://httpbin.org/get',headers=headers,proxies=get_proxy()) 每当我提出请求时，它都会返回一个新 IP。但是当使用

session = requests.Session()
session.headers = headers
session.proxies = get_proxy()

session.get('https://httpbin.org/get')

每当我提出请求时，它都会返回相同的 IP。 在代理的情况下，会话对象的行为与 requests.get() 函数有何不同。

解决方法

Session 使用先前为每个后续请求设置的变量/值，例如 Cookie。如果要为会话中的每个请求更改代理，则每次都使用 Prepared Requests 进行设置或只是将其放在函数中：

def send(session,url):
    return session.get(url,proxy=get_proxy())

sess = requests.Session()
sess.headers = headers
resp = send(sess,'https://httpbin.org/get')
print(resp.status_code)

但如果您想隐藏您的原始 IP 以进行抓取或其他操作，您可能不希望保留 cookie 等，因此您不应该使用会话。

,

以下代码有效，它需要一个 proxylistfile.txt 文件来检查每个代理：

from requests import *
import bs4 
import sys 

if len(sys.argv) < 2:
    print('Usage: ./testproxy.py <proxylistfile.txt>')
    sys.exit()

ifco = 'http://ifconfig.co'
PROXIES_FILE = sys.argv[1]
proxy = dict()

with open(PROXIES_FILE) as file:
    for line in file:
        if line[0] == '#' or line == "\n":
            continue
        line_parts = line.replace('\n','').split(':')
        proxy['http'] = f'{line_parts[0]}://{line_parts[1]}:{line_parts[2]}'
        try:
            i = get(ifco,proxies=proxy,timeout=11)
            print(f"{proxy['http']} - successfull - IP ---> ",end='')
            zu = bs4.BeautifulSoup(i.text,'html.parser')
            testo = zu.findAll('p',text=True)[0].get_text()
            print(testo)
        except:
            print(f"{proxy['http']} - unsuccessfull")
            pass
                     

它连接到 ifconfig.co 站点并返回其真实 IP 以检查代理是否有效。 输出将类似于：

http://proxy:port - successfull - IP ---> your.real.ip

输入文件格式应该是：

http:1.1.1.1:3128

,

我终于切换到另一个轮换代理提供商 (https://www.proxyegg.com) 并且问题现已解决。