服务器在 python 中使用请求库时发送 403 状态代码，但适用于浏览器

如何解决服务器在 python 中使用请求库时发送 403 状态代码，但适用于浏览器

我正在尝试使用 python 的请求模块自动登录，但是每当我使用 POST 或 GET 请求时，服务器都会发送 403 状态代码；奇怪的是，我可以使用任何浏览器访问相同的 URL，但它不能用于 curl 和请求。这是代码：

import requests
import lxml
from bs4 import BeautifulSoup
import os

url = "https://ais.usvisa-info.com/en-am/niv/users/sign_in"
req = requests.get(url).text
soup = BeautifulSoup(req,'lxml')
ready = soup.prettify()

FILE = open("usvisa.html","w")
FILE.write(ready)
FILE.close()

如果有任何帮助或想法，我将不胜感激！

解决方法

可能是 /robots.txt 阻止了您。尝试使用自定义代理覆盖用户代理。

import requests
import lxml
from bs4 import BeautifulSoup
import os

headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/87.0.4280.141 Safari/537.36"}


url = "https://ais.usvisa-info.com/en-am/niv/users/sign_in"
req = requests.get(url,headers=headers).text
soup = BeautifulSoup(req,'lxml')
ready = soup.prettify()

FILE = open("usvisa.html","w",encoding="utf-8")
FILE.write(ready)
FILE.close()

您在打开文件时也没有指定文件编码。