如何解决抓取网站 503 错误和输出问题
我是初学者,第一次尝试使用这些工具在 Jupyter Notebook 中抓取网站。我的大部分代码都是基于示例,我不能说我有深刻的理解...
我正在尝试在 Python + Beautiful Soup 中发出 HTTP 请求,以从网站读取数据以编译一些数据。虽然我已经定义了一个用户代理并尝试处理 cookie,但此时我再次收到 503 错误。我曾经让它工作没有错误,但后来我无法解码输出。现在我又回到了 503 错误。不记得我改变了什么,我已经修补了一段时间了,一旦你退出笔记本,Jupyter 就不能很好地保存更改日志
我是否做错了什么,还是该网站只是在保护自己免遭抓取?
数据仅供个人使用,我喜欢编译这样的东西,然后构建数学模型和/或深度学习来预测新数据。只是为了个人乐趣,如果我想卖掉我的车会很有帮助...
代码:
from urllib.request import urlopen as uOpen
from urllib.request import Request as uReq
from urllib.request import build_opener as uOpener
import urllib.parse
import requests
import pprint
import json
from requests.exceptions import HTTPError
from socket import error as SocketError
from http.cookiejar import CookieJar
from bs4 import BeautifulSoup as soup
my_headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/87.0.4280.141 Safari/537.36","Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8","Accept-Language": "en-US,en;q=0.5","Accept-Encoding": "gzip,deflate,br","Referer": "https://www.google.com/","DNT": "1","Connection": "keep-alive","Upgrade-Insecure-Requests": "1"
}
my_url ='https://www.nettiauto.com/toyota/prius?id_country[]=73&page=1'
try:
req=uReq(my_url,None,my_headers)
cj = CookieJar()
opener = uOpener(urllib.request.HTTPCookieProcessor(cj))
uClient = opener.open(req)
data = uClient.read()
except urllib.request.HTTPError as inst:
output = format(inst)
print(output)
uClient.close()
encoding = uClient.info().get_content_charset()
page_html = data.decode(encoding,errors='ignore')
page_soup = soup(page_html,"html.parser")
入汤前输出:
'\x1f\x08\x00\x00\x00\x00\x00\x00\x03}r۶\x7f?\x05ʶt"QnlK\x1d֤\x1328\x10\tIH%Aj\x7f?Og\x0bMY\x00o(YrlϴĖH\\\x16\x16\x16\x16\x16\rG<yӧh"<\x17yc\x7f4\x1fOΟ\x7f>??yL@\x01f!\x153O_iH\x08\x1f뗗eS~K\n2r&r5uG8`Z\rth8ө\x04V\x1b\x1dOW~A\x07fSjPlFTC\'h`\x07\x01\x19ѫ\x07q;|\x1e[(\x11\x11":k9\x13\'\x1aշ&ȕCȞ $Y4TOa#}!\x1dP\x1fF\x08Aq$x\x18b\x7f30\\/0aN90z\x19Goȡ$$.A\x03\x17XG瑈B\x11A\x13N\t\x0c\t\x1c\\p&0<.0r;ןPĈQ\x12Ҹ\x0b\x0e\'v\x13fe\x00\x01\x1fr\x11`\x1fqU\x1crR\x0bِ\\imlOJ\x1f_GXyiA\x06\x07\x0b\x1bft7ǍF\x1e[GG\x1aǝΓGݕƜ]R\x0b \x19\txi^3\x7f?\x0fu~zѓ/.&fj\\Oyk\x0fO\x021tE=<Γ\nPSxP+2\x19>u:\x12\x01\x03H^-І^]#^\x13Ym{\x19q}o\x15@\x1dkLp`O\x07Աl\x1e1\x11߽7\x1fxLfa\x01SB3\x1bf2*.eS\x14\x10\x13\x1e\x08;\x12ڀI@F\x1bPֽ%\x11a1rYΰ53hK\\C\x12zMa쪦Xƌ3jcwq\x04MZ® \x01Âh#\x0e}3wB; !\x1cTU:br:-ÿ,wm^qRn3\x1b\x1b&\tmF\x10 i`3e*\x0c\x1d\t*\\2Ha\ngN\x04>\x04\x1eUy\x04\x1e#\x0f3<&AV\x129[fi=G\x11<\r\\|Yuaխʇw>w\x0fG4\x16\x1e\n\x1c\x1e#\t\x16\\DS+U2#L\x1cr\x17acp\x034;PK<Dh~ǯGawwt; XH9T\x1d~/9XxN\x0f\x07n=(\x0e/t\x1cΙ\x17AD\x0e/0{%5\x1d\n\r\x02c$YQ@~!}踇#\x01a\x15wNYH\x02x@\x17Qpc|I/\x0e#ZR(+Us0UK?NSrx\x14n\x1f\njO\tvH%]-\x12ӈ3\x11c\x12r;\x0c\x7f\x18akg\x07Mè6\rV[\x01ic\x18V\r\x03j0YK\t!"Gһ,A<ł\x19L\x17\x18v#n^x51i\x12n\x07Cm^/hR"Wrٻu\'bȯ\x1a-r^\n0!\x10\x17\x02iro\x11\t浈3S7\x1b{t\x0fPU`\x1e*t3\x17;/C\x1d{c1KjGv7bl˂,O8#^fBڦC;\t~js``gG ̆qe6/\r+ 2+<ƕn9Z\n\x1d\x06\x148r\x0ckkRZ(:NS\x00~B:vv\x19`\'\x07tyR._\x1bahVֆѫ\x0f}3ݎ\x1ar\x04P\x1b\x03\x0b6g!aG}T2K?\x04!\\|\x04\x0b\\P/\x16V\x19vaA_y$aj@F\x01\t\'OF#̘nݐ\x1cz\x13bO\x1f*\x11*Þ"\x0f)Gc\x161\x16(\x14\x01e\x00,aO˥1\x11"=\x7f\x0cC-UQ\x86/U\x14FM°#\x084#\x10e|Jba:B1\x01N8\x08<IBޙ"\n]\x13~JUT\x12˱C\x1c\x1c$r6|\x08Rz_AQͬ\x10D<K:(^\x14ȵ\x18R\x15^\x15(\x05Jrarw:dMj6Q\nB\x10\x13Pv\x1b\x104.Y\n0)\x1a*BI!嬸eYO\\k2n{\x17\x0e8>{\x0b߱}ܻlL#\'eRA\x1f>}۫ב$/$zlGo^ EG{J*\x15ay\n\x15^P\x10F\x02M.\x12\x1cf\x18A#\x1e\x11d\x0b\x01\\@q\x13rVkU\x04\x1c1\x0f\x15wz\x04(c\x0e!)r5\x073r)IN_@\x13`WU\x0e\r\x16o\x10\x165ؑ\x0e̎\x7fuRFj\x13\x02A\x0e}8\x17\x0f\x07cg$\x7f\x19д\x0c\x0el\x17}\r\x03\x1ev]\x0bd$<0\x174sΩGP]ןOP\x0fVєS\x0c\x05Rn.\x10]\x7f\n\x05\x0eaIq\'\x11r*iH\x08I\x14\tadE\x0ciR\x1b\x04\nP`}uD\x15,{8,\x0b\x17MMϐ_=vyH\r\x7fmn\x06\x1f#ώ3\x1dy1٘sR\x05at\x05.-"ڦ]hvKnhٞU)yuO6)w\x0bv[-\x03F9\\\x7f
<and so on>
汤后输出:
}r۶?ʶt"QnlK
֤28 IH%Aj?Og
MYo(YrlϴĖH\
G<yӧh"<yc4oο>??yL@f!3O_i뗗eS~K
2r&r5uG8`Z
th8өV
OW~AfSjPlFTC'h`ѫq;|
[(":k9'շ&ȕCȞ $Y4TOa#}!
PAq$xb30\/0aN90zGoȡ$$.AXG瑈BAN
\p&0<.0r;ןPĈQҸ
'vfer`qU
rR
ِ\imlOJ_GXyiA
ft7ǍF
[GGǝΓGݕƜ]R
xi^3?u~zѓ/.&fj\OykO1tE=<Γ
PSxP+2>u:H^-І^]#^Ym{q}o@
kLp`OԱl
1߽7xLfaSB3f2*.eS
;ڀI@FPֽ%a1rYΰ53hK\CzMa쪦Xƌ3jcwqMZ® Âh#}3wB; !
TU:br:-ÿ,wm^qRn3& mF i`3e*
我在这里感到有些沮丧和困惑。有没有人知道出了什么问题?
感谢所有帮助,谢谢。
解决方法
我正在 nettiauto.com 上尝试与您类似的练习,并发现该网站使用 CloudFlare 的技术来防止不需要的机器人流量。结果,通过使用“请求”来拉取其域中的任何特定页面,我得到了相同的 503 错误。
解决此 503 错误的方法是使用适用于 Python 的云爬虫库 (https://pypi.org/project/cloudscraper/)。您可以在该网站上找到有关其工作原理等的更多信息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。