python网页抓取功能非常强大,使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意,可能很多网站都设置了防采集功能,不是那么轻松就能抓取到想要的内容。
今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。
最基础的抓取:
# @param 分别用python2和python3伪装浏览器爬取网页内容
# @author 编程之家 jb51.cc|www.jb51.cc
#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @Author 512pic
import urllib.request
url = "http://jb51.cc"
html = urllib.request.urlopen(url).read()
print(html)
但是...有些网站不能抓取,进行了防采集设置,所以我们要变换一下方法
python2中(最新稳定版本python2.7)
# @param 分别用python2和python3伪装浏览器爬取网页内容
# @author 编程之家 jb51.cc|www.jb51.cc
#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @Author jb51.cc
import urllib2
url="http://jb51.cc"
req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML,like Gecko) Chrome/23.0.1271.64 Safari/537.11','Accept':'text/html;q=0.9,*/*;q=0.8','Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3','Accept-Encoding':'gzip','Connection':'close','Referer':None #注意如果依然不能抓取的话,这里可以设置抓取网站的host
}
req_timeout = 5
req = urllib2.Request(url,None,req_header)
resp = urllib2.urlopen(req,req_timeout)
html = resp.read()
print(html)
python3中(最新稳定版本python3.3)
#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @Author 512pic
import urllib.request
url = "http://jb51.cc"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML,'Referer':None #注意如果依然不能抓取,这里可以设置抓取网站的host
}
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。