百度爬虫工程师教你只用500行Python代码构建一个轻量级爬虫框架

百度爬虫工程师教你只用500行Python代码构建一个轻量级爬虫框架

Features

  1. 简单、易用;
  2. 易于定制的 Spider ;
  3. 多线程实现并发下载。

待改进

  1. 更多的测试代码
  2. 添加更多的网站爬虫示例;
  3. 完善爬虫调度,支持 Request 优先级调度。

xcrawler 介绍

项目结构

├── demo (一个示例 Spider)
│ ├── baidu_news.py
│ └── __init__.py
├── README.md (项目文档)
├── setup.py (pip 安装脚本)
├── tests (测试代码,尚未完成)
└── xcrawler (核心代码)
 ├── core
 │ ├── crawler.py (Crawler process,负责管理引擎的配置和启动)
 │ ├── engine.py (Crawler engine,负责调度并完成 URL 请求和调用解析方法)
 │ ├── __init__.py
 ├── __init__.py
 ├── spider
 │ ├── __init__.py
 │ ├── request.py
 │ ├── response.py
 │ └── spider.py (Spider 基类,所有的自定义 Spider 需要从此处继承)
 └── utils (一些工具函数)
 ├── __init__.py
 └── url.py

Crawler engine (生产者+消费者模型)

  1. 引擎启动时会启动一个后台线程池,后台线程池负责下载由调度器提供给它的所有 URL (Request),并将响应(Response)结果存放到队列中;
  2. 引擎的前台解析线程会不断消费处理队列中的响应(Response),并调用相应 Spider 的解析函数处理这些相应;
  3. 引擎负责处页面理解析回来的对象,所有的 Request 对象都会被放到队列中(递归抓取时)等待处理,所有的字典对象(item)送给 Spider 的 process_item 方法处理。

配置介绍

  • 配置项目
  1. download_delay : 每批次之间的下载延迟(单位为秒),认为 0;
  2. download_timeout :下载等待延迟,认为 6 秒;
  3. retry_on_timeout :即当下载超时后,对应的请求是否应该重试;
  4. concurrent_requests :并发下载数;
  5. queue_size :请求队列大小,当队列已满时,会阻塞后续的请求。
  • 示例配置:
  • 进群:548377875   海量学习教程,大牛随时答疑  
settings = {
 'download_delay': 0,'download_timeout': 6,'retry_on_timeout': True,'concurrent_requests': 32,'queue_size': 512
}

Spider 基类关键方法介绍

  1. spider_started :该方法会在引擎启动时被触发调用,你可以通过继承该方法进行一些初始化工作,比如配置 pipeline 输出文件或者数据库连接等等;
  2. spider_idle :该方法会在引擎处理空闲状态(即没有任何 requests 在队列)时被触发调用,你可以通过继承该方法给引擎添加新的请求等(使用 self.crawler . crawl ( new_request,spider = self )即可);
  3. spider_stopped :该方法会在引擎关闭时触发调用,你可以通过继承该方法并在 Spider 结束工作前做一些清理工作,如关闭文件管道、关闭数据库连接等;
  4. start_requests :该方法会为引擎提该 Spider 的对应种子请求;
  5. make_requests_from_url :该方法会为你的 URL 创建一个 Request 对象;
  6. parse :该方法为请求的认解析函数回调,当然你可以可以在创建 Request 时指定其它的回调函数
  7. process_request :每当引擎处理一个 Spider 对应的请求时,该方法会被触发调用,你可以通过继承该方法对 request 做些设置,比如更换随机的 User - Agent ,替换 Cookies 或者代理等;当然,你可以将 request 设置为 None 从而忽略该请求;
  8. proccess_response :每当引擎处理一个 Spider 对应的响应时,该方法会被触发调用
  9. process_item :每当引擎处理一个 Spider 对应的 item 时,该方法会被触发调用,你可以通过继承该方法将抓取并解析到的 item 存储到数据库或者本地文件中。

注意

  1. 你可以在一个 Crawler 进程中装入不同的 Spider class ,但需要保证不同的 Spider 的名称也要不同,否则会被引擎拒绝;
  2. 需要根据情况调整下载延迟和并发数大小;下载延迟尽量不要太大,否则每批请求可能会等待较长时间才会处理完成,从而影响爬虫性能
  3. Windows 下的测试还没做,我用的是 Ubuntu ,所以如果您有什么问题,欢迎反馈哈!

安装

  1. 请移步项目主页 xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码;
  2. 请保证你的安装环境为 Python 3.4+ ;
  3. 请使用 pip 3 setup.py install 安装即可。

示例

from xcrawler import CrawlerProcess
from xcrawler.spider import BaseSpider,Request
from lxml.html import fromstring
import json
__version__ = '0.0.1'
__author__ = 'Chris'
class BaiduNewsspider(BaseSpider):
 name = 'baidu_news_spider'
 start_urls = ['http://news.baidu.com/']
 default_headers = {
 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML,like Gecko) '
 'Chrome/50.0.2661.102 Safari/537.36'
 }
 def spider_started(self):
 self.file = open('items.jl','w')
 def spider_stopped(self):
 self.file.close()
 def spider_idle(self):
 # 引擎空闲时,你也可以从数据库提取新的 URL 进来
 print('I am in idle mode')
 # self.crawler.crawl(new_request,spider=self)
 def make_requests_from_url(self,url):
 return Request(url,headers=self.default_headers)
 def parse(self,response):
 root = fromstring(response.content,base_url=response.base_url)
 for element in root.xpath('//a[@target="_blank"]'):
 title = self._extract_first(element,'text()')
 link = self._extract_first(element,'@href').strip()
 if title:
 if link.startswith('http://') or link.startswith('https://'):
 yield {'title': title,'link': link}
 yield Request(link,headers=self.default_headers,callback=self.parse_news,Meta={'title': title})
 def parse_news(self,response):
 pass
 def process_item(self,item):
 print(item)
 print(json.dumps(item,ensure_ascii=False),file=self.file)
 @staticmethod
 def _extract_first(element,exp,default=''):
 r = element.xpath(exp)
 if len(r):
 return r[0]
 return default
def main():
 settings = {
 'download_delay': 1,'concurrent_requests': 16,'queue_size': 512
 }
 crawler = CrawlerProcess(settings,'DEBUG')
 crawler.crawl(BaiduNewsspider)
 crawler.start()
if __name__ == '__main__':
 main()

百度爬虫工程师教你只用500行Python代码构建一个轻量级爬虫框架

百度爬虫工程师教你只用500行Python代码构建一个轻量级爬虫框架

版权声明

  • 本文由 Christopher L 发表,采用 知识共享署名——非商业性使用——相同方式共享 4.0 国际许可协议 进行许可。请确保你已了解许可协议,并在转载 时声明。
  • 本文固定链接: http://blog.chriscabin.com/?p=1512。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


我最近重新拾起了计算机视觉,借助Python的opencv还有face_recognition库写了个简单的图像识别demo,额外定制了一些内容,原本想打包成exe然后发给朋友,不过在这当中遇到了许多小问题,都解决了,记录一下踩过的坑。 1、Pyinstaller打包过程当中出现warning,跟d
说到Pooling,相信学习过CNN的朋友们都不会感到陌生。Pooling在中文当中的意思是“池化”,在神经网络当中非常常见,通常用的比较多的一种是Max Pooling,具体操作如下图: 结合图像理解,相信你也会大概明白其中的本意。不过Pooling并不是只可以选取2x2的窗口大小,即便是3x3,
记得大一学Python的时候,有一个题目是判断一个数是否是复数。当时觉得比较复杂不好写,就琢磨了一个偷懒的好办法,用异常处理的手段便可以大大程度帮助你简短代码(偷懒)。以下是判断整数和复数的两段小代码: 相信看到这里,你也有所顿悟,能拓展出更多有意思的方法~
文章目录 3 直方图Histogramplot1. 基本直方图的绘制 Basic histogram2. 数据分布与密度信息显示 Control rug and density on seaborn histogram3. 带箱形图的直方图 Histogram with a boxplot on t
文章目录 5 小提琴图Violinplot1. 基础小提琴图绘制 Basic violinplot2. 小提琴图样式自定义 Custom seaborn violinplot3. 小提琴图颜色自定义 Control color of seaborn violinplot4. 分组小提琴图 Group
文章目录 4 核密度图Densityplot1. 基础核密度图绘制 Basic density plot2. 核密度图的区间控制 Control bandwidth of density plot3. 多个变量的核密度图绘制 Density plot of several variables4. 边
首先 import tensorflow as tf tf.argmax(tenso,n)函数会返回tensor中参数指定的维度中的最大值的索引或者向量。当tensor为矩阵返回向量,tensor为向量返回索引号。其中n表示具体参数的维度。 以实际例子为说明: import tensorflow a
seaborn学习笔记章节 seaborn是一个基于matplotlib的Python数据可视化库。seaborn是matplotlib的高级封装,可以绘制有吸引力且信息丰富的统计图形。相对于matplotlib,seaborn语法更简洁,两者关系类似于numpy和pandas之间的关系,seabo
Python ConfigParser教程显示了如何使用ConfigParser在Python中使用配置文件。 文章目录 1 介绍1.1 Python ConfigParser读取文件1.2 Python ConfigParser中的节1.3 Python ConfigParser从字符串中读取数据
1. 处理Excel 电子表格笔记(第12章)(代码下载) 本文主要介绍openpyxl 的2.5.12版处理excel电子表格,原书是2.1.4 版,OpenPyXL 团队会经常发布新版本。不过不用担心,新版本应该在相当长的时间内向后兼容。如果你有新版本,想看看它提供了什么新功能,可以查看Open
1. 发送电子邮件和短信笔记(第16章)(代码下载) 1.1 发送电子邮件 简单邮件传输协议(SMTP)是用于发送电子邮件的协议。SMTP 规定电子邮件应该如何格式化、加密、在邮件服务器之间传递,以及在你点击发送后,计算机要处理的所有其他细节。。但是,你并不需要知道这些技术细节,因为Python 的
文章目录 12 绘图实例(4) Drawing example(4)1. Scatterplot with varying point sizes and hues(relplot)2. Scatterplot with categorical variables(swarmplot)3. Scat
文章目录 10 绘图实例(2) Drawing example(2)1. Grouped violinplots with split violins(violinplot)2. Annotated heatmaps(heatmap)3. Hexbin plot with marginal dist
文章目录 9 绘图实例(1) Drawing example(1)1. Anscombe’s quartet(lmplot)2. Color palette choices(barplot)3. Different cubehelix palettes(kdeplot)4. Distribution
Python装饰器教程展示了如何在Python中使用装饰器基本功能。 文章目录 1 使用教程1.1 Python装饰器简单示例1.2 带@符号的Python装饰器1.3 用参数修饰函数1.4 Python装饰器修改数据1.5 Python多层装饰器1.6 Python装饰器计时示例 2 参考 1 使
1. 用GUI 自动化控制键盘和鼠标第18章 (代码下载) pyautogui模块可以向Windows、OS X 和Linux 发送虚拟按键和鼠标点击。根据使用的操作系统,在安装pyautogui之前,可能需要安装一些其他模块。 Windows: 不需要安装其他模块。OS X: sudo pip3
文章目录 生成文件目录结构多图合并找出文件夹中相似图像 生成文件目录结构 生成文件夹或文件的目录结构,并保存结果。可选是否滤除目录,特定文件以及可以设定最大查找文件结构深度。效果如下: root:[z:/] |--a.py |--image | |--cat1.jpg | |--cat2.jpg |
文章目录 VENN DIAGRAM(维恩图)1. 具有2个分组的基本的维恩图 Venn diagram with 2 groups2. 具有3个组的基本维恩图 Venn diagram with 3 groups3. 自定义维恩图 Custom Venn diagram4. 精致的维恩图 Elabo
mxnet60分钟入门Gluon教程代码下载,适合做过深度学习的人使用。入门教程地址: https://beta.mxnet.io/guide/getting-started/crash-course/index.html mxnet安装方法:pip install mxnet 1 在mxnet中使
文章目录 1 安装2 快速入门2.1 基本用法2.2 输出图像格式2.3 图像style设置2.4 属性2.5 子图和聚类 3 实例4 如何进一步使用python graphviz Graphviz是一款能够自动排版的流程图绘图软件。python graphviz则是graphviz的python实