<h1 style="font-size:2em;color:rgb(0,0);font-family:'PingFang SC','Helvetica Neue',Helvetica,Arial,sans-serif;background-color:rgb(255,255,255);">背景<p style="margin:10px auto;color:rgb(0,sans-serif;font-size:14px;background-color:rgb(255,255);">
<p style="margin:10px auto;color:rgb(0,255);">一、前沿<p style="margin:10px auto;color:rgb(0,255);">1.1 爬虫是什么？<p style="margin:10px auto;color:rgb(0,255);">网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，
自动的抓取万维网信息的程序或者脚本。<p style="margin:10px auto;color:rgb(0,255);">1.2 为什么是Python？<p style="margin:10px auto;color:rgb(0,255);">简单易学：简单到没有学习过任何编程语言的人稍微看下资料就能编写出爬虫 解释型编程语言：编写完后可以直接执行，无须编译<p style="margin:10px auto;color:rgb(0,255);">
代码重用性高：可以直接把包含某个
功能的模块带入其它程序中使用<p style="margin:10px auto;color:rgb(0,255);">跨平台性：几乎所有的python程序都可以不加
修改的运行在不同的操作系统<p style="margin:10px auto;color:rgb(0,255);">从零基础到项目实战视频
获取地址群：125240963<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">2.2 URL 的含义<p style="margin:10px auto;color:rgb(0,255);">概念：<p style="margin:10px auto;color:rgb(0,255);">URL（协议(服务方式) + IP地址(
包括端口号) + 具体地址），即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问
方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个
文件都有
一个唯一的URL，它包含的信息指出
文件的位置以及浏览器应该怎么处理它。爬虫爬取数据时必须要有
一个目标的URL才可以
获取数据，因此，它是爬虫
获取数据的基本依据。<p style="margin:10px auto;color:rgb(0,255);">相关：<p style="margin:10px auto;color:rgb(0,255);">URI = Universal Resource Identifier 统一资源标志符<p style="margin:10px auto;color:rgb(0,255);">URL = Universal Resource Locator 统一资源定位符<p style="margin:10px auto;color:rgb(0,255);">URN = Universal Resource Name 统一资源
名称<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">2.4 代理基本原理<p style="margin:10px auto;color:rgb(0,255);">2.4.1基本原理<p style="margin:10px auto;color:rgb(0,255);">在本机和服务器之间搭建了
一个桥，此时本机不是直接向 Web 服务器发起请求，而是向代理服务器发出请求，这个过程 Web 服务器识别出的真实的 IP 就不再是我们本机的 IP 了，就成功实现了 IP 伪装，这就是代理的基本原理<p style="margin:10px auto;color:rgb(0,255);">2.4.2代理的作用<p style="margin:10px auto;color:rgb(0,255);">1、突破自身 IP 访问限制，访问一些平时不能访问的
站点<p style="margin:10px auto;color:rgb(0,255);">2、访问一些单位或团体内部资源<p style="margin:10px auto;color:rgb(0,255);">3、隐藏真实 IP<p style="margin:10px auto;color:rgb(0,255);">2.4.3爬虫代理<p style="margin:10px auto;color:rgb(0,255);">在爬取过程中可能遇到同
一个 IP 访问过于频繁的问题，网站就会让我们输入验证码或
登录或者直接封锁 IP，这样会给爬取带来极大的不便。让服务器误以为是代理服务器的在请求自己。这样在爬取过程中通过不断更换代理，就不会被封锁，可以达到很好的爬取
效果<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">三、爬虫入门<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">3.2
一个入门栗子<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">其它策略<p style="margin:10px auto;color:rgb(0,255);">Timeout设置<p style="margin:10px auto;color:rgb(0,255);">3.4 动态渲染
页面抓取<p style="margin:10px auto;color:rgb(0,255);">Splash 是
一个 JavaScript 渲染服务，是
一个带有 HTTP API 的轻量级浏览器，同时它对接了 Python 中的 Twisted 和 QT 库，利用它我们同样可以实现动态渲染
页面的抓取。<p style="margin:10px auto;color:rgb(0,255);">异步方式处理多个网页渲染过程<p style="margin:10px auto;color:rgb(0,255);">
获取渲染后的
页面的源
代码或截图<p style="margin:10px auto;color:rgb(0,255);">通过
关闭图片渲染或者使用 Adblock 规则来加快
页面渲染速度<p style="margin:10px auto;color:rgb(0,255);">可执行特定的 JavaScript 脚本<p style="margin:10px auto;color:rgb(0,255);">可通过 Lua 脚本来控制
页面渲染过程<p style="margin:10px auto;color:rgb(0,255);">
获取渲染的详细过程并通过 HAR（HTTP Archive）格式呈现<p style="margin:10px auto;color:rgb(0,255);">3.5 爬虫完整流程<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">四、爬虫框架<p style="margin:10px auto;color:rgb(0,255);">4.1 PySpider简介<p style="margin:10px auto;color:rgb(0,255);">
一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，
支持多种
数据库后端，强大的WebUI
支持脚本编辑器，任务监视器，项目管理器以及结果查看器<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">4.3 Scrapy简介<p style="margin:10px auto;color:rgb(0,255);">Scrapy是
一个为了爬取
网站数据，
提取结构性数据而编写的应用框架。 可以应用在
包括数据挖掘，信息处理或存储历史数据等一系列的程序中。<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">5.3 scrapy项目指令<p style="margin:10px auto;color:rgb(0,255);">crawl：使用spider进行爬取<p style="margin:10px auto;color:rgb(0,255);">check：检查项目是否有错<p style="margin:10px auto;color:rgb(0,255);">list: 列出当前项目中所有可用的spider，每行
输出一个spider<p style="margin:10px auto;color:rgb(0,255);">edit：仅仅是提供
一个快捷方式。开发者可以自由选择其他工具或者IDE来编写调试spiderparse<p style="margin:10px auto;color:rgb(0,255);">parse：
获取给定的URL并使用相应的spider分析处理<p style="margin:10px auto;color:rgb(0,255);">bench：运行benchmark测试<p style="margin:10px auto;color:rgb(0,255);">5.4 scrapy选择器<p style="margin:10px auto;color:rgb(0,255);">BeautifulSoup 是在程序员间非常流行的网页分析库，它基于
HTML代码的结构来构造
一个Python对象， 对不良
标记的处理也非常合理，但它有
一个缺点：慢。<p style="margin:10px auto;color:rgb(0,255);">lxml 是
一个基于 ElementTree (不是Python标准库的一部分)的python化的XML解析库(也可以解析HTML)。<p style="margin:10px auto;color:rgb(0,255);">Scrapy
提取数据有自己的一套机制。它们被称作选择器(sel
etors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML
文件中的某个部分。<p style="margin:10px auto;color:rgb(0,255);">XPath 是一门用来在XML
文件中选择节点的语言，也可以用在HTML上。<p style="margin:10px auto;color:rgb(0,255);">CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。<p style="margin:10px auto;color:rgb(0,255);">Scrapy选择器构建于 lxml 库之上，这意味着它们在速度和解析准确性上非常相似<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
属性<p style="margin:10px auto;color:rgb(0,255);">name: 定义spider名字的字符串(string)<p style="margin:10px auto;color:rgb(0,255);">allowed_domains: 包含了 spider 允许爬取的域名(domain)列表(list)<p style="margin:10px auto;color:rgb(0,255);">start_urls: URL列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取<p style="margin:10px auto;color:rgb(0,255);">custom_settings: 该设置是
一个dict.当启动spider时,该设置将会覆盖项目级的设置. 由于设置必须在初始化(instantiation)前被更新,所以该
属性 必须定义为class
属性<p style="margin:10px auto;color:rgb(0,255);">crawler: 该
属性在初始化class后,由类
方法 from_crawler() 设置,并且
链接了本spider实例对应的 Crawler 对象<p style="margin:10px auto;color:rgb(0,255);">settings: crawler 的配置管理器，扩展(extensions)和中间件(middlewares)使用它用来访问 Scrapy 的配置<p style="margin:10px auto;color:rgb(0,255);">logger: self.logger.info('日志：
%s',response.status)<p style="margin:10px auto;color:rgb(0,255);">
方法<p style="margin:10px auto;color:rgb(0,255);">from_crawler: 如果存在，则
调用此类
方法以从 Crawler 创建 pipeline 实例。它必须返回
一个新的pipeline实例。 Crawler 对象提供对所有 Scrapy 核心组件（如settings 和 signals）的访问; 它是 pipeline 访问它们并将其
功能挂钩到Scrapy中的一种
方法<p style="margin:10px auto;color:rgb(0,255);">start_requests: 该
方法必须返回
一个可迭代对象(i
terable)。该对象包含了spider用于爬取的第
一个Request<p style="margin:10px auto;color:rgb(0,255);">make_requests_from_url: 该
方法接受
一个URL并返回用于爬取的 Request 对象<p style="margin:10px auto;color:rgb(0,255);">parse: 当response没有指定回调
函数时，该
方法是Scrapy处理下载的response的
默认
方法<p style="margin:10px auto;color:rgb(0,255);">log: 使用 scrapy.log.msg()
方法记录(log)message<p style="margin:10px auto;color:rgb(0,255);">closed: 当spider
关闭时，该
函数被
调用<p style="margin:10px auto;color:rgb(0,255);">5.6 Item Pipeline<p style="margin:10px auto;color:rgb(0,255);">当 Item 在 Spider 中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单
方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">六、scrapy 搭建项目<p style="margin:10px auto;color:rgb(0,255);">6.1 爬虫思路<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">6.2 实际项目分析<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">项目结构<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">七、分布式爬虫<p style="margin:10px auto;color:rgb(0,255);">7.1 单主机爬虫架构<p style="margin:10px auto;color:rgb(0,255);">本机维护
一个爬虫队列，scheduler 进行调度<p style="margin:10px auto;color:rgb(0,255);">Q：多台主机协作的关键是什么？<p style="margin:10px auto;color:rgb(0,255);">A：共享爬虫队列<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">单主机爬虫架构<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">7.2 分布式爬虫架构<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">image<p style="margin:10px auto;color:rgb(0,255);">分布式爬虫架构<p style="margin:10px auto;color:rgb(0,255);">7.3 问题<p style="margin:10px auto;color:rgb(0,255);">Q1：队列怎么选？<p style="margin:10px auto;color:rgb(0,255);">A1: Re
dis队列<p style="margin:10px auto;color:rgb(0,255);">Re
dis 非关系型
数据库，key-value形式存储，结构灵活<p style="margin:10px auto;color:rgb(0,255);">是内存中的数据结构存储系统，处理速度快，
性能好<p style="margin:10px auto;color:rgb(0,255);">提供队列、集合等多种存储结构，方便队列维护<p style="margin:10px auto;color:rgb(0,255);">Q2：怎么去重？<p style="margin:10px auto;color:rgb(0,255);">A2：Re
dis集合<p style="margin:10px auto;color:rgb(0,255);">Re
dis 提供集合数据结构，在re
dis集合中存储每个request的指纹<p style="margin:10px auto;color:rgb(0,255);">在向re
dis集合中存储request指纹的时候，先验证指纹是否存在？<p style="margin:10px auto;color:rgb(0,255);">[如果存在]：则不
添加request到队列<p style="margin:10px auto;color:rgb(0,255);">[不存在]：则将request加入队列，并将指纹加入集合<p style="margin:10px auto;color:rgb(0,255);">Q3：怎样防止中断？<p style="margin:10px auto;color:rgb(0,255);">A3：启动判断<p style="margin:10px auto;color:rgb(0,255);">在每台从机 scrapy 启动时 都会首先判断当前 re
dis reqeust队列是否为空<p style="margin:10px auto;color:rgb(0,255);">[不为空]：从队列中取得下
一个 request ，进行执行爬虫<p style="margin:10px auto;color:rgb(0,255);">[空]：重新开始爬取，第一台从机执行爬取向队列中
添加request<p style="margin:10px auto;color:rgb(0,255);">Q4：怎样实现该架构？<p style="margin:10px auto;color:rgb(0,255);">A4：Scrapy-Re
dis<p style="margin:10px auto;color:rgb(0,255);">scrapy是Python的
一个非常好用的爬虫框架，
功能非常强大，但是当我们要爬取的
页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来，
人多力量大。而scrapy-Re
dis就是结合了分布式
数据库re
dis，重写了scrapy一些比较关键的
代码（scrapy的调度器、队列等组件），将scrapy变成
一个可以在多个主机上同时运行的分布式爬虫。<p style="margin:10px auto;color:rgb(0,255);">github地址：
https://github.com/rmax/scrapy-redis<p style="margin:10px auto;color:rgb(0,255);">7.4 源码解读<p style="margin:10px auto;color:rgb(0,255);">阅读源码前：需要了解 scrapy 的运行原理，否则并没什么用。<p style="margin:10px auto;color:rgb(0,255);">scrapy-re
dis 工程的主体还是 re
dis 和 scrapy 两个库，将两个库的核心
功能结合，实现分布式。<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">1 connection.py<p style="margin:10px auto;color:rgb(0,255);">负责根据setting中配置实例化re
dis连接。被dupefilter和scheduler
调用，总之涉及到re
dis存取的都要使用到这个模块<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">2 dupefilter.py<p style="margin:10px auto;color:rgb(0,255);">通过继承 BaseDupeFilter 重写他的
方法，实现了基于re
dis的 request 判重。scrapy-re
dis使用 re
dis的
一个 set 中插入 fingerprint（不同spider的key不同）<p style="margin:10px auto;color:rgb(0,255);">spider名字+DupeFilter的key就是为了在不同主机上的不同爬虫实例，只要属于同一种spider，就会访问到同
一个set，而这个set就是他们的url判重池 。<p style="margin:10px auto;color:rgb(0,255);">DupeFilter 判重会在 scheduler 类中用到，每
一个request在进入调度之前都要进行判重，如果重复就不需要参加调度，直接舍弃就好了<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">3 picklecompat.py<p style="margin:10px auto;color:rgb(0,255);">loads 和 dumps 两个
函数，其实就是实现了
一个 serializer，因为 re
dis 数据库不能存储复杂对象（value部分只能是字符串，字符串列表，字符串集合和hash，key部分只能是字符串），所以存储前需要先序列化成文本才行<p style="margin:10px auto;color:rgb(0,255);">这个 serializer 主要用于 scheduler 存 reuqest 对象。<p style="margin:10px auto;color:rgb(0,255);">为什么不用json格式?（item pipeline 的串行化
默认用的就是 json）<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">4 pipeli
nes.py<p style="margin:10px auto;color:rgb(0,255);">pipeline
文件实现了
一个 item pipieline 类，和 scrapy 的 item pipeline 是同
一个对象，从settings中
获取我们配置的RE
disITEMSKEY作为key，把item串行化之后存入re
dis数据库对应的value中（这个value是list，我们的每个item是这个list中的
一个结点），这个pipeline把
提取出的item存起来，主要是为了方便我们延后处理数据。<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">7 spider.py<p style="margin:10px auto;color:rgb(0,255);">设计的这个spider从re
dis中读取要爬的url,然
后执行爬取，若爬取过程中返回更多的url，那么继续进行直至所有的request完成。之后继续从re
dis中读取url，循环这个过程。<p style="margin:10px auto;color:rgb(0,255);">分析：
在这个spider中通过connect signals.spideridle信号实现对crawler状态的监视。当idle时，返回新的makerequestsfromurl(url)给引擎，进而交给调度器调度。<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
<p style="margin:10px auto;color:rgb(0,255);">
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
