爬虫基础知识

                                            <table class="text"&gt;<tbody><tr class="li1"&gt;

<td class="ln"><pre class="de1">1
2
3
4
5
6
7
8
9
10
11
12
13
14

一个html页面，并下载相应的html页面 进行HTML页面的解析获取相应的数据和新的url 再访问新的html获取相应的数据和新的url   2.关键步骤 解析获取数据和新url 通过url下载html页面   3.一个爬虫应该具有的部分 url调度器：主要负责检查新获取的url是否与之前重复 url下载器：难点在于模仿浏览器正确访问网站 url解析器：正则表达式