网络爬虫反反爬小技巧六奇淫技巧

前面讲到了无头浏览器、JS逆向、模拟登录、验证码，除这些之外，爬虫过程中我们可能还会遇到：请求头验证、封禁 IP、封账号等等，这里就不展开说了。

不过在这里分享几个之前看到的爬虫技巧：

1、有时候我们爬取某个 Web 网站，被各种反爬搞得头发掉一地，这个时候我们可以换个角度，去看看人家有没有移动端或者插件，说不定可以发现新世界;

2、有时候我们可以看看目标网站的 robots.txt，看看其声明什么东西是可以爬取，什么东西是不允许被爬的，并且给什么搜索引擎爬;

例如：https://www.aliexpress.com/robots.txt

3、有时候我们想爬取整个网站的url，可以找到网站的 sitemap.xml ，因为网站一般想让 Google 或 Baidu 快点收录他们的网站，所以他们会把自己网站的 url 生成 sitemap 提交。

例如：https://www.aliexpress.com/siteindex/https-en-ugc-desktop-xml-sitemap-index.xml