Python学习 Day56 动态网页爬虫 01

动态网页爬虫

一、相关概念

1.动态网页

• 在网页不重新加载的情况下，通过Ajax技术动态更新网站真难过的局部数据
• 如王者荣耀的高清壁纸，在换页的过程当中，URL没有发生改变，但是壁纸动态的更改了
  

  

2.Ajax（Asynchronouse JavaScript And XML）

• 异步JavaScript和XML
• 前端与服务器进行少量数据交换，Ajax可以使用网页实现异步更新
• 这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新
• 传统的网页，如果需要更新内容，必须重新加载整个网页页面。因为传统网页在传输数据格式方向时，使用的是XML语法
• 而现在数据交互时通常使用的是JSON
• 使用Ajax加载的数据，即使用了JS，将数据渲染到了浏览器中
• 在右键–>查看网页源代码还是不能看到Ajax加载的数据，只能看到使用这个URL加载的HTML代码

打卡数据链接得到的数据是JSON数据格式

---

二、动态网页爬虫的解决方案

• 1.直接分析Ajax调用的接口（数据所在URL），然后通过代码请求这个接口

• 2.使用selenium+Chromediver模拟浏览器行为获取数据

方式	优点	缺点
分析接口	直接请求数据，无需解析；代码量少，性能高	分析接口较复杂，特别是一些通过JS混淆的接口，需要一定的JS知识；容易被监测到是爬虫
selenium	直接模拟浏览器的行为，浏览器能请求到的，使用selenium也能请求到；爬虫更稳定	代码量多，性能低

分析URL时，去掉其中的“jsoncallback=XX”参数即可得到符合要求的JSON数据格式