Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,34,34);font-family:'PingFang SC','Hiragino Sans GB','Microsoft YaHei','WenQuanYi Micro Hei','Helvetica Neue',Arial,sans-serif;background-color:rgb(255,255,255);"><span style="font-weight:700;">登录百度

<p style="margin-top:16px;color:rgb(34,255);">先清理浏览器缓存,打开Charles,登录一次百度主页,抓取到登录过程。

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">参数分析

<p style="margin-top:16px;color:rgb(34,255);">确定了需要分析的参数,从哪个开始分析呢?随意吧

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">一般有些参数之间是有关系的,比如token的请求参数里需要gid参数

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">这里我就不一一去分析参数间的关系了,直接来了啊

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">参数 gid

<p style="margin-top:16px;color:rgb(34,255);">一方面其他参数需要它,另外就是这个参数是完全由本地js生成的。先看一下这个参数

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">搜索一下这个值,没有。那么我们再来搜一下这个name,就是gid,之前说过我们一般是找xxx=这种,先来搜一下gid=

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">点击loginv4_9f3632a.js,然后在JavaScript页签搜索gid=

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">有好几个,我圈出了这个getqrcode?请求,为啥捏?看图,我们找到这个请求

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">看到请求里的gid值了吗?跟我们登录的gid是一样的,那就确定是这个地方了,gid=e.guideRandom,然后在这个脚本里搜一下guideRandom

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">然后翻译一下这个js,这......就自己去琢磨吧

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">就剩下callback,其他的请求里也需要callback这个

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">搜一下bdcbs,为啥要搜这个?这个真的很痛苦,callback搜出来一大片,而且没看出来什么有效数据,值又搜不到,那就搜一半吧,你问我为啥?第六感,不管你信不信,反正我是信了

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">分析一下这段代码,基本就是c.getUniqueId这个函数了,搜一下这个函数

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">oj8k,找到了,代码贴下面,为什么这么写?自己查js去,当然有更简单了pyv8或者psexecjs

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">Token这里我要再说一下,参数我们分析完了,你以为请求就成功了吗?

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">Oh!yeah,之前我们都是得到所有请求参数就访问成功了

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">就这里卡了我好长时间。那么碰到这种情况要从那几个点着手呢,首先我想到的是cookies

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">然后向上去找Set Cookie的地方

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">访问首页得到四个cookie值,H_PS_PSSID、BIDUPSID、PSTM、BAIDUID

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">这里又找到一个BDORZ,首页很简单,没有什么参数,

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">注意看这几个参数,就在上面四个cookies中,t是时间戳,参数都搞定了,那么Token的cookies也都搞定了,终于可以成功了,图样图森破,还是不行。MMP,cookies搞定都不行,我还有招,请求头!!!浏览器里直接拷过去,看你还想咋的

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">然鹅....,算你狠,不过我不会轻易认输的

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">调试他娘的,一遍一遍又一遍,两遍三遍四五遍,各种姿势都试了,终于高潮要来了,特么的请求不一样

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">先上图

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">浏览器的正常请求

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">程序发送的请求

<p style="margin-top:16px;color:rgb(34,255);">看到不一样了吧,为什么呢?我们在用requests库的时候,get请求我比较习惯用.get(url,params=data),参数用params的方式传入,再来看一下Token请求的参数

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">getapi是空,那很明显

<pre style="font-family:Consolas,Menlo,Courier,monospace;font-size:16px;white-space:normal;color:rgb(34,34);background-color:rgb(255,255);">data = { "getapi":"","tpl":"mn",....}session.get(url,params=data)<p style="margin-top:16px;color:rgb(34,255);">然后发送的请求就是/v2/api/?getapi=&tpl=mn&....,实际上正常的请求是/v2/api/?getapi&tpl=mn&...,竟然还有这种操作,我真的是第一次碰到,改一下

<pre style="font-family:Consolas,255);">data = { "tpl":"mn",...}url = ".../v2/api/?getapi&{}".format(urlencode(data))session.get(url)<p style="margin-top:16px;color:rgb(34,255);">到这里才算OK了,最后总结了一下,请求的那个坑、请求头中的Referer、cookies,终于可以说一句OJ8K

<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">参数 dv

<p style="margin-top:16px;color:rgb(34,255);">为什么要先说这个dv,首先这个我没完全破解,另外就算你用固定值,也不影响结果,这个不能详细说,否则得好几帖子,我们先搜dv=

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">切换到javascript页签

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">我们可以搜一下dv_Input这个控件,它是没有的,我就不展示了,然后应该就是window.LG_DV_ARG了

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">这里有dvjsinput,上图我们也看到了这个,切换到javascript页签看一下

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">然后打开浏览器,清空缓存,打开隐身窗口,打开开发者工具,访问百度首页

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">观察一下dv值的特点,可以找一些比较有特色的部分搜一下,比如tk、@,这样尽量减少我们调试js的过程,因为真的很痛苦

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">在console里面执行一下这个计算,跟我们dv前面的值是不是类似,那就是它了,不管你是不是我都认为是。然后再搜一下@

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">刚才计算的Token+@+Ue(xx),这个肯定就是dv了,至于Ue嘛,我没搞定,不过发现没啥意义,写固定值也可以,也就不用费心去找这个了。



<p style="margin-top:16px;color:rgb(34,255);">太多了,所以这里就分割一下,剩下的下一篇再继续

<p style="margin-top:16px;color:rgb(34,255);">

Python爬虫入门教程之——百度模拟登录!爬虫真好玩!

<p style="margin-top:16px;color:rgb(34,255);">欢迎关注我的博客或者公众号:https://home.cnblogs.com/u/Python1234/ Python学习交流

<p style="margin-top:16px;color:rgb(34,255);">欢迎加入我的千人交流学习群:125240963

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


我最近重新拾起了计算机视觉,借助Python的opencv还有face_recognition库写了个简单的图像识别demo,额外定制了一些内容,原本想打包成exe然后发给朋友,不过在这当中遇到了许多小问题,都解决了,记录一下踩过的坑。 1、Pyinstaller打包过程当中出现warning,跟d
说到Pooling,相信学习过CNN的朋友们都不会感到陌生。Pooling在中文当中的意思是“池化”,在神经网络当中非常常见,通常用的比较多的一种是Max Pooling,具体操作如下图: 结合图像理解,相信你也会大概明白其中的本意。不过Pooling并不是只可以选取2x2的窗口大小,即便是3x3,
记得大一学Python的时候,有一个题目是判断一个数是否是复数。当时觉得比较复杂不好写,就琢磨了一个偷懒的好办法,用异常处理的手段便可以大大程度帮助你简短代码(偷懒)。以下是判断整数和复数的两段小代码: 相信看到这里,你也有所顿悟,能拓展出更多有意思的方法~
文章目录 3 直方图Histogramplot1. 基本直方图的绘制 Basic histogram2. 数据分布与密度信息显示 Control rug and density on seaborn histogram3. 带箱形图的直方图 Histogram with a boxplot on t
文章目录 5 小提琴图Violinplot1. 基础小提琴图绘制 Basic violinplot2. 小提琴图样式自定义 Custom seaborn violinplot3. 小提琴图颜色自定义 Control color of seaborn violinplot4. 分组小提琴图 Group
文章目录 4 核密度图Densityplot1. 基础核密度图绘制 Basic density plot2. 核密度图的区间控制 Control bandwidth of density plot3. 多个变量的核密度图绘制 Density plot of several variables4. 边
首先 import tensorflow as tf tf.argmax(tenso,n)函数会返回tensor中参数指定的维度中的最大值的索引或者向量。当tensor为矩阵返回向量,tensor为向量返回索引号。其中n表示具体参数的维度。 以实际例子为说明: import tensorflow a
seaborn学习笔记章节 seaborn是一个基于matplotlib的Python数据可视化库。seaborn是matplotlib的高级封装,可以绘制有吸引力且信息丰富的统计图形。相对于matplotlib,seaborn语法更简洁,两者关系类似于numpy和pandas之间的关系,seabo
Python ConfigParser教程显示了如何使用ConfigParser在Python中使用配置文件。 文章目录 1 介绍1.1 Python ConfigParser读取文件1.2 Python ConfigParser中的节1.3 Python ConfigParser从字符串中读取数据
1. 处理Excel 电子表格笔记(第12章)(代码下载) 本文主要介绍openpyxl 的2.5.12版处理excel电子表格,原书是2.1.4 版,OpenPyXL 团队会经常发布新版本。不过不用担心,新版本应该在相当长的时间内向后兼容。如果你有新版本,想看看它提供了什么新功能,可以查看Open
1. 发送电子邮件和短信笔记(第16章)(代码下载) 1.1 发送电子邮件 简单邮件传输协议(SMTP)是用于发送电子邮件的协议。SMTP 规定电子邮件应该如何格式化、加密、在邮件服务器之间传递,以及在你点击发送后,计算机要处理的所有其他细节。。但是,你并不需要知道这些技术细节,因为Python 的
文章目录 12 绘图实例(4) Drawing example(4)1. Scatterplot with varying point sizes and hues(relplot)2. Scatterplot with categorical variables(swarmplot)3. Scat
文章目录 10 绘图实例(2) Drawing example(2)1. Grouped violinplots with split violins(violinplot)2. Annotated heatmaps(heatmap)3. Hexbin plot with marginal dist
文章目录 9 绘图实例(1) Drawing example(1)1. Anscombe’s quartet(lmplot)2. Color palette choices(barplot)3. Different cubehelix palettes(kdeplot)4. Distribution
Python装饰器教程展示了如何在Python中使用装饰器基本功能。 文章目录 1 使用教程1.1 Python装饰器简单示例1.2 带@符号的Python装饰器1.3 用参数修饰函数1.4 Python装饰器修改数据1.5 Python多层装饰器1.6 Python装饰器计时示例 2 参考 1 使
1. 用GUI 自动化控制键盘和鼠标第18章 (代码下载) pyautogui模块可以向Windows、OS X 和Linux 发送虚拟按键和鼠标点击。根据使用的操作系统,在安装pyautogui之前,可能需要安装一些其他模块。 Windows: 不需要安装其他模块。OS X: sudo pip3
文章目录 生成文件目录结构多图合并找出文件夹中相似图像 生成文件目录结构 生成文件夹或文件的目录结构,并保存结果。可选是否滤除目录,特定文件以及可以设定最大查找文件结构深度。效果如下: root:[z:/] |--a.py |--image | |--cat1.jpg | |--cat2.jpg |
文章目录 VENN DIAGRAM(维恩图)1. 具有2个分组的基本的维恩图 Venn diagram with 2 groups2. 具有3个组的基本维恩图 Venn diagram with 3 groups3. 自定义维恩图 Custom Venn diagram4. 精致的维恩图 Elabo
mxnet60分钟入门Gluon教程代码下载,适合做过深度学习的人使用。入门教程地址: https://beta.mxnet.io/guide/getting-started/crash-course/index.html mxnet安装方法:pip install mxnet 1 在mxnet中使
文章目录 1 安装2 快速入门2.1 基本用法2.2 输出图像格式2.3 图像style设置2.4 属性2.5 子图和聚类 3 实例4 如何进一步使用python graphviz Graphviz是一款能够自动排版的流程图绘图软件。python graphviz则是graphviz的python实