记录一下如何抓一个网页:
做开发的经常会被问到怎么去抓别人的数据
那么抓数据可以分成 抓接口数据或网页数据
其实都是网络上的内容,有各自的特点
抓接口数据一般通过第三方软件代理http来看到请求实体
而抓网页内容通常我们会叫它爬虫…
那么爬虫是怎么回事呢?
怎么实现:
如何抓-
1、通过第三方框架如phantomjs,webcrawl等,selnium等这些工具各有自己不同的使命。用法也不相同,缺点要求伪造技术高,程序不易被目标站点识别为爬虫。优点:高效便捷,自动化处理
2、通过自己写浏览器插件的形式,由于插件可以与网页内容做交互,所以这里要有一些html 标签以及selector的基础,缺点:要写很多代码,还要弄懂怎么跟浏览器通信,优点不易被网站识别是爬虫,可控性强
3、无侵入式爬取,借用手机,电脑,模拟器自动化处理,实现模拟点按,并自动下载保存.
优点:不易被网站识别,自动化高,缺点:模拟点击的话需要会调用一些人工智能的库,用模拟器的webview的话要会一些移动端的编程经验。
如何取-
取内容的过程比较简单:用一个html组件读取html文本,然后分析如html-parsor
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。