DenseSpider 介绍
本项目 fork
项目go_spider，github：https://github.com/hu17889/go_spider
，因此项目架构的部分文档可以参考此项目。
同时项目架构、部分思路参考了 python 的经典爬虫scrapy。
基本结构：
Spider模块（主控） Downloader模块（下载器） PageProcesser模块（页面分析） History（Url采集历史记录） Scheduler模块（任务队列） Pipeline模块（结果输出）
主要Feature:
1. 基于Go语言的并发采集 2. 页面下载、分析、持久化模块化，可自定义扩展 3. 采集日志记录（Mongodb支持） 4. 页面数据自定义存储（MysqL、Mongodb） 5. 深度遍历，同时可自定义深度层次 6. Xpath解析
主要用于定向采集网站。
DenseSpider 官网
https://git.oschina.net/congqian/DenseSpider
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
