微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

goodcrawler 网络爬虫

程序名称:goodcrawler

授权协议: Apache

操作系统: 跨平台

开发语言: Java

goodcrawler 介绍

goodcrawler(GC) 网络爬虫

GC是一个垂直领域的爬虫,同时也是一个拆箱即用的搜索引擎。

GC基于httpclient、htmlunit、jsoup、elasticsearch。

GC的特点:

1、具有DSL特性的模板。

2、分布式、可扩展。

3、辛亏有htmlunit,它能较好地支持javascript。

5、合理的插件设计,方便功能扩充。

6、天然继承es,本身即是一个完整的搜索引擎。

下载独立运行版

goodcrawler 官网

https://github.com/shenbaise/goodcrawler

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐