Smart and Simple Web Crawler 介绍
Smart and Simple Web
Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置
过滤器限制爬回来的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和
RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。介绍内容来自Open-
Open
下载地址：
https://crawler.dev.java.net/servlets/ProjectDocumentList?folderID=11459&expandFolder=11459&folderID=10340
Smart and Simple Web Crawler 官网
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
