Hawk_Crawler 介绍
HAWK是一种数据采集和清洗工具，依据GPL协议开源，能够灵活，有效地采集来自网页，数据库，文件， 并通过可视化地拖拽，
快速地进行生成，过滤，转换等操作。其功能最适合的领域，是爬虫和数据清洗。
Hawk的含义为“鹰”，能够高效，准确地捕杀猎物。
HAWK使用C# 编写，其前端界面使用WPF开发，支持插件扩展。通过图形化操作，能够快速建立解决方案。
GitHub地址：https://github.com/ferventdesert/Hawk
其Python等价的实现是etlpy：http://www.cnblogs.com/buptzym/p/5320552.html
笔者专门为其开发的工程文件已公开在GitHub：https://github.com/ferventdesert/Hawk-Projects
使用时，点击文件，加载工程即可加载。不想编译的话，可执行文件在：https://github.com/ferventdesert/Hawk/tree/master/Versions
编译路径在: Hawk.Core\Hawk.Core.sln
以获取大众点评的所有北京美食为例，使用本软件可在10分钟内完成配置，在1小时之内自动并行抓取全部内容，并能监视子线程工作情况。而手工编写代码，即使是使用python，一个熟练的程序员也可能需要一天以上：
视频演示，复杂度由小到大:
Hawk_Crawler 官网
https://github.com/ferventdesert/Hawk
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
