spider-flow 介绍
介绍
spider-flow，新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
特性
- 支持 css 选择器、正则提取
- 支持 JSON/XML 格式
- 支持 Xpath/JsonPath 提取
- 支持多数据源、SQL select/insert/update/delete
- 支持爬取 JS 动态渲染的页面
- 支持代理
- 支持二进制格式
- 支持保存/读取文件(csv、xls、jpg 等)
- 常用字符串、日期、文件、加解密等函数
- 支持流程嵌套
- 支持插件扩展(自定义执行器，自定义函数）
- 支持 HTTP 接口
插件支持
- Selenium 插件
- Redis 插件
- Mongodb 插件
- Hbase 插件
- IP 代理池插件
- OCR 插件
部分截图
spider-flow 官网
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。