微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

DungProxy 代理IP池

程序名称:DungProxy

授权协议: Apache

操作系统: 跨平台

开发语言: Java

DungProxy 介绍

DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务。

DungProxy主要用在爬虫,它是为突破目标网站封堵而实现的一个网络层封装。

DungProxy实现了对httpclient较为深度的定制,将一些适合爬虫的特性做成了认,同时支持了多个用户并发登录

DungProxy实现了对webmagic的适配,支持自动集成代理池,支持在webmagic多个账户登录爬取数据。

DungProxy有一个server,他以极小的服务器资源收集了互联网百万级别的代理IP,并使用一种反馈叠加验证的调度模型高效的维护了大概一万的活跃IP,并将这些IP作为dungproxy的认数据源,提供认的代理服务。

DungProxy实现了在免费代理IP资源上面构建的稳定爬虫代理服务。

DungProxy 官网

http://git.oschina.net/virjar/proxyipcenter

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐