DungProxy
DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务
- 特别声明 :本项目服务器已下线,默认客户端无法获取代理ip,最近半年没有启用计划。你可以自建server,或者就不要使用被本项目了
软文
hi,各位好,我是virjar。dungproxy是2015年我大四阶段写的第一个开源项目。而现在是2021年,六年时间个人变化很大。早期维护dungproxy的时候感觉世界很纯粹,那个时候也基本上是第一个真的可以让各位爬虫朋友使用免费ip进行抓取的项目,所以依稀记得得到了不少朋友的认可(当然实际上没有赚到钱,反而花了一年的时间和几台服务器资源)。本来以为工作是做业务系统,没想到整整六年依然还在这个行业中。看着dungproxy心里不是特别有滋味,dungproxy有不少比较亮点的策略模型,在免费万人骑ip上面能够达到较优效果。甚至随着我工作经验的增加,我有能力让dungproxy的性能,表现,ip质量等各方面的效果提升很大档次。 然而作为一个深根爬虫行业的五年老爬虫,也清楚了解dungproxy在工程领域的作用几乎为零了。从风控角度来看,即使是付费ip也有不少ip段在风控库(当年用dungproxy系统抓完裁判文书网的时代,早就成为不可复现的历史了)。
就目前而言,dungproxy的思路对大学毕业的同学,或者入门级别的数据分析爬虫需求还有一做必要。但是对于我个人来说,他能产生的价值几乎为零了。所以,如果你还是大三大四左右,希望又有免费的代理ip池,且想将免费代理池的性能优化到机制。可以私下联系我,我想你能有精力和能力完成我没有完成的工作。
然后,作为一个老爬虫,当然要推荐我的新框架啦:
- 2015年,我启动了dungproxy项目,是在当年能够突破不少网站ip反抓的一套系统。也获得了几百块的捐赠
😂 - 2017年,我改造了littleProxy,启动了g4proxy https://github.com/virjar/g4proxy 项目,部署了700个手机,使用700台全国各地的真人手机组件手机ip集群。我叫他4G代理。实验效果几乎完爆家庭共享ip(家庭ip是目前市面上最真的ip资源)
- 2020年,我重构了g4proxy。完全忘记littleProxy,重写了一整套分布式代理ip系统。实现工程级别的ip系统管理、ip收集、内网穿透等非常炫酷的功能。并在代码质量、分布式集群能力、多平台兼容等多个方面做了工作。 https://github.com/virjar/echo
所以,现在我期待大家来玩儿echo代理系统。当然echo不单单是一个代理系统,他还有非常多的炫酷玩儿法。欢迎大家关注 echoProxy
dungproxy系统今后不会做任何的迭代,他只是一个未来可以翻出来的老古董。没有任何价值!!再见了,dungproxy