您的位置: 首页 > 新闻资讯 > 正文

爬虫代理IP池怎么设计

发布时间:2019-05-27 16:58:12 来源:互联网

  爬虫代理IP池怎么设计!之前热门也许从来没听说过代理池,但是现在科技发达,黑洞代理设计了爬虫代理IP,下面简单介绍下是怎么设计的。


爬虫代理IP池怎么设计


  代理池由四部分组成:


  ProxyGetter:


  代理获取接口,不过目前只有5个代理源是免费的,使用一次就会抓取这个5个网站的最新代理放入DB,还可以添加一些其他代理获取接口;


  DB:


  现在暂时只支持SSDB存放代理IP,如果你没有用过SSDB,安装是很简单的,可以去黑洞代理网站了解一下。


  Schedule:


  计划任务用户还是需要检测DB中的代理是否有用的,如果不可以再使用的话删除就可以。同时也会主动通过ProxyGetter去获取最新代理放入DB;


  ProxyApi


  代理池的外部接口,代理池功能还是比较简单,功能是给爬虫提供get/delete/refresh等接口,方便爬虫直接使用。


相关文章内容简介

1 爬虫代理IP池怎么设计

  爬虫代理IP池怎么设计!之前热门也许从来没听说过代理池,但是现在科技发达,黑洞代理设计了爬虫代理IP,下面简单介绍下是怎么设计的。  代理池由四部分组成:  ProxyGetter:  代理获取接口,不过目前只有5个代理源是免费的,使用一次就会抓取这个5个网站的最新代理放入DB,还可以添加一些其他代理获取接口;  DB:  现在暂时只支持SSDB存... [阅读全文]

最新标签

在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部