qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
13318873961分布式ip代理池,可用率超高,赶快试试吧!历时大致两个月,到现在终于完成了高可用分布式代理IP池(https://github.com/SpiderClub/haipproxy),目前开源在了Github上。写这个项目的原因主要有两点,一是本人平时的部分工作需要和网络爬虫打交道,代理IP在有的时候还可以发挥非常重要的作用,调研过一些开源的代理IP采集程序,发现在爬取、解析、校验、资源调度等这些方面总有一些不尽人意的地方;二是和一个网友(不严格的说算得上是伯乐)的交流让小编有了关于使用Scrapy来写分布式网络爬虫的一些想法,正好还可以借助这个机会来尝试证实这些想法。
架构设计
这篇文章的目的是阐述haipproxy的主要架构和流程。该项目模块是
基于Scrapy和Redis的分布式网络爬虫,用作IP爬取和校验,对应于项目的crawler
基于Redis实现的分布式任务调度工具,对应于项目的scheduler和redis_util.py
Crawler分为代理爬取和校验,两者实现思想类似,主要使用Scrapy的spider_idle信号和DontCloseSpider异常来阻止Scrapy在没有数据的时候关闭,灵感来自scrapy-redis(https://github.com/rmax/scrapy-redis)。
启动调度器,包括代理网络爬虫调度器和校验网络爬虫调度器。调度器会读取rules.py中待爬取的网站,将其编排成任务存入各个任务队列中
启动各个网络爬虫,包括IP爬取和校验程序。项目中网络爬虫和调度器都是高可用的,还可以根据实际情况进行分布式部署,无需改动代码。由于本文的目标不是写成该项目的详细使用文档,所以省略了如指定启动网络爬虫类型和调度器类型的介绍
代理IP采集网络爬虫启动后会到对应的任务队列中获取任务并执行,再把获取到的结果存入一个init队列中
init队列由一个特殊的校验器HttpbinInitValidator进行消费,它会过滤掉透明代理,再把可用代理输入各个Validated队列中
调度器会定时从Validated队列中获取代理IP,再将其存入一个临时的队列。这里用一个临时队列是为了让校验更加公平,如果直接从Validated队列中获取资源进行校验,那么会增大不公平性
这时候各个校验器(非init校验器)会从对应的临时队列中获取待校验的IP并对其进行校验,此处省略校验细节
校验完成后再将其放回到Validated队列中,等待下一轮校验
请求成功率(体现为分数)、响应速度和最近校验时间满足settings.py所配置要求的代理IP将会被网络爬虫客户端所消费
为了屏蔽各个调用语言的差异性,目前实现的客户端是squid客户端,它还可以作为网络爬虫客户端的中间件
到此,整个流程便完了。
相关文章内容简介
1 分布式ip代理池,可用率超高,赶快试试吧!
分布式ip代理池,可用率超高,赶快试试吧!历时大致两个月,到现在终于完成了高可用分布式代理IP池(https://github.com/SpiderClub/haipproxy),目前开源在了Github上。写这个项目的原因主要有两点,一是本人平时的部分工作需要和网络爬虫打交道,代理IP在有的时候还可以发挥非常重要的作用,调研过一些开源的代理IP采集程序,发现在爬取、解析、校验、资源... [阅读全文]
最新标签
推荐阅读
17
2018-10
使用ip代理软件有什么好处?
使用ip代理软件有什么好处?每个平台都会对网站进行限制,比如ip访问频率,这限制影响一部分用户的工作,而ip代理软件应运而生,使用ip代理软件可以随时更换自己的ip。
23
2019-01
频繁刷票,需要使用代理IP更换IP
最近很多小伙伴们都在刷票,但是频繁访问12306官网查看,不仅打开慢,偶尔出现获取不到信息,还经常要重新登陆,实在太麻烦。虽然说购票网站对IP进行限制,但主要是为了限制黄牛刷票,
24
2018-12
动态ip软件基本知识和动态ip代理使用方法扫盲
动态ip代理电脑软件是介于电脑浏览器和web集群服务器的一台网络服务器,如果你利用动态ip代理电脑软件上外网访问时,电脑浏览器并不是立即到web网络服务器去取回来网页页面,只是向动态ip
05
2018-12
网络爬虫怎么用代理IP?使用代理IP注意事项
爬虫泛滥,各网站都采用反爬虫机制,限制爬虫大量的访问,所以爬虫需要使用代理IP进行突破限制,才能顺利的采集到信息。那么网络爬虫怎么用代理IP,在使用代理IP过程中,需要注意什么?
热门文章