qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
13318873961php爬虫如何切换代理IP?如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言。
我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。
首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。
调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。
在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。
这是验证后的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。
相关文章内容简介
1 php爬虫如何切换代理IP?
php爬虫如何切换代理IP?如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言。 我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。 首先说说思路:上次我们已经... [阅读全文]
最新标签
推荐阅读
16
2019-03
网络爬虫伪装用户--伪装浏览器
网站限制网络爬虫的方法不少,为了便于操作,网络爬虫也可以伪装用户的,通常的方法是伪装成为浏览器,这是为什么呢?
09
2019-03
何为线程池?使用线程池有什么好处?
由于单线程抓取是有限的,无法短时间内完成大量的抓取工作,因此大家会使用多线程来解决这个问题,提高爬虫的抓取速度,但这里有个问题,线程太多会影响设备的正常运转,可能会导致内
30
2019-05
最新代理ip地址大全
互联网的快速发展,使得一些网络营销逐渐深入到人们的生活中,经常使用网络的人都知道代理IP,对于网络营销的工作人员来说代理IP更是营销的一个重要工具。
20
2018-10
使用黑洞代理IP资源的正确姿势
常用网络的用户肯定是遇到过访问网址受限制的情况,这也许并不是你使用的原因,而是因为大部分的网站都限定了每个IP用户的注册次数以及访问次数。
热门文章