qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
13318873961如何使用代理IP来解决爬虫被封的问题?在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?同事告知:使用代理IP来解决。
在同事的介绍下,买了黑洞代理IP的一手私密代理IP,接下来就是使用代理IP来继续爬虫工作了。通过python官方文档得知,可用urllib库的request方法中的ProxyHandler方法,build_opener方法,install_opener方法来使用代理IP。
官方文档很官方,有点难以理解,下面是部分关键文档,一起来看下:
class urllib.request.ProxyHandler(proxies=None)
Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.(通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)
urllib.request.build_opener([handler, ...])
Return an OpenerDirector instance, which chains the handlers in the order given.(build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)
urllib.request.install_opener(opener)
Install an OpenerDirector instance as the default global opener.(install_opener方法安装OpenerDirector实例作为默认的全局opener。)
是不是云里雾里的,如果这样理顺下,就会发现其实很简单:
1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;
2、将opener_support载入build_opener方法,创建opener;
3、安装opener。
具体代码如下:
from urllib import request
def ProxySpider(url, proxy_ip, header):
opener_support = request.ProxyHandler({'http': proxy_ip})
opener = request.build_opener(opener_support)
request.install_opener(opener)
req = request.Request(url, headers=header)
rsp = request.urlopen(req).read()
return rsp
有了代理IP,又学会了使用代理IP来做爬虫,这下可以不用担心被目标网站限制了,爬虫工作效率直线上线,按时完成任务不在话下。
相关文章内容简介
1 如何使用代理IP来解决爬虫被封的问题?
如何使用代理IP来解决爬虫被封的问题?在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?同事告知:使用代理IP来解决。 在同事的介绍下,买了黑洞代理IP的一手私密代理IP,接下来就是使用代理IP来继续爬... [阅读全文]
最新标签
推荐阅读
28
2019-04
手机代理IP软件哪个好?
你平时上网用手机还是电脑?随便做个人群普查,答案显而易见。随着各式各样,功能迥异的手机APP不断开发上线,手机在方便人们生活学习的同时,也逐渐呈现超过电脑趋势。这期间值得探讨
17
2019-07
代理IP对普通用户有什么意义?
代理ip又称代理服务器,是一种很重要服务器安全功能,代理ip相当于互联网生活之中的身份证,可以起到中转器的作用,当然,在一些程序大师的手里,代理ip可以发挥更加巨大的作用,比
12
2018-10
更换手机ip地址的两个方法了解一下
很多朋友在手机上做网络营销推广的话,很容易被平台限制IP地址,造成很大麻烦。这个时候就需要我们经常更换IP地址,以防止被平台限制。很多人对手机换IP感觉很陌生,不知道怎么更换IP
06
2019-03
怎么获取到他人的IP地址?网络用户怎么隐藏自己的IP地址?
想要再网络上追踪一个的地址,查对方的IP地址是个非常不错的方法,关键是如何找到别人的IP地址呢?有没有什么方法?上网有风险,那么大家又是如何隐藏自己的IP地址?
热门文章