qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
13318873961基于Requests使用极光ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞代理ip,降低浏览频次,设置UA等,下面就和大家简单介绍下如何使用黑洞代理ip。
基于Requests使用黑洞代理ip代理进行爬虫工作
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import random
if __name__ == "__main__":
#不同浏览器的UA
header_list = [
# 遨游
{"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
# 火狐
{"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
# 谷歌
{
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
]
#不同的代理IP(该代理ip可能失效了,请自行到黑洞代理ip官网购买开通)
proxy_list = [
{"http": "112.115.57.20:33128"},
{‘http‘: ‘121.41.171.223:32128‘}
]
#随机获取UA和代理IP
header = random.choice(header_list)
proxy = random.choice(proxy_list)
url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘
#参数3:设置代理
response = requests.get(url=url,headers=header,proxies=proxy)
response.encoding = ‘utf-8‘
with open(‘daili.html‘, ‘wb‘) as fp:
fp.write(response.content)
#切换成原来的IP
requests.get(url, proxies={"http": ""})
相关文章内容简介
1 基于Requests使用黑洞代理进行爬虫工作
基于Requests使用极光ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞代理ip,降低浏览频次,设置UA等,下面就和大家简单介绍下如何使用黑洞代理ip。 基于Requests使用黑洞... [阅读全文]
最新标签
推荐阅读
10
2019-05
ip代理工具怎样连接?
现在大量的网络工作人员都在寻找网页代理,但是整个操作的过程和连接的过程,他们并不是非常熟悉,其实只要我们选准了一个合适的浏览器,我们就可以避免这些不必要的麻烦。
24
2019-05
高质量代理ip的给网络生活带来便捷
可能对于一般的人来说,我们对于ip的了解是比较少的,因为对于它的接触也仅限于http代理,其中就有一种高质量代理ip,高质量代理ip应用的范围比较广,主要是被一些从事网络营销方面的人
24
2019-05
关于代理ip的简要介绍
现在来说代理ip是一种极为重要的功能,对于黑洞代理来说更是至关重要。其实,它的主要功能就是就是起到连接外部互联网和局域网。使整个网络系统可以正常的运行。
24
2019-05
代理ip的最佳选择
在这个经济社会发展迅速,网络遍布人们的生产生活的时代,代理ip这一新兴名词逐渐成为了我们生产生活中不可避免接触到的领域。选择一个优秀的代理ip,有品质服务的保障和诚信服务的基
热门文章