qq：800819103
在线客服，实时响应
qq群
在线客服，实时响应
客服电话
133188739611. 设置背景
在使用selenium浏览器渲染技术，当我们爬取某个网站的信息的时候，在一般情况下速度都不是特别的快。而且需要利用selenium浏览器渲染技术爬取的网站，反爬虫的应对技术都比较厉害，对IP访问频率有很高程度的限制。所以，如果想提升selenium抓取数据的速度，可以从两个方面出发：
第一方面， 抓取频率要提高，破解出现的验证信息，一般都是验证码或者是用户登陆 。
第二方面，使用多线程 + 代理IP， 这种方式，需要电脑有足够的内存和充足稳定的代理IP 。
2. 为chrome设置代理IP
注意事项：
第一，选择稳定的固定的代理IP。不要选择动态代理IP。我们常用的爬虫IP代理通常都是具有高度保密性质的高匿名动态IP，是通过拨号动态产生的，时效性非常的短，一般都是在3分钟左右。对于scrapy这种并发度很高，又不需要登录的爬虫来说，非常合适，但是在浏览器渲染类爬虫中并不适用。
第二，选择速度较快的代理IP。因为selenium爬虫采用的是浏览器渲染技术，这种浏览器渲染技术速度就本身就很慢。如果选择的代理IP速度较慢，爬取的时间就会进一步增加。
第三，要有足够大的电脑内存。因为chrome占内存较大，在并发度很高的情况下，容易造成浏览器崩溃，也就是程序崩溃。
第四，在程序结束时，调用 browser.quit( ) 清除浏览器缓存。
3. 需要用户名密码验证的代理
相关文章内容简介
1 selenium+python设置爬虫代理IP的方法
selenium+python设置爬虫代理IP的方法 ∵ ∵ ∵ 1.∵设置背景 在使用selenium浏览器渲染技术，当我们爬取某个网站的信息的时候，在一般情况下速度都不是特别的快。而且需要利用selenium浏览器渲染技术爬取的网站，反爬虫的应对技术都比较厉害，对IP访问频率有很高程度的限制。所以，如果想提升selenium抓取数据的速度，可以从两个方面出发： 第一方... [阅读全文]
最新标签
推荐阅读
12
2019-08
质量最好的独享IP
独享IP正如字面的意思，就是用户独自一人使用这个IP池，质量很高，不会像共享IP提供给很多用户使用，所以不会有IP冲突的时候。正是因为独享IP的高质量，所以价格也是略高的，很多项目是
29
2018-11
怎么低成本获取大量IP？建立IP池
换IP的方法不少，比如通过重启路由器、手机开飞行模式等等，但这些换IP的方式只能少量换取IP，如果需要大量IP怎么办？怎么低成本获取大量IP？黑洞代理小编为介绍一下大量IP的获取方法。
29
2018-12
淘宝刷单用静态ip还是动态ip好？
新开的淘宝店苦于无人问津，所以很多淘宝店主都会采用刷单的方式提供店铺的销售量及访问量等，刷单需要使用不同的ip地址进行访问，所以到底淘宝刷单用静态ip还是动态ip好？下面黑洞代理
16
2019-06
代理IP投票的好处
众所周知，代理IP代理IP就是将用户的真实IP进行替换，用另一个IP进行替换。代理IP的用处是很广的，除了可以用在注册抢购方面以外，当然还有其他的一些方面，例如在数据采集，推广补量投
热门文章
