qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
133188739611. 设置背景
在使用selenium浏览器渲染技术,当我们爬取某个网站的信息的时候,在一般情况下速度都不是特别的快。而且需要利用selenium浏览器渲染技术爬取的网站,反爬虫的应对技术都比较厉害,对IP访问频率有很高程度的限制。所以,如果想提升selenium抓取数据的速度,可以从两个方面出发:
第一方面, 抓取频率要提高,破解出现的验证信息,一般都是验证码或者是用户登陆 。
第二方面,使用多线程 + 代理IP, 这种方式,需要电脑有足够的内存和充足稳定的代理IP 。
2. 为chrome设置代理IP
注意事项:
第一,选择稳定的固定的代理IP。不要选择动态代理IP。我们常用的爬虫IP代理通常都是具有高度保密性质的高匿名动态IP,是通过拨号动态产生的,时效性非常的短,一般都是在3分钟左右。对于scrapy这种并发度很高,又不需要登录的爬虫来说,非常合适,但是在浏览器渲染类爬虫中并不适用。
第二,选择速度较快的代理IP。因为selenium爬虫采用的是浏览器渲染技术,这种浏览器渲染技术速度就本身就很慢。如果选择的代理IP速度较慢,爬取的时间就会进一步增加。
第三,要有足够大的电脑内存。因为chrome占内存较大,在并发度很高的情况下,容易造成浏览器崩溃,也就是程序崩溃。
第四,在程序结束时,调用 browser.quit( ) 清除浏览器缓存。
3. 需要用户名密码验证的代理
相关文章内容简介
1 selenium+python设置爬虫代理IP的方法
selenium+python设置爬虫代理IP的方法 ∵ ∵ ∵ 1.∵设置背景 在使用selenium浏览器渲染技术,当我们爬取某个网站的信息的时候,在一般情况下速度都不是特别的快。而且需要利用selenium浏览器渲染技术爬取的网站,反爬虫的应对技术都比较厉害,对IP访问频率有很高程度的限制。所以,如果想提升selenium抓取数据的速度,可以从两个方面出发: 第一方... [阅读全文]
最新标签
推荐阅读
30
2019-04
如何用Python爬取代理IP并验证有效性?
在爬虫工作的过程中,往往由于IP被限制了而无法进行下去,工程师们也是智计百出,购买代理IP,自己搭建IP池,甚至网上抓取免费代理IP。我们知道,网络上有很多提供免费代理IP的网站,我
12
2019-06
代理ip有哪些应用场景
我们在上网的过程中,经常都是访问各种网站获取信息,如果仅是普通访问没事,若是快速多次访问,这经常是被限制的,为什么呢?
30
2018-11
怎么提升爬虫的爬取效率?实现分布式爬虫
大数据时代,企业需要采集大量的数据,并从中挖掘有价值的信息。大量数据的采集,普通的爬取方式满足不了需求,那么怎么提升爬虫的爬取效率?这就需要用到分布式爬虫。
05
2019-08
发大量贴需要用代理ip
网络推广每天都要发布非常多的信息,甚至几百条,如果大量发布信息的时候,一直使用一个IP地址,IP地址肯定会被封。很多网站都具有限定,如果访问的次数过多,发布的消息过多都会被封IP
热门文章