qq:800819103
在线客服,实时响应qq群
在线客服,实时响应客服电话
13318873961动态IP如何帮助爬虫爬取360图解电影的图片,在360图片中有一个图解电影的标签,电影爱好者可以从中保存自己喜爱的电影图片。今天黑洞代理就为大家分享一下,爬虫是如何爬取360电影图片的。这里以Scrapy来爬取,并将图集按电影名称分类保存至本地。
代码如下:
import json
from scrapy import Spider, Request
from tujiemovie360.items import IndexItem, DetailItem
class TujiemovieSpider(Spider):
name = 'tujiemovie'
allowed_domains = ['image.so.com/z?ch=video']
start_urls = ['http://image.so.com/z?ch=video/']
# 索引页
index_url = 'http://image.so.com/zj?ch=video&sn={sn}&listtype=new&temp=1'
# 详情页
detail_url = 'http://image.so.com/zvj?ch=video&id={id}&pn=60&sn={sn}'
# 重写
def start_requests(self):
# 索引页请求
for sn in range(0, 1): # 修改上限值,可以把整个图解电影全爬下来
yield Request(url=self.index_url.format(sn=sn * 30), callback=self.parse_index, dont_filter=True)
def parse_index(self, response):
'''
解析索引页
'''
results = json.loads(response.text)
if 'list' in results.keys():
for movie in results.get('list'):
item = IndexItem()
item['id'] = movie.get('id')
item['group_title'] = movie.get('group_title')
item['total_count'] = movie.get('total_count')
item['actor'] = movie.get('actor')
item['director'] = movie.get('director')
yield item
# 请求每部电影图集详情页
id = movie.get('id')
total_count = movie.get('total_count')
for sn in range(0, total_count // 60 + 1):
yield Request(url=self.detail_url.format(id=id, sn=sn * 60), callback=self.parse_detail,
dont_filter=True)
def parse_detail(self, response):
'''
解析电影图集详情页(每张图片)
'''
results = json.loads(response.text)
if 'list' in results.keys():
for pic in results.get('list'):
item = DetailItem()
item['id'] = pic.get('group_id') # 电影图集id
item['imageid'] = pic.get('imageid')
item['pic_url'] = pic.get('pic_url')
item['pic_title'] = pic.get('pic_title')
item['qhimg_url'] = pic.get('qhimg_url')
yield item
通过上述代码,我们就可以获取到360图解电影的相关图片了。黑洞代理为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。
相关文章内容简介
1 动态IP如何帮助爬虫爬取360图解电影的图片
动态IP如何帮助爬虫爬取360图解电影的图片,在360图片中有一个图解电影的标签,电影爱好者可以从中保存自己喜爱的电影图片。今天黑洞代理就为大家分享一下,爬虫是如何爬取360电影图片的。这里以Scrapy来爬取,并将图集按电影名称分类保存至本地。 代码如下: import∵json from∵scrapy∵import∵Spider,∵Request from∵tujiemovie360.items∵import∵Ind... [阅读全文]
最新标签
推荐阅读
05
2019-03
刷单用软件有没有效果?
自从电商的刷单被爆出来之后,大家对刷单估计都由一定的认知了。对于商家来说,不刷单店铺就活不了,那么刷单用软件有没有效果?
16
2019-04
换ip软件有什么作用?
在现如今我们不论是衣食住行还是工作中都离不开互联网,而用来连接互联网的电子计算机都会有一个ip地址,主要是用来确定计算机的具体位置同事也是为了标识计算机,毕竟每天都会有不计
15
2019-05
换IP软件选择自动还是手动?
其实中国人都有一种普遍的心态,那就是追求稳中求胜。我们的老祖宗就一直遵循着这个理念,你说从继承和发扬传统的角度来看,我们也应该追求稳中求胜,但是时代在发展,观念也应该随着
30
2019-05
代理ip池如何维护?
代理IP现在对于经常使用网络的人来说耳熟能详,目前提供代理IP的网站也有很多,种类齐全,但是质量实在是不敢恭维,所以我们要经过筛选抓取,保存起来供我们使用,不能用的再进行剔
热门文章