scrapy图片重命名、并且放入不同文件夹

r囧r小猫 2021-09-23 07:20 487阅读 0赞

我们在上一个图片下载项目的基础上进行修改  
[https://blog.csdn.net/qq\_35492650/article/details/100673530][https_blog.csdn.net_qq_35492650_article_details_100673530]  
上一个项目已经实现了图片的下载，但是图片的名称是用哈希随便生成的，图片的存放路径也是使用默认的设置。  
这次我们要实现图片的重命名，并且根据不同网页的分类放入不同的文件夹

*  图片的重命名  
    我们首先要从图片的url地址获取图片的名称  
    图片的url地址如下
    
        http://lab.scrapyd.cn/usr/uploads/2018/02/1500063924.jpg
    
    用request.url.split("/")\[-1\]实现url的切割，并且获取最后一个字符串，即图片的名称
    
        request.url.split("/")[-1]
    
    切割效果类似如下图片  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70]  
    重写pipelines.py文件中的继承ImagePipeline类的ImagespiderPipelin中的file\_方法，实现图片的重命名和放入不同的文件夹
 *  放入不同的文件夹  
    这次我们爬取的页面是
    
        http://lab.scrapyd.cn/archives/55.html
        http://lab.scrapyd.cn/archives/57.html
    
    两个页面。  
    通过对这两个页面进行分析，我们发现第一个页面是天价世界名画的图片  
    第二个页面是中国传世名画  
    通过分析页面，我们通过css获取页面的标题
    
        scrapy shell http://lab.scrapyd.cn/archives/55.html
        In [1]: response.css(".post-title a::text").get()
        Out[1]: '天价世界名画'
    
    通过重写pipelines.py文件中的继承ImagePipeline类的ImagespiderPipelin中的file\_方法，可轻松实现scrapy图片重命名，图片保存不同目录

**项目代码**  
在上一个项目的基础上进行修改

*  items.py  
    添加imgname 存放页面的文件夹名字
    
        import scrapy
        
        # 继承scrapy.item类
        class ImagespiderItem(scrapy.Item):
            # Field类仅是内置字典类（dict）的一个别名，并没有提供额外的方法和属性。
            # 被用来基于类属性的方法来支持item生命语法。
            imgurl = scrapy.Field()
            imgname = scrapy.Field()
            pass
 *  ImgSpider.py  
    添加对网页文件夹名称的提取，使用css进行提取
    
        import scrapy
        from ImageSpider.items import ImagespiderItem
        
        
        class ImgspiderSpider(scrapy.Spider):
            name = 'ImgSpider'
            allowed_domains = ['lab.scrapyd.cn']
            start_urls = ['http://lab.scrapyd.cn/archives/55.html',
                          'http://lab.scrapyd.cn/archives/57.html']
        
            def parse(self, response):
                item = ImagespiderItem()  # 实例化item
                imgurls = response.css(".post-content p img::attr(src)").getall()  # 注意这里是一个集合也就是多张图片
                item['imgurl'] = imgurls
                imgsName = response.css(".post-title a::text").get()  # 得到存放图片的文件夹名
                item['imgname'] = imgsName
                yield item
                pass
 *  pipelines.py  
    重写file\_path方法，通过meta把文件夹名称传入file\_path中
    
        from scrapy import Request
        from scrapy.pipelines.images import ImagesPipeline
        import re
        
        
        class ImagespiderPipeline(ImagesPipeline):
            def get_media_requests(self, item, info):
                # 循环每一张图片地址下载，若传过来的不是集合则无需循环直接yield
                for image_url in item['imgurl']:
                    # meta里面的数据从spider获取，然后通过meta传递给下面的方法 file_path
                    yield Request(image_url, meta={'name':item['imgname']})
        
            # 重命名，如果不重写该函数，图片名为哈希
            def file_path(self, request, response=None, info=None):
                # 提取url中的图片名称
                image_guid = request.url.split("/")[-1]
                # 接收meta传递过来的文件夹名称
                name = request.meta['name']
                # 过滤windows字符串，不经过这么一个步骤，你会发现有乱码导致无法下载
                name = re.sub(r'[?\\*|"<>:/]', '', name)
                # 分文件存储的关键：{0} 对应name; {1}对应image_guid
                filename = u'{0}/{1}'.format(name, image_guid)
                return filename
 *  settings.py  
    与上一个项目相同
    
        #图片存储位置
        IMAGES_STORE = 'D:\ImageSpider'
        #启动图片下载中间件
        ITEM_PIPELINES = {
           'ImageSpider.pipelines.ImagespiderPipeline': 300,
        }

**启动爬虫**

scrapy crawl ImgSpider

参考网址[http://www.scrapyd.cn/example/175.html][http_www.scrapyd.cn_example_175.html]

### 源代码下载 ###

链接：[https://pan.baidu.com/s/1U9hOhoRwNPnZyRjGRwQPuA][https_pan.baidu.com_s_1U9hOhoRwNPnZyRjGRwQPuA]  
提取码：8v8l  
复制这段内容后打开百度网盘手机App，操作更方便哦

[https_blog.csdn.net_qq_35492650_article_details_100673530]: https://blog.csdn.net/qq_35492650/article/details/100673530
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70]: /images/20210923/7a0525af0b374a84890cf6b3d4fa921d.png
[http_www.scrapyd.cn_example_175.html]: http://www.scrapyd.cn/example/175.html
[https_pan.baidu.com_s_1U9hOhoRwNPnZyRjGRwQPuA]: https://pan.baidu.com/s/1U9hOhoRwNPnZyRjGRwQPuA