Python 使用scrapy爬虫框架爬取图片下载并保存本地

柔光的暖阳◎ 2022-05-17 01:35 389阅读 0赞

### Scrapy官方文档:[http://scrapy-chs.readthedocs.io/zh\_CN/latest/index.html][http_scrapy-chs.readthedocs.io_zh_CN_latest_index.html] ###

基本按照文档的流程过一遍基本就会用了:

### 在爬取之前,先创建一个新的Scrapy项目,进入终端,输入下面命令:   scrapy startproject BiZhi ###

该命令将创建包含下面的内容tutorial目录:

![70][]

在终端输入下面命令进入该项目:

### cd BiZhi ###

### 输入我们需要爬取的网址:   scrapy genspider bizhi pic.netbian.com ###

我们主要编辑的如下图箭头所示:

![70 1][]

我们先进入spiders下面的bizhi.py进行编辑:

![70 2][]

1.下面是获取图片和下载完整代码:

# -*- coding: utf-8 -*-
    import scrapy
    from ..items import BizhiItem
    
    class BizhiSpider(scrapy.Spider):
        name = 'bizhi'
        allowed_domains = ['pic.netbian.com']
        start_urls = ['http://pic.netbian.com/']
    
        def parse(self, response):
            # 获取图片
            picture_list = response.xpath('//ul[@class="clearfix"]/li/a//@src').extract()
            for picture in picture_list:
                # 拼接完整地址
                url = 'http://pic.netbian.com' + picture
                item = BizhiItem()
                item['url'] = [url]
                yield  item
                # 获取下一页地址链接
                next_url = response.xpath('//div[@class="page"]/a/@href').extract()
                for next in next_url:
    
                    if len(next) != 0:
                        # 拼接下一页完整地址
                        downPageUrl = 'http://pic.netbian.com' + next
    
                        yield scrapy.Request(url=downPageUrl,callback=self.parse)

2.进入items.py进行编辑:

![70 3][]

3.进入settings.py进行编辑:

![70 4][]

![70 5][]

最后我们在命令行输入下面代码运行:

### scrapy crawl bizhi ###

注意:这个网址只提供参考,这个网址图片比较多,我下载了3个多小时,最后看了一下2万多张图片......

[http_scrapy-chs.readthedocs.io_zh_CN_latest_index.html]: http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
[70]: /images/20220517/287d4aa444f846a3a59f71095e1fc3cf.png
[70 1]: /images/20220517/fd91994e14494a16bc41dccb14e60f23.png
[70 2]: /images/20220517/77aa855575a844ff9e58b90f709f05e3.png
[70 3]: /images/20220517/77f5f68b317a4e12b766859cff64c1f8.png
[70 4]: /images/20220517/535941d00fe641d691b790a6bcaab07e.png
[70 5]: /images/20220517/ac50d120df7f458f94a95dae6f3bd42b.png