使用scrapy框架爬取带反盗链网站的图片

﹏ヽ暗。殇╰゛Y 2022-05-21 03:17 276阅读 0赞

1、以趣图网为例，首先复制趣图的图片的地址发现图片无法打开，每个图片打开都变成了如下图所示：

![70][]

出现上述情况的原因则是因为该网站采用了防盗链，为了防止爬虫，可是解决方法还是有的，下面介绍了解决这种情况的方式：

2、spider代码如下：

\# -\*- coding: utf-8 -\*-  
import scrapy  
from myproject.items import QutuprojectItem  
import os  
  
class QutuSpider(scrapy.Spider):  
    name = 'qutu'  
    allowed\_domains = \['www.gushiking.com'\]  
    start\_urls = \['http://www.gushiking.com/'\]  
    \#http://www.gushiking.com/  
    \#http://www.gushiking.com/new/p2.htm  
    \#http://www.gushiking.com/new/p3.htm  
    url = 'http://www.gushiking.com/new/p\{\}.htm'  
    page = 1  
    \#解析网页，提取图片  
    def parse(self, response):  
        \#找到包括图片信息的p标签  
        pic\_p = response.xpath('//div\[@class="pic"\]/div\[@class="conimg"\]')  
        for op in pic\_p:  
            item = QutuprojectItem()  
            \#获取图片的标题  
            item\["name"\] = op.xpath("./p//img/@alt").extract\_first()  
            \#获取图片的链接  
            item\["image\_url"\] = op.xpath("./p//img/@src").extract\_first()  
            yield item  
            \#下载图片  
            yield scrapy.Request(url=item\["image\_url"\],callback=self.download)  
        if self.page < 6:  
            self.page += 1  
            url = self.url.format(self.page)  
            yield scrapy.Request(url,callback=self.download)  
    \#下载图片的函数，referer会自动添加  
    def download(self,response):  
        \#保存图片的地址  
        dirpath = r'F:\\爬虫项目\\qutu'  
        \#获取请求的url  
        image\_url = response.url  
        \#获取图片的名字  
        image\_name = os.path.basename(image\_url)  
        \#获取图片的路径  
        image\_path = os.path.join(dirpath,image\_name)  
        \#下载图片  
        with open(image\_path,'wb') as fp:  
            fp.write(response.body)

[70]: /images/20220521/abdf40295b314092baed6ef1e21e02bd.png