Python爬虫学习记录——14.Scrapy的Request和Response详解

清疚 2023-06-10 15:23 9阅读 0赞

### 文章目录 ###

*   *  前言
     *  Request对象
     *  Response对象
     *  实战

## 前言 ##

上篇博客我们学习了中间件，知道了怎么通过中间件执行反反爬策略。本篇博客主要介绍Scrapy框架的request对象和response对象

通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序

Request类和Response类都有一些子类，子类用来添加基类中不必要的功能。这些在下面的请求子类和响应子类中描述

## Request对象 ##

一个Request对象表示一个HTTP请求，它通常是在爬虫中生成，并由下载器执行，从而返回Response

**基础参数**

*  **url**——请求的url
 *  **callback**——请求回来的reseponse处理函数，也叫回调函数
 *  **meta**——用来在“页面”之间传递数据
    
     *  meta是一个dict，主要用来在解析函数之间传递值
     *  比如：在parse() 给item某些字段提取了值，并且提取出了一个新的URL，item另外一些字段需要在这个新的URL的response里面提取，为此定义一个parse\_item()解析函数用于处理这个response。在用request发送这个新的URL请求的时候，使用parse\_item()作为回调函数，并使用meta传递原来已经提取的item字段给parse\_item()里的response
     *  Request对象接受一个meta参数，一个字典对象，同时Response对象有一个meta属性可以取到相应request传过来的meta
     *  一旦此参数被设置， 通过参数传递的字典将会被浅拷贝
 *  **headers**——页面的headers数据
 *  **cookies**——设置页面的cookies

**基础高级参数**

*  **encoding**——请求的转换编码
 *  **priority**——链接优先级
    
     *  优先级越高，越优先爬取，但不可以序列化
     *  序列化 (Serialization)：将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象
 *  **dont\_filter**——强制不过滤  
    scrapy会对request的URL去重，加上dont\_filter则告诉它这个URL不参与去重
 *  **errback**——错误回掉  
    errback更适合用于检查记录请求产生的错误，但是不适合请求的重试

**Request对象方法**

*  **copy()**：复制一个一模一样的对象
 *  **replace()**：对对象参数进行替换

**Request.meta 一些特殊的keys**

*  dont\_redirect：如果 Request.meta 包含 dont\_redirect 键，则该request将会被RedirectMiddleware忽略
 *  dont\_retry：如果 Request.meta 包含 dont\_retry 键， 该request将会被RetryMiddleware忽略
 *  handle\_httpstatus\_list：Request.meta 中的 - - handle\_httpstatus\_list 键可以用来指定每个request所允许的response code
 *  handle\_httpstatus\_all：handle\_httpstatus\_all为True ，可以允许请求的任何响应代码
 *  dont\_merge\_cookies：Request.meta 中的dont\_merge\_cookies设为TRUE，可以避免与现有cookie合并
 *  cookiejar：Scrapy通过使用 Request.meta中的cookiejar 来支持单spider追踪多cookie session。 默认情况下其使用一个cookie jar(session)，不过可以传递一个标示符来使用多个
 *  dont\_cache：可以避免使用dont\_cache元键等于True缓存每个策略的响应
 *  redirect\_urls：通过该中间件的(被重定向的)request的url可以通过 Request.meta 的 redirect\_urls 键找到
 *  bindaddress：用于执行请求的传出IP地址的IP
 *  dont\_obey\_robotstxt：如果Request.meta将- - dont\_obey\_robotstxt键设置为True，则即使启用- ROBOTSTXT\_OBEY，RobotsTxtMiddleware也会忽略该请求
 *  download\_timeout：下载器在超时之前等待的时间（以秒为单位）
 *  download\_maxsize：爬取URL的最大长度
 *  download\_latency：自请求已经开始，即通过网络发送的HTTP消息，用于获取响应的时间量  
    该元密钥仅在下载响应时才可用。虽然大多数其他元键用于控制Scrapy行为，但是这个应用程序应该是只读的
 *  download\_fail\_on\_dataloss：是否在故障响应失败
 *  proxy：可以将代理每个请求设置为像http：// - - some\_proxy\_server：port这样的值
 *  ftp\_user ：用于FTP连接的用户名
 *  ftp\_password ：用于FTP连接的密码
 *  referrer\_policy：为每个请求设置referrer\_policy
 *  max\_retry\_times：用于每个请求的重试次数。初始化时，max\_retry\_times元键比RETRY\_TIMES设置更高优先级

## Response对象 ##

**基础参数**

*  **url**——请求的url
 *  **body**——请求回来的html
 *  **meta**——用来在“页面”之间传递数据
 *  **headers**——页面的headers数据
 *  **cookies**——设置页面的cookies
 *  **Request**——发出这个response的request对象

**Response对象方法**

*  **copy()**：同request
 *  **replace()**：同request
 *  **urljoin()**：由于将页面相对路径改为绝对路径  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]
    
        import scrapy
        class QuotesSpider(scrapy.Spider):
            name = "quotes"
            start_urls = [
                'http://quotes.toscrape.com/page/1/',
            ]
            def parse(self, response):
                #使用css选择器，提取出三个元素的目录的SelectorList
                for quote in response.css('div.quote'):
                    yield { 
                        #使用css选择器，提取出text元素,并把它转换成字符串
                        'text': quote.css('span.text::text').extract_first(),
                         #使用css选择器，提取出author元素,并把它转换成字符串
                        'author': quote.css('small.author::text').extract_first(),
                         #使用css选择器，提取出tags元素,并把它转换成List
                        'tags': quote.css('div.tags a.tag::text').extract(),
                    }
                    #使用css选择器，提取出href元素,并把它转换成字符串
                next_page = response.css('li.next a::attr(href)').extract_first()#取出相对路径
                if next_page is not None:
                    next_page = response.urljoin(next_page)   #页面相对路径改为绝对路径
                    yield scrapy.Request(next_page, callback=self.parse)
 *  **follow()**：对相对路径进行自动补全
    
        import scrapy
        class QuotesSpider(scrapy.Spider):
            name = "quotes"
            start_urls = [
                'http://quotes.toscrape.com/page/1/',
            ]
            def parse(self, response):
                for quote in response.css('div.quote'):
                    yield { 
                        'text': quote.css('span.text::text').extract_first(),
                        'author': quote.css('span small::text').extract_first(),
                        'tags': quote.css('div.tags a.tag::text').extract(),
                    }
                next_page = response.css('li.next a::attr(href)').extract_first()
                if next_page is not None:
                    yield response.follow(next_page, callback=self.parse) #返回一个请求实例来跟踪一个链接url

## 实战 ##

Request、Response实例演示  
本示例使用的依旧是上节课的58同城的例子  
**city58\_test.py**：本例中演示了response的follow函数中相对路径转化为绝对路径，并且比较了request中各个参数的异同

# -*- coding: utf-8 -*-
    import scrapy
    from pyquery import PyQuery
    from ..items import City58Item
    
    from scrapy.http import Request
    
    
    class City58TestSpider(scrapy.Spider):
        name = 'city58_test'
        allowed_domains = ['58.com']
        start_urls = ['http://bj.58.com/chuzu/',
                      # 'http://bj.58.com/chuzu/pn2/'
                      ]
    
        def parse(self, response):
            jpy = PyQuery(response.text)
            li_list = jpy('body > div.mainbox > div.main > div.content > div.listBox > ul > li').items()
            for it in li_list:
                a_tag = it('div.des > h2 > a')
                item = City58Item()
                item['name'] = a_tag.text()
                item['url'] = a_tag.attr('href')
                item['price'] = it('div.listliright > div.money > b').text()
    
                test_request = response.follow('/chuzu/pn2/', callback=self.parse)   #使用response.follow方法把“/chuzu/pn2/”这个相对路径转换为绝对路径，并回调parse()函数
                test_request2 = Request('http://bj.58.com/chuzu/pn3/',
                                        callback=self.parse,
                                        errback=self.error_back,  #调用异常函数
                                        cookies={ },  #cookie设为空
                                        headers={ },  #headers设为空
                                        priority=10
                                        )
                test_request3 = Request('http://58.com',
                                        callback=self.parse,
                                        errback=self.error_back,   #调用异常函数
                                        priority=10,   #优先级设为10
                                        meta={ 'dont_redirect': True}   #不用重定向
                                        )
                test_request4 = Request('http://58.com',
                                        callback=self.parse,
                                        errback=self.error_back,
                                        priority=10,
                                        # meta={'dont_redirect': True}
                                        dont_filter=True  #对url不过滤
                                        )
                yield item
                yield test_request
                yield test_request2
                yield test_request3
                yield test_request4
    
        def error_back(self, e):
            _ = self
            print(e)  #打印异常信息

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]: /images/20230531/ed9789d08e00443e8ecb76d451e54def.png