python scrapy request_python——scrapy中Request参数

骑猪看日落 2022-10-25 14:11 213阅读 0赞

介绍

Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求，在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它，用于post请求。

在Spider中通常用法： yield scrapy.Request(url = 'zarten.com')

类属性和方法有：

url

method

headers

body

meta

可用户自定义从Request到Response传递参数，这个参数一般也可在middlewares中处理

yield scrapy.Request(url = 'zarten.com', meta = \{'name' : 'Zarten'\})

在Response中：

my\_name = response.meta\['name'\]

不过也有scrapy内置的特殊key，也非常有用，它们如下：

proxy

设置代理，一般在middlewares中设置

可以设置http或https代理

request.meta\['proxy'\] = 'https://' + 'ip:port'

download\_timeout

设置请求超时等待时间(秒)，通常在settings中设置DOWNLOAD\_TIMEOUT，默认是180秒(3分钟)

最大重试次数(除去第一次下载)，默认为2次，通常在settings中 RETRY\_TIMES设置

dont\_redirect

设为True后，Request将不会重定向

dont\_retry

设为True后，对于http链接错误或超时的请求将不再重试请求

http返回码200-300之间都是成功的返回，超出这个范围的都是失败返回，scrapy默认是过滤了这些返回，不会接收这些错误的返回进行处理。不过可以自定义处理哪些错误返回：

yield scrapy.Request(url= 'https://httpbin.org/get/zarten', meta= \{'handle\_httpstatus\_list' : \[404\]\})

在parse函数中可以看到处理404错误：

def parse(self, response):

print('返回信息为：',response.text)

![567bc9074d7e8a7f68d802e4f8e31cef.png][]

![8c842fb3cb801cef42a820acb6913186.png][]

设为True后，Response将接收处理任意状态码的返回信息

scrapy会自动保存返回的cookies，用于它的下次请求，当我们指定了自定义cookies时，如果我们不需要合并返回的cookies而使用自己指定的cookies，可以设为True

可以在单个spider中追踪多个cookie，它不是粘性的，需要在每次请求时都带上

def start\_requests(self):

urls = \['http://quotes.toscrape.com/page/1',

'http://quotes.toscrape.com/page/3',

'http://quotes.toscrape.com/page/5',

for i ,url in enumerate(urls):

yield scrapy.Request(url= url, meta= \{'cookiejar' : i\})

def parse(self, response):

next\_page\_url = response.css("li.next > a::attr(href)").extract\_first()

if next\_page\_url is not None:

yield scrapy.Request(response.urljoin(next\_page\_url), meta= \{'cookiejar' : response.meta\['cookiejar'\]\}, callback= self.parse\_next)

def parse\_next(self, response):

print('cookiejar:', response.meta\['cookiejar'\])

![d0be446d3cb0c83f110edd2d6a7a1e80.png][]

![4f67690d4a7189b201cb60522c60ba75.png][]

设为True后，不会缓存

暂时还不清楚具体的作用，知道的小伙伴们欢迎在评论留言

绑定输出IP

设为True，不遵守robots协议，通常在settings中设置

设置下载器最大下载的大小(字节)，通常在settings中设置DOWNLOAD\_MAXSIZE，默认为1073741824 (1024MB=1G)，若不设置最大的下载限制，设为0

只读属性，获取请求的响应时间(秒)

def start\_requests(self):

headers = \{

'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

yield scrapy.Request(url= 'https://www.amazon.com', headers= headers)

def parse(self, response):

print('响应时间为：', response.meta\['download\_latency'\])

![8855c7719ddbc28da655a992ff90858a.png][]

![6a5e84095ef8707233512b8d835d09df.png][]

很少用到，详情看这里

FormRequest

FormRequest 类为Request的子类，用于POST请求

这个类新增了一个参数 formdata，其他参数与Request一样，详细可参考上面的讲述

一般用法为:

yield scrapy.FormRequest(url="http://www.example.com/post/action",

formdata=\{'name': 'Zarten', 'age': '27'\},

callback=self.after\_post)

[5c8d878c5dfcf8c275245099df1828f0.png]: /images/20221024/fa0c5a4be13f464dabea5ed1f9e82e5d.png
[946df913849c76d9ee77372342b66cc8.png]: /images/20221024/fcc266c56aeb4833877f10b155457428.png
[567bc9074d7e8a7f68d802e4f8e31cef.png]: /images/20221024/fdae11f9cad04cb6aeeacf4d75e0dcf8.png
[8c842fb3cb801cef42a820acb6913186.png]: /images/20221024/fc3d6a7ad90d4c25b0f8ac59a102c642.png
[d0be446d3cb0c83f110edd2d6a7a1e80.png]: /images/20221024/1749bcb8b52742428a4f376605ab316b.png
[4f67690d4a7189b201cb60522c60ba75.png]: /images/20221024/15296b49f632474aa68002c0385f09bf.png
[8855c7719ddbc28da655a992ff90858a.png]: /images/20221024/6602a0121ee546dcaf4cbe81c5ff5b96.png
[6a5e84095ef8707233512b8d835d09df.png]: /images/20221024/196f4340605542568d07648485013913.png