Scrapy之Request函数回调未执行解决方案

深碍√TFBOYSˉ_ 2022-05-24 09:17 123阅读 0赞

scrapy 执行Request函数时，回调函数未执行情况：

yield scrapy.Request(url=parse.urljoin(response.url, post\_url), headers=self.headers, callback=self.parse\_detail)

执行的时候发现parse\_detail未被调用，很大可能是被allowed\_domains给过滤掉了。查看scrapy的运行日志，可以查看**'offsite/filtered': 21**,被过滤了21个域名。

其实，这些日志信息都是由 scrapy 中的一个 middleware 抛出的，如果没有自定义，那么这个 middleware 就是默认的 `Offsite Spider Middleware`，它的目的就是过滤掉那些不在 `allowed_domains` 列表中的请求 requests。

再次查看手册中关于 `OffsiteMiddleware` 的部分([https://doc.scrapy.org/en/latest/topics/spider-middleware.html\#scrapy.spidermiddlewares.offsite.OffsiteMiddleware][https_doc.scrapy.org_en_latest_topics_spider-middleware.html_scrapy.spidermiddlewares.offsite.OffsiteMiddleware])

这些日志信息都是由 scrapy 中的一个 middleware 抛出的，如果没有自定义，那么这个 middleware 就是默认的 `Offsite Spider Middleware`，它的目的就是过滤掉那些不在 `allowed_domains` 列表中的请求 requests。

再次查看手册中关于 `OffsiteMiddleware` 的部分([https://doc.scrapy.org/en/latest/topics/spider-middleware.html\#scrapy.spidermiddlewares.offsite.OffsiteMiddleware][https_doc.scrapy.org_en_latest_topics_spider-middleware.html_scrapy.spidermiddlewares.offsite.OffsiteMiddleware])

解决方案：

两种方法能够使 requests 不被过滤:   
1. 在 `allowed_domains` 中加入 url ；  
2. 在 scrapy.Request() 函数中将参数 `dont_filter=True` 设置为 True。

[https_doc.scrapy.org_en_latest_topics_spider-middleware.html_scrapy.spidermiddlewares.offsite.OffsiteMiddleware]: https://doc.scrapy.org/en/latest/topics/spider-middleware.html#scrapy.spidermiddlewares.offsite.OffsiteMiddleware

发表评论取消回复

表情：

评论列表（有 0 条评论，123人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy回调函数callback传递参数的方式

一、概述默认Scrapy callback只能接函数名，不能传参数，我如果想给callback传递多个参数呢？回调方法示例： yield Request(

我会带着你远行/ 2022年12月11日 06:29/ 0 赞/ 131 阅读

相关 Android之回调函数

[![72540bbb9ba96efe74aff1bdbd4bca15.png][]][72540bbb9ba96efe74aff1bdbd4bca15.png 1]

た入场券/ 2022年08月31日 07:09/ 0 赞/ 154 阅读

相关 python apply_async没有执行函数,未调用apply_async回调函数

![Image 1][] I am a newbie to python,i am have function that calculate feature for my d

我会带着你远行/ 2022年08月30日 06:23/ 0 赞/ 306 阅读

相关自定义时间触发回调函数的解决方案

在做css3的动画时，我们想让几块不同的动画场景，按照不同的时间出现，这样子可以形成视差动画，而不是上一个动画执行完了，下一个动画就开始了，我们想自己定义动画出场的时间。这

水深无声/ 2022年07月29日 09:03/ 0 赞/ 112 阅读

相关 Scrapy之Request函数回调未执行解决方案

scrapy 执行Request函数时，回调函数未执行情况： yield scrapy.Request(url=parse.urljoin(response.url,

深碍√TFBOYSˉ_/ 2022年05月24日 09:17/ 0 赞/ 124 阅读

相关 Scrapy之Request函数回调未执行解决方案

scrapy 执行Request函数时，回调函数未执行情况： yield scrapy.Request(url=parse.urljoin(response.url,

╰半夏微凉°/ 2022年05月24日 09:15/ 0 赞/ 136 阅读

相关 java之回调函数

今天面试碰到了让我写一个回调函数，由于之前听过，但是一直没写过，也没用过所以是一脸懵逼的，今天就来记录下java的回调函数吧，由易到难。案例一：

左手的ㄟ右手/ 2022年05月17日 06:37/ 0 赞/ 187 阅读

相关小程序request请求回调函数异步的解决办法

`小程序的wx.request` 方法的不支持 Promise，也就是说我们不能使用promise函数来使我们的请求与回调函数同步，这就带来了一些问题，比如我们在wx.req

Myth丶恋晨/ 2022年03月08日 13:24/ 0 赞/ 243 阅读

相关 Java之回调函数

回调函数涉及的3个函数登记回调函数回调函数响应回调函数简单的解释你到一个商店买东西，刚好你要的东西没有货，于是你在店员那里留下了你的电话。过了几天店

朱雀/ 2022年01月09日 10:09/ 0 赞/ 257 阅读

相关 scrapy - Request 中的回调函数不执行或者只执行一次

在 scrapy 的parse()函数中，用调度器回调request对象时： scrapy.Request(url, headers=self.header, cal

男娘i/ 2021年10月19日 23:32/ 1 赞/ 524 阅读