Scrapy工作原理

淩亂°似流年 2022-01-08 00:51 145阅读 0赞

*  1. Scrapy旧版架构图（绿线是数据流向）
 *  2. Scrapy新版架构图
    
     *  1. 组件介绍
     *  2. 数据流（Data Flow）
     *  3. 使用Scrapy框架爬虫的重要命令
     *  4. Middlewares主要方法

## 1. Scrapy旧版架构图（绿线是数据流向） ##

![old][]

>  *  **Spiders(爬虫)**：负责处理所有Responses，从中分析提取数据，获取Items字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。

>  *  **Engine(引擎)**：负责Spider、Item Pipeline、Downloader、Scheduler中间的通讯、信号以及数据传递等。

>  *  **Scheduler(调度器)**：负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列和入队，当引擎需要时，交还给引擎。

>  *  **Downloader(下载器)**：负责下载引擎发送的所有Requests请求，并将其获取到的Responses交还给引擎，由引擎交给Spider来处理。

>  *  **Item Pipeline(管道)**：负责处理Spider中获取到的Items，并进行后期处理（如详细分析、过滤、存储等）。

>  *  **Downloader Middlewares（下载中间件）**：一个可以自定义下载功能的组件。

>  *  **Spider Middlewares（Spider中间件）**：一个可以自定义引擎和Spider交互的组件。

>  *  **通信的功能组件**：如进入Spider的Responses和从Spider出去的Requests。

## 2. Scrapy新版架构图 ##

![new][]

### 1. 组件介绍 ###

>  *  **Scrapy Engine（引擎）**：引擎负责控制数据流在所有组件中的流动，并在相应动作发生时触发事件。

>  *  **Scheduler（调度器）**：调度器从引擎接受Request并将他们入队，以便之后引擎请求他们时提供给引擎。

>  *  **Downloader（下载器）**：下载器负责获取页面数据并提供给引擎，而后提供给Spiders。

>  *  **Spiders（爬虫）**：Spiders是用户编写用于分析Response并提取items(即获取到的items)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。 更多内容请看 [Spiders][] 。

>  *  **Item Pipeline（管道）**：Item Pipeline负责处理被Spider提取出来的items。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 更多内容查看 [Item Pipeline][] 。

>  *  **Downloader Middlewares（下载器中间件）**：下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的Response（也包括引擎传递给下载器的Request），即处理下载请求。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。更多内容请看[Downloader Middleware][] 。

>  *  **Spider middlewares（爬虫中间件）**：Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理Spider的输入(Response)和输出(Items及Requests)，即处理解析。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。更多内容请看 [Spider Middleware][] 。

### 2. 数据流（Data Flow） ###

> 1.  引擎打开一个网站(open a domain)，找到处理该网站的Spiders并向该Spiders请求第一个要爬取的URL(s)。
> 2.  引擎从Spiders中获取到第一个要爬取的URL(s)并在调度器(Scheduler)以Request调度。
> 3.  引擎向调度器请求下一个要爬取的URL(s)。
> 4.  调度器返回下一个要爬取的URL(s)给引擎，引擎将URL(s)通过下载中间件(请求(Request)方向)转发给下载器(Downloader)。
> 5.  一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(Response)方向)发送给引擎。
> 6.  引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spiders处理。
> 7.  Spiders处理Response并返回爬取到的Item及（跟进的）新的Request给引擎。
> 8.  引擎将(Spiders返回的)爬取到的Item推送给Item Pipelines，将(Spiders返回的)Request推送给调度器。
> 9.  (从第二步)重复直到调度器中没有更多的Request，引擎关闭该网站。

### 3. 使用Scrapy框架爬虫的重要命令 ###

创建项目：scrapy startproject xxx (项目名)
    进入项目：cd xxx 
    基本爬虫：scrapy genspider xxx（爬虫名） xxx.com （爬取域） 
    规则爬虫：scrapy genspider -t crawl xxx（爬虫名） xxx.com （爬取域） 
    运行命令：scrapy crawl xxx（项目名） -o xxx（项目名）.json

### 4. Middlewares主要方法 ###

#### 1. Spider Middlewares： 处理解析Items的相关逻辑修正，比如数据不完整要添加默认，增加其他额外信息等 ####

>  *  **process\_spider\_input(response, spider)**：当Response通过spider中间件时，该方法被调用，处理该Response。
>  *  **process\_spider\_output(response, result, spider)**：当Spider处理Response返回result时，该方法被调用。
>  *  **process\_spider\_exception(response, exception, spider)**：当spider或(其他spider中间件的) process\_spider\_input()抛出异常时， 该方法被调用。

#### 2. Downloader Middlewares：处理发出去的请求（Request）和返回结果（Response）的一些回调 ####

>  *  **process\_request(request, spider)**：当每个request通过下载中间件时，该方法被调用，这里可以修改UA，代理，Refferer
>  *  **process\_response(request, response, spider)**： 这里可以看返回是否是200加入重试机制
>  *  **process\_exception(request, exception, spider)**：这里可以处理超时

*参考：[https://blog.csdn.net/baidu\_32542573/article/details/79415947][https_blog.csdn.net_baidu_32542573_article_details_79415947]  
    [https://blog.csdn.net/qq\_37143745/article/details/80996707][https_blog.csdn.net_qq_37143745_article_details_80996707]*

转载于:https://www.cnblogs.com/yueyun00/p/10478640.html

[old]: /images/20211220/bd9f607b3fe8423e94094e7b7c61ef3b.png
[new]: /images/20211220/9f451457b00242d2a84f6ec6092ac86a.png
[Spiders]: https://scrapy-chs.readthedocs.io/zh_CN/stable/topics/spiders.html#topics-spiders
[Item Pipeline]: https://scrapy-chs.readthedocs.io/zh_CN/stable/topics/item-pipeline.html#topics-item-pipeline
[Downloader Middleware]: https://scrapy-chs.readthedocs.io/zh_CN/stable/topics/downloader-middleware.html
[Spider Middleware]: https://scrapy-chs.readthedocs.io/zh_CN/stable/topics/spider-middleware.html
[https_blog.csdn.net_baidu_32542573_article_details_79415947]: https://blog.csdn.net/baidu_32542573/article/details/79415947
[https_blog.csdn.net_qq_37143745_article_details_80996707]: https://blog.csdn.net/qq_37143745/article/details/80996707