Scrapy框架的工作原理和工作流程

深碍√TFBOYSˉ_ 2023-10-07 16:18 185阅读 0赞

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取到数据内容。Scrapy使用了Twisted异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy爬虫框架
Scrapy框架的工作流程：

1.首先Spiders(爬虫)将需要发送请求的url(requests)经ScrapyEngine(引擎)交给Scheduler(调度器)。

2.Scheduler(排序，入队)处理后，经ScrapyEngine，DownloaderMiddlewares(可选，主要有User_Agent， Proxy代理)交给Downloader。

3.Downloader向互联网发送请求，并接收下载响应(response)。将响应(response)经ScrapyEngine，SpiderMiddlewares(可选)交给Spiders。

4.Spiders处理response，提取数据并将数据经ScrapyEngine交给ItemPipeline 保存(可以是本地，可以是数据库)。提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url请求程序停止结束。

发表评论

表情：
评论列表 （有 0 条评论，185人围观）

还没有评论，来说两句吧...

相关阅读

    相关 JVM工作原理和工作流程简述

    JAVA之所以跨平台，是因为有JVM这么一个编译和运行机器，它令对于系统的操作对于用户而言是黑盒的，使得开发人员更快速和更注重软件功能的实现。然而，也因为jvm是黑盒，所以内部

    叁歲伎倆叁歲伎倆/ 0 赞/ 112 阅读