Scrapy基础知识

桃扇骨 2022-05-15 08:27 41阅读 0赞

1.定义  
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。  
2.执行流程图  
![这里写图片描述][70]  
3.组件  
a).Scrapy Engine(引擎)  
Scrapy引擎负责整个框架的数据处理流程，并进行事务的出发，也就是什么时候触发什么事件，由它来进行分配调用。  
b).Scheduler(调度器)  
调度器负责发送请求给下载器  
c).Downloader(下载器)  
下载器作用是负责抓取网页信息并把相应返回给蜘蛛（Spiders）。  
d).Spiders(蜘蛛)  
Spiders接受Resopnse并解析数据，通过Item 发送给Pipline  
e).Item Pipeline(项目管道)  
实际上分为两部分：Items和PIplines  
Items定义数据模型  
Piplins从Spiders接受Item数据，对数据进行后期处理：过滤，清洗，入库等操作  
f).Downloader middlewares(下载器中间件)  
下载器中间件位于下载器和引擎之间的钩子框架，负责Request和Response的特殊处理，比如修改请求头，设置IP等  
![这里写图片描述][70 1]  
g).Spider middlewares  
蜘蛛中间件是介入到Scrapy中的spider处理机制的钩子框架，可以插入自定义功能来处理发送给 Spiders 的response，以及spider产生的item和request  
![这里写图片描述][70 2]  
4.Scrapy Github源码截图，整个框架的目录结构  
![这里写图片描述][70 3]

[70]: /images/20220515/6b33e51232544595a0867eadc61cf188.png
[70 1]: /images/20220515/1c1ac57e789340a1a3a7d6a81942f510.png
[70 2]: /images/20220515/fc813c9d8a084c97b2a7806aa7849d13.png
[70 3]: /images/20220515/9f9fb556151843f3a948dea920042be2.png

发表评论取消回复

表情：

评论列表（有 0 条评论，41人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy框架---基础入门

目录一：Scrapy框架的执行流程：二：Scrapy的三个内置对象: 三：Scrapy入门使用： 1：环

快来打我*/ 2022年12月24日 00:59/ 0 赞/ 125 阅读

相关搭建Scrapy基础框架

官方教程：[https://www.osgeo.cn/scrapy/intro/install.html][https_www.osgeo.cn_scrapy_intro_in

小咪咪/ 2022年10月07日 04:57/ 0 赞/ 128 阅读

相关【scrapy】scrapy按分类爬取豆瓣电影基础信息

Scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 Scrapy入门请看官方文档：[scrapy官方文档][scrapy]

亦凉/ 2022年07月12日 09:51/ 0 赞/ 241 阅读

相关 Python scrapy基础教程（三）

欢迎加入学习交流QQ群：657341423 -------------------- 爬虫最基本的就是对网页的post和get，也就是http的post和get，这样就可以

桃扇骨/ 2022年06月17日 01:11/ 0 赞/ 188 阅读

相关 Python scrapy基础教程（二）

欢迎加入学习交流QQ群：657341423 -------------------- 爬取一般网站常用的spider。其定义了一些规则(rule)来提供跟进link的方便的

女爷i/ 2022年06月17日 00:20/ 0 赞/ 165 阅读

相关 Python scrapy基础教程（一）

欢迎加入学习交流QQ群：657341423 -------------------- scrapy作为一个爬虫框架，其功能是足够强大的。这一框架就像一条爬虫流水线，有

￡神魔★判官ぃ/ 2022年06月17日 00:13/ 0 赞/ 176 阅读

相关 Scrapy基础知识

1.定义 Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、

桃扇骨/ 2022年05月15日 08:27/ 0 赞/ 42 阅读

相关基础知识

Nginx的负载均衡方式？ nginx默认支持四种调度算法 1. 轮询(rr),每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器故障，故障系统自动清除，使

╰半夏微凉°/ 2022年04月14日 06:10/ 0 赞/ 334 阅读

相关基础知识

1、定义常量define与const的区别　　define('PI',3.14,true); 　　const PI 3.14; 　　①co

比眉伴天荒/ 2021年12月03日 10:35/ 0 赞/ 425 阅读

相关 scrapy简易基础教程

[关于爬虫性能和scrapy框架的基本教程参考博客：][scrapy] [https://www.cnblogs.com/wupeiqi/articles/6229292.h

た入场券/ 2021年10月19日 20:36/ 0 赞/ 271 阅读