Scrapy从入门到放弃6--scrapy_redis概念作用和流程

我就是我 2023-01-01 01:50 193阅读 0赞

## scrapy\_redis概念作用和流程 ##

![在这里插入图片描述][resize_m_lfit_w_962_pic_center_pic_center]

##### 学习目标 #####

1.  了解 分布式的概念及特点
2.  了解 scarpy\_redis的概念
3.  了解 scrapy\_redis的作用
4.  了解 scrapy\_redis的工作流程

--------------------

> 在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据

### 1. 分布式是什么 ###

> 简单的说 分布式就是不同的节点（服务器，ip不同）共同完成一个任务

### 2. scrapy\_redis的概念 ###

scrapy\_redis是scrapy框架的基于redis的分布式组件

### 3. scrapy\_redis的作用 ###

> Scrapy\_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：

通过持久化请求队列和请求的指纹集合来实现：

*  断点续爬
 *  分布式快速抓取

### 4. scrapy\_redis的工作流程 ###

#### 4.1 回顾scrapy的流程 ####

![Image 1][]

##### 思考：那么，在这个基础上，如果需要实现分布式，即多台服务器同时完成一个爬虫，需要怎么做呢？ #####

#### 4.2 scrapy\_redis的流程 ####

*  在scrapy\_redis中，所有的待抓取的request对象和去重的request对象指纹都存在所有的服务器公用的redis中
 *  所有的服务器中的scrapy进程公用同一个redis中的request对象的队列
 *  所有的request对象存入redis前，都会通过该redis中的request指纹集合进行判断，之前是否已经存入过
 *  在默认情况下所有的数据会保存在redis中

具体流程如下：

![Image 1][]

--------------------

## 小结 ##

scarpy\_redis的分布式工作原理

*  在scrapy\_redis中，所有的待抓取的对象和去重的指纹都存在公用的redis中
 *  所有的服务器公用同一redis中的请求对象的队列
 *  所有的request对象存入redis前，都会通过请求对象的指纹进行判断，之前是否已经存入过

--------------------

> 到这里就结束了，如果对你有帮助你，欢迎点赞关注，你的点赞对我很重要

[resize_m_lfit_w_962_pic_center_pic_center]: /images/20221120/43b601814e8f4fb3aa2c27fbcdec9134.png
[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，193人围观）

还没有评论，来说两句吧...

相关阅读

相关 JavaScript从入门到放弃 -（七）ES6

目录 1. ES6相关概念 1.1 什么是 ES6 ? 1.2 为什么使用 ES6 ? 2 ES6新增语法 2.1 新增

小鱼儿/ 2023年03月03日 08:56/ 0 赞/ 40 阅读

相关 Scrapy从入门到放弃6--scrapy_redis概念作用和流程

scrapy\_redis概念作用和流程 ![在这里插入图片描述][resize_m_lfit_w_962_pic_center_pic_center] 学习目标

我就是我/ 2023年01月01日 01:50/ 0 赞/ 194 阅读

相关 Scrapy从入门到放弃5--中间件的使用

scrapy中间件的使用 ![在这里插入图片描述][resize_m_lfit_w_962_pic_center_pic_center] 学习目标： 1. 应用

绝地灬酷狼/ 2023年01月01日 01:50/ 0 赞/ 181 阅读

相关 Scrapy从入门到放弃4--管道pipelines使用

Scrapy管道的使用 ![在这里插入图片描述][resize_m_lfit_w_962_pic_center_pic_center] 学习目标： 1. 掌握

我会带着你远行/ 2023年01月01日 01:50/ 0 赞/ 198 阅读

相关 Scrapy从入门到放弃2--模拟登入

scrapy模拟登陆 ![在这里插入图片描述][resize_m_lfit_w_962_pic_center_pic_center] 学习目标： 1. 应用请

水深无声/ 2023年01月01日 01:49/ 0 赞/ 190 阅读

相关 Scrapy从入门到放弃1--开发流程

> scrapy框架的入门使用方法,是作者学习黑马python时的记录 ![在这里插入图片描述][resize_m_lfit_w_962_pic_center_pic_cen

心已赠人/ 2022年12月29日 14:23/ 0 赞/ 193 阅读

相关 zookeeper从入门到放弃

一. 单机安装 1.1 下载 [zookeeper 3.6.2下载][zookeeper 3.6.2] 1.2 解压zookeeper tar -x

拼搏现实的明天。/ 2022年11月21日 11:36/ 0 赞/ 384 阅读

相关 Mycat从入门到放弃

1.非分片字段查询 Mycat中的路由结果是通过分片字段和分片方法来确定的。例如下图中的一个Mycat分库方案：根据 tt\_waybill 表的 id 字段来

怼烎@/ 2022年06月16日 12:17/ 0 赞/ 388 阅读

相关 zabbix从放弃到入门（6）：触发器、事件、动作相关概念

我有一个朋友，我很佩服他，他的行动能力特别强，想到了，计划好了，就去做，比如说养鸡，他在农村找了一片地，盖了一个养鸡场，然后就开始养鸡，并且把土鸡下的蛋加以包装，以绿色无污染的

╰+哭是因爲堅強的太久メ/ 2021年06月10日 20:40/ 0 赞/ 449 阅读

相关 zabbix从放弃到入门（1）：zabbix概念

对于运维人员来说，监控是非常重要的，因为如果想要保证线上业务整体能够稳定运行，那么我们则需要实时关注与其相关的各项指标是否正常，而一个业务系统的背后，往往存在着很多的服务器、网

素颜马尾好姑娘i/ 2021年06月10日 20:40/ 0 赞/ 546 阅读