Python之分布式爬虫

分手后的思念是犯贱 2023-07-18 03:23 39阅读 0赞

### 什么是分布式爬虫? ###

通俗来讲,分布式爬虫就是多台机器多个spider对多个url的同时处理操作,分布式的方式可以极大提高程序的抓取效率

### 分布式爬虫一般要配合redis数据库使用,原因有3点: ###

(1)redis数据库可以共享队列

(2)重写Scheduler,让其无论是去重还是任务都去访问共享队列

(3)为Scheduler定制去重规则

redis数据库的安装和使用见下文

### 分布式爬虫的结构: ###

分布式爬虫一般采用主从结构(master-slaver),master端管理redis数据库和分发下载任务,slaver部署爬虫提取网页、解析提取数据和存储数据

### 主从结构(master-slaver)的特点: ###

(1)如果master出现崩溃,可以马上将其中一个slaver重新部署为master,不会造成数据的丢失

(2)无论是master或者slaver修改数据时,所有master和slaver都会立马进行数据同步

(3)slaver可以有多个,master只能有一个

### redis数据库的安装和使用: ###

(1)安装:

下载链接:[https://github.com/MicrosoftArchive/redis/releases][https_github.com_MicrosoftArchive_redis_releases]

![70][]

下载完成后是一个压缩包,尽量**解压到桌面并修改文件夹名为redis**,之后使用会方便一点

**注意:一定要把所有文件都放在同一个文件夹下**

(2)使用:

修改一些数据,用编译器打开下面这个文件,用编译器可以根据行数快速找到要修改的数据

![70 1][]

**1.注释掉第56行代码**

![70 2][]

**2.修改第75行数据,将yes改为no**

![70 3][]

**3.在123行添加一行代码**

![70 4][]

进入终端,输入命令,无论是配置master或slaver时们尽量都要先cd到redis文件夹中,这样可以避免一些不必要的错误

1.配置master

cd C:\\Users\\Administrator\\Desktop\\redis >>> redis-server redis.windows.conf

出现以下界面说明配置成功

**注意:配置成功后就不要动了,因为现在这是一个主服务器了**

![70 5][]

2.配置slaver,并连接master

这里可以是另外一台机器,也可以依旧是本机,如果是做项目的话,推荐使用额外一台机器,这里只演示方法

cd C:\\Users\\Administrator\\Desktop\\redis >>> redis-cli -h 255.255.255.255 -p 6379

**注意:-h后面写master的ip,我这里只是举例来完善写法**

**        -p 后面写端口号,默认为6379,-p 6379 可以省略**

今天就先说这么多吧,之后会继续补充

[https_github.com_MicrosoftArchive_redis_releases]: https://github.com/MicrosoftArchive/redis/releases
[70]: /images/20230528/3f7acf98dc474b3f914db6764d790413.png
[70 1]: /images/20230528/e48f27a02d004a7db7f5522e8b459982.png
[70 2]: /images/20230528/60800d6a7b95417a89b2a453eb65d0ff.png
[70 3]: /images/20230528/85bc93e1bece40ab8427ac5a089e5950.png
[70 4]: /images/20230528/98d4fdd8227441f59dc8a853d55ca1fa.png
[70 5]: /images/20230528/2450f0ab3e034f9fb22f746188d9f6a2.png

发表评论取消回复

表情：

评论列表（有 0 条评论，39人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫--分布式爬虫

爬虫的本质：　　很多搞爬虫的总爱吹嘘分布式爬虫，仿佛只有分布式才有逼格，不是分布式简直不配叫爬虫，这是一种很肤浅的思想。　　分布式只是提高爬虫功能和效率的一个环节而已，

Myth丶恋晨/ 2023年08月17日 16:35/ 0 赞/ 160 阅读

相关 Python之分布式爬虫

什么是分布式爬虫? 通俗来讲,分布式爬虫就是多台机器多个spider对多个url的同时处理操作,分布式的方式可以极大提高程序的抓取效率分布式爬虫一般要配合re

分手后的思念是犯贱/ 2023年07月18日 03:23/ 0 赞/ 40 阅读

相关 Python爬虫学习记录——17.分布式爬虫

文章目录分布式系统 scrapy\_redis分布式实战 redis desktop manager软件安装及使

朱雀/ 2023年06月11日 05:27/ 0 赞/ 27 阅读

相关 python分布式爬虫及数据存储_Python简单分布式爬虫

分布式爬虫采用主从模式。主从模式是指由一台主机作为控制节点，负责管理所有运行网络爬虫的主机(url管理器,数据存储器,控制调度器)，爬虫只需要从控制节点哪里接收任务，并把新生成

你的名字/ 2022年10月25日 14:26/ 0 赞/ 246 阅读

相关 Python资料：python分布式爬虫打造搜索引擎

最近斩获一批Python资料：python分布式爬虫打造搜索引擎希望对打击有用 \[外链图片转存失败(img-9VWJap6C-1562119579326)([http

r囧r小猫/ 2022年05月23日 06:17/ 0 赞/ 234 阅读

相关 Python 分布式爬虫

什么是分布式爬虫? 1.在默认情况下,scrapy爬虫是单机爬虫,只能在一台电脑上运行,因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的,其他的电脑无

偏执的太偏执、/ 2022年05月16日 01:29/ 0 赞/ 298 阅读

相关 Python之urllib爬虫

爬虫案例如下：在豆瓣上爬取喜剧的前20条数据引入urllib import urllib import urllib.request fro

偏执的太偏执、/ 2022年03月25日 04:26/ 0 赞/ 354 阅读

相关分布式爬虫

概念：多台机器上可以执行同一个爬虫程序，实现网站数据的分布爬取。原生的scrapy是不可以实现分布式爬虫？ a. 调度器无法共享 b. 管道无法共享

朱雀/ 2021年12月21日 23:39/ 0 赞/ 315 阅读

相关爬虫分布式

11 - 手动请求的发送 - yield scrapy.Request(url,callback)/FormRequest(url,callback,

た入场券/ 2021年10月23日 12:26/ 0 赞/ 369 阅读

相关 Python之爬虫工具包

requests包：是一个实用的python的http客户端库，编写爬虫从web上爬取数据时经常用到，简单实用，接口简单，requests.get(URL)。 lx

谁借莪１个温暖的怀抱￠/ 2021年09月14日 04:38/ 0 赞/ 578 阅读