[scrapy]scrapy-redis快速上手/scrapy爬虫分布式改造

àì夳堔傛蜴生んèń 2022-05-30 04:59 221阅读 0赞

## 提示 ##

阅读本文章，您需要：

*  了解scrapy，知道scrapy-redis可以用来干嘛，最好已经有了可以单机运行的scrapy爬虫。
 *  已经尝试了一些反反爬措施后仍然觉得爬取效率太低。
 *  已经看了无数scrapy-redis文章,却和我一样不得要领。（自己太笨）
 *  已经看了无数scrapy-redis文章，被辣鸡文章坑的生活不能自理，到现在还没配置好。（可能还是自己太笨）

**提示：本文为快速上手文章，有些操作的具体步骤不详细讲，自行百度通用解法，省略的部分我认为你可以自行解决，如果遇到问题，请留言提问**

## 使用scrapy-redis将scrapy改造为分布式 ##

### 安装需要的python库和数据库 ###

*  安装scrapy-redis：pip install scrapy-redis
 *  安装redis：可以仅在master（主）端安装
 *  安装其他数据库（可选）：mysql，mangoDB，用来保存大量数据，当然也可以选择不安装。用其他方法处理数据。

**提示：请注意版本问题，不要过低。**

### 配置redis ###

1.  master（主）上的redis安装后，需要做以下几件事：
    
     *  配置redis.conf设置从外网访问：\#bind 127.0.0.1
     *  最好设置个密码
     *  取消保护模式 protected-mode no
2.  master启动redis，使用./redis-server **redis.conf**（改为你的设置文件所在位置）
3.  尝试从slave（从）连接master的redis，连接成功（盗的图）：

![image][]

### 修改scrapy:setting.py ###

添加如下代码：

# scrapy-redis
    REDIS_URL = 'redis://:yzd@127.0.0.1:6379'  # for master
    # REDIS_URL = 'redis://:yzd@10.140.0.2:6379'  # for slave (master's ip)
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    SCHEDULER_PERSIST = True
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

对于itempipeline：你以前怎么存的数据还是怎么存，当然你也可以用redis先存，之后再一起转移出来。像我就直接存到mysql了

ITEM_PIPELINES = {
        # 'JD.pipelines.JdPipeline': 300,
        # 'scrapy_redis.pipelines.RedisPipeline': 400,
        'JD.mysqlpipelines.pipelines.JDPipeline': 300,
    }

### 修改scrapy:spiders/xxxxx.py（自己命名的爬虫文件） ###

将继承改为继承Redisspider

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    import scrapy
    from JD.items import JdItem
    import logging
    from scrapy_redis.spiders import RedisSpider
    import time
    
    # class JDcat(scrapy.Spider):
    class JDcat(RedisSpider):
        name = "JDcate"
        allowed_domains = ["jd.com"]
    
        # scrapy-redis
        redis_key = "JDcate:JD_urls"
    
        def start_requests(self):
            # designed by yourself
            # yield scrapy.Request(url=url, callback=self.parse)
            pass
    
        def parse(self, response):
            # designed by yourself
            pass

### 修改slave的存储数据库设置（可选） ###

如果你想要让slave抓取到的数据直接存入master的数据库，您别忘了修改slave的数据库连接设置

# for master
    db_item = pymysql.connect(host="localhost", user="root", password="root",
                              db="pricemonitor", port=3306, charset='utf8')
    
    # for slave
    # db_item = pymysql.connect(host="10.140.0.2", user="root", password="root",
    #                           db="pricemonitor", port=3306, charset='utf8')

## 启动分布式爬虫 ##

启动master：scrapy crawl xxxxx  
启动slave: crawl xxxxx  
![image2][]

上传了个demo源码，供大家修改使用：  
[https://github.com/qqxx6661/scrapy\_redis\_demo][https_github.com_qqxx6661_scrapy_redis_demo]

有问题请留言或邮件qqxx6661@gmail.com

## 参考 ##

[https://www.cnblogs.com/zjl6/p/6742673.html][https_www.cnblogs.com_zjl6_p_6742673.html]

[image]: /images/20220530/4bfd3c6fade54235a6bdc5d86899691e.png
[image2]: /images/20220530/3a82159b0961405e808a7a6c55b7f63a.png
[https_github.com_qqxx6661_scrapy_redis_demo]: https://github.com/qqxx6661/scrapy_redis_demo
[https_www.cnblogs.com_zjl6_p_6742673.html]: https://www.cnblogs.com/zjl6/p/6742673.html