Scrapy爬虫程序监控平台构建（一）：Scrapy、Scrapyd

蔚落 2022-12-27 11:07 229阅读 0赞

### Scrapy爬虫程序监控平台构建（一）：Scrapy、Scrapyd ###

*  1.基础知识
 *   *  1.1 scrapy、scrapyd、scrapydweb是什么？
     *  1.2开源爬虫管理平台选择:
 *  2.程序安装
 *   *  2.1安装scrapy和创建一个scrapy项目
     *  2.2安装scrapyd和scrapyd-client和配置
     *   *  2.2.1安装scrapyd
         *  2.2.2安装scrapyd-client
 *  3.部署爬虫
 *   *  3.1修改scrapy.cfg文件
     *  3.2生成egg文件并且上传到scrapyd服务器
     *  3.3 scrapyd-client的常用操作命令
     *   *  3.3.1查看当前项目
         *  3.3.2查看指定项目的爬虫列表
         *  3.3.3运行爬虫
     *  3.4scrapyd-deploy的常用操作
     *   *  3.4.1部署指定项目到所有的爬虫目标服务器
         *  3.4.2列出所有的可用的scrapyd服务器列表
     *  4.scrapyd服务器的json API
     *   *  4.1获取服务器负载信息
         *  4.2部署或更新服务器上的爬虫
         *  4.3调用爬虫
         *  4.4取消任务
         *  4.5列出所有项目
         *  4.6查看指定项目的版本
         *  4.7列出指定项目的所有爬虫
         *  4.8 列出所有任务
         *  4.9删除指定版本号
         *  4.10删除项目
     *  5.请求认证

# 1.基础知识 #

## 1.1 scrapy、scrapyd、scrapydweb是什么？ ##

scrapy一个爬虫框架，可以通过工程将繁杂的爬虫程序统一在一起。[Scrapy框架介绍][Scrapy]  
scrapyd相当于一个组件，能够将scrapy项目进行远程部署，调度使用等。因此scrapyd可以看作一个cs（client-server）程序，它是一个服务，因此我们需要安装和配置scrapyd(server)。  
scrapydweb是一个基于scrapyd-API的可视化组件，集成并且提供更多可视化功能和更优美的界面。同类型的WEB还有SpiderKeeper、Gerapy。

## 1.2开源爬虫管理平台选择: ##

<table> 
 <thead> 
  <tr> 
   <th>平台名称</th> 
   <th>技术</th> 
   <th>优点</th> 
   <th>缺点</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SpiderKeeper</td> 
   <td>Python Flask</td> 
   <td>基于scrapyd,开源框架，页面简洁、支持定时任务</td> 
   <td>不支持分页、不支持节点管理、不支持scrapy以外的爬虫。功能比较单一</td> 
  </tr> 
  <tr> 
   <td>Scrapyweb</td> 
   <td>Python Flask + Vue</td> 
   <td>内置Scrapy日志解压、有多任务运行统计图、支持节点管理、定时任务、邮件提醒、移动界面、功能比较完善。</td> 
   <td>同样不支持Scrapy以外的爬虫</td> 
  </tr> 
  <tr> 
   <td>Gerapy</td> 
   <td>Python Django + Vue</td> 
   <td>支持节点管理、支持代码编辑、可配置规则</td> 
   <td>同样不支持Scrapy以外的爬虫</td> 
  </tr> 
 </tbody> 
</table>

总结：  
SpiderKeeper是最早期的爬虫管理平台、但是功能相对单一，存在局限型；Gerapy功能相对齐全增加了可以网页配置爬虫规则的功能，适合小白，但是项目比较新，体系相对是不是完全成熟；Scrapydweb是一个比较完善的爬虫管理平台；他们三者都是基于scrapyd的监控平台，只能使用与scrapy的爬虫程序。

# 2.程序安装 #

## 2.1安装scrapy和创建一个scrapy项目 ##

这里就不详细介绍了，大家可以参看其他的文章。

## 2.2安装scrapyd和scrapyd-client和配置 ##

使用pip安装简单方便，但是pip源上的版本并不一定是最新版本。我使用pip安装的是下面版本，去官方看了一下是比较新的版本。  
![在这里插入图片描述][20201210151549516.png]  
从 GitHub 上下载最新源码安装。下载地址：

*  Scrapyd： [https://github.com/scrapy/scrapyd][https_github.com_scrapy_scrapyd]
 *  Scrapyd-client： [https://github.com/scrapy/scrapyd-client][https_github.com_scrapy_scrapyd-client]
 *  scrapydweb:[https://github.com/my8100/scrapydweb][https_github.com_my8100_scrapydweb]

### 2.2.1安装scrapyd ###

pip install scrapyd

运行scrapyd

scrapyd

在浏览器中输入：http://localhost:6800/，如果出现下面界面则表示启动成功（`不要关闭cmd，后面步骤还需要）`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]  
Jobs: 是所有调用过的爬虫的任务列表。

Logs: 所有任务产生的日志。  
\*\*注意：\*\*scrapy是一个服务，它需要一个单独的环境作为运行的服务器，不能与本地python环境发在一起使用，最好是建立一个虚拟运行环境，或者放在服务器上。

### 2.2.2安装scrapyd-client ###

pip install scrapy-client

可以安装在本地，也可以安装到scrpyd的虚拟环境中，这个只是一个将scrapy程序打包上传到scrapyd服务器的程序，安装完成后会在Script目录下生成scrapyd-deploy，scrapy-deploy这个工具是用来将爬虫的项目的egg文件上传到服务器上, 然后通过接口调用来启动爬虫.。上传egg也可以手动上传, 但是比较麻烦，所以使用scrapyd-deploy更方便。

**注意事项：**

*  scrapyd-client指定版本的原因是下载的默认版本是1.1.0, 缺少scrapyd-client命令, 会提示scrapyd-client command not found。可以使用 **pip install scrapyd-client==1.2.0a1**
 *  生成的scrapyd-deploy在windows平台下无法运行，需要新建一个文件。[Scrapy-----Scrapyd-Client的安装][Scrapy-----Scrapyd-Client]

# 3.部署爬虫 #

通过scrapyd-deploy部署爬虫，scrapyd-deploy是在爬虫项目里运行的, 也就是和scrapy.cfg文件同级的目录。需要切换到进入爬虫工程的根目录。

## 3.1修改scrapy.cfg文件 ##

如果有多个爬虫目标服务器, 可以增加\[deploy:\]区域

[settings]
    default = ccidcom.settings
    
    [deploy:Myspiderd] # 默认是[deploy], ccid这里指定的是目标服务器的名称，自己命名
    url = http://127.0.0.1:6800/ # 目标服务器的url和端口
    project = ThreatIntellgence # 项目名称

## 3.2生成egg文件并且上传到scrapyd服务器 ##

scrapyd-deploy [目标服务器名称] -p [项目名称]
    scrapyd-deploy Myspiderd-p ThreatIntellgence

成功则status为ok,否则会报错。检查错误原因，重新上传。  
![在这里插入图片描述][20201210160636950.png]  
上边json的信息都很容易理解就不解释了。  
同时我们在scrapyd服务器上可以看到：

2020-12-10T16:05:38+0800 [twisted.python.log#info] "127.0.0.1" - - [10/Dec/2020:08:05:35 +0000] "POST /addversion.json HTTP/1.1" 200 121 "-" "Python-urllib/3.8"

我们可以使用下面命令查看可用的scrapyd服务器列表

scrapyd-deploy -l

## 3.3 scrapyd-client的常用操作命令 ##

### 3.3.1查看当前项目 ###

scrapyd-client projects
    #  -t: 指定scrapyd的地址
    scrapyd-client -t http://127.0.0.1:6800 projects

### 3.3.2查看指定项目的爬虫列表 ###

scrapyd-client spiders -p [项目名称]
    scrapyd-client spiders -p ThreatIntellgence
    scrapyd-client -t http://127.0.0.1:6800 spiders -p ThreatIntellgence

### 3.3.3运行爬虫 ###

scrapyd-client schedule -p [项目名] [爬虫名]
    scrapyd-client schedule -p ThreatIntellgence est
    scrapyd-client -t http://127.0.0.1:6800 schedule -p ThreatIntellgence est

可以查看到任务的编码

## 3.4scrapyd-deploy的常用操作 ##

### 3.4.1部署指定项目到所有的爬虫目标服务器 ###

scrapyd-deploy -a -p <project>

### 3.4.2列出所有的可用的scrapyd服务器列表 ###

scrapyd-deploy -l

## 4.scrapyd服务器的json API ##

官方文档：[https://scrapyd.readthedocs.io/en/stable/overview.html][https_scrapyd.readthedocs.io_en_stable_overview.html]  
我们通过scrapyd的JSON API进行操作爬虫的启动、暂停及查看。下边需要介绍的Web，就是基于scrapyd的API进行封装的。上边介绍的scrapyd-client的命令，其实也是调用的scrapyd的JSON API.

### 4.1获取服务器负载信息 ###

curl http://localhost:6800/daemonstatus.json
    { 
        "status": "ok", 
        "running": "0", # 正在运行中的爬虫数量
        "pending": "0", # 等待运行的爬虫数量
        "finished": "0", # 已完成的爬虫数量
        "node_name": "node-name" # 服务器节点名称
    }

### 4.2部署或更新服务器上的爬虫 ###

scrapyd-deploy 部署使用的也是这个命令

#这是一个post请求，windows不能使用curl自行百度解决
    curl http://localhost:6800/addversion.json -F project=ThreatIntellgence -F version=r23 -F egg=@ThreatIntellgence.egg

project: 项目名称

version: 版本号

egg: 项目的egg文件

### 4.3调用爬虫 ###

curl http://localhost:6800/schedule.json -d project=ThreatIntellgence -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

project: 项目名

spider: 调用的爬虫名

setting:指定配置项, 多个可以使用A=1&B=2的方式

arg1=vale1: 指定调用爬虫时传递的参数

返回值:

jobid是任务的id

{ "status": "ok", "jobid": "6487ec79947edab326d6db28a2d86511e8247444"}

### 4.4取消任务 ###

post请求, 如果任务是等待状态, 则直接删除, 如果是运行中, 则直接停止爬虫

curl http://localhost:6800/cancel.json -d project=ThreatIntellgence -d job=6487ec79947edab326d6db28a2d86511e8247444

project: 项目名

job: 任务id

### 4.5列出所有项目 ###

curl http://localhost:6800/listprojects.json

### 4.6查看指定项目的版本 ###

按照版本号顺序返回, 最后一个是最新的版本

curl http://localhost:6800/listspiders.json?project=ThreatIntellgence

### 4.7列出指定项目的所有爬虫 ###

curl http://localhost:6800/listspiders.json?project=ThreatIntellgence

project: 项目名

\_version: 版本号

### 4.8 列出所有任务 ###

curl http://localhost:6800/listjobs.json?project=ThreatIntellgence

### 4.9删除指定版本号 ###

curl http://localhost:6800/delversion.json -d project=ThreatIntellgence -d version=r99

project: 项目名

version: 要删除的版本号

### 4.10删除项目 ###

curl http://localhost:6800/delproject.json -d project=ThreatIntellgence

## 5.请求认证 ##

如果我们的服务是部署在公网上的话, 意外被人知道, 上传爬虫等, 可能有一定的安全风险。

我们可以使用nginx做代理转发, 开启nginx的basic auth

然后修改scrapy.cfg文件

[deploy:example]
    url = http://scrapyd.example.com/api/scrapyd
    username = scrapy
    password = secret

[Scrapy]: https://blog.csdn.net/weixin_38924500/article/details/103829972
[20201210151549516.png]: /images/20221120/d2570e56b1d94491a86e39aa127014ce.png
[https_github.com_scrapy_scrapyd]: https://github.com/scrapy/scrapyd
[https_github.com_scrapy_scrapyd-client]: https://github.com/scrapy/scrapyd-client
[https_github.com_my8100_scrapydweb]: https://github.com/my8100/scrapydweb
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: /images/20221120/dea8066fecc740e08aff74ac50e071cf.png
[Scrapy-----Scrapyd-Client]: https://blog.csdn.net/weixin_38924500/article/details/105299074
[20201210160636950.png]: /images/20221120/54d06ddb707a4242aa73054977aa18c0.png
[https_scrapyd.readthedocs.io_en_stable_overview.html]: https://scrapyd.readthedocs.io/en/stable/overview.html