Scrapy爬虫程序监控平台构建（二）：Scrapydweb

刺骨的言语ヽ痛彻心扉 2022-12-27 12:49 200阅读 0赞

我这里选用scrapydweb作为爬虫程序的监控平台。

# 1.程序安装 #

pip install scrapydweb

或者去GitHub:[https://github.com/my8100/scrapydweb][https_github.com_my8100_scrapydweb]

# 2.启动 #

启动前需要保证对应的scrapyd服务已经启动。

scrapydweb

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]  
注意：如果出现6801端口无法连接，这个是因为你没有配置集群环境，不用担心。

# 3.配置 #

配置文件会在我们当前启动scrapydweb路径下，scrapyweb\_settings\_v10.py  
配置文件中都会有详细的注解，大家可以根据实际需求尽心修改。

## 3.1启用 HTTP 基本认证（可选） ##

ENABLE_AUTH = True
    USERNAME = 'username'
    PASSWORD = 'password'

## 3.2配置项目路径 ##

这里是scrapydweb比较方便的地方，不用事先将项目先上传到scrapyd服务器，scrapydweb能够帮我们上传。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 1]

## 3.3配置LogParser ##

如果我们的ScrapydWeb 和某个 Scrapyd 运行于同一台主机，这三个设置项都需要配置。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 2]

#这个配置时scrapd的server请求地址。
    LOCAL_SCRAPYD_SERVER = '127.0.0.1:6800'

注意：如果我们的ScrapydWeb 和某个 Scrapyd 运行于同一台主机，scrapydweb会直接去访问log文件，而不是去请求这地址。

#我们运行scrapyd时会产生一个logs文件夹，这里需要将logs的位置配置
    LOCAL_SCRAPYD_LOGS_DIR =‘’

#默认值为False，将其设置为True，可在ScrapydWeb启动时自动将LogParser作为子进程运行。
    ENABLE_LOGPARSER = True

## 3.4远程访问scrapyd ##

如果需要远程访问 Scrapyd，则需将 Scrapyd 配置文件中的 bind\_address 修改为

bind_address = 0.0.0.0

然后重启 Scrapyd service。

# 4.Scrapydweb使用 #

## 4.1Servers监视和控制所有Scrapyd服务器。 ##

*  Servers 页面自动输出所有 Scrapyd server 的运行状态。
 *  通过分组和过滤可以自由选择若干台 Scrapyd server，然后在上方 Tabs 标签页中选择 Scrapyd 提供的任一 HTTP JSON API，实现一次操作，批量执行。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 3]

## 4.2Timer tasks计时器任务 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 4]

## 4.3 Dashboarder ##

这里有Jobs（任务列表）、Node reports（节点报告）、cluster reports(集群报告)，三个模块。

*  通过集成 LogParser，Jobs 页面自动输出爬虫任务的 pages 和 items 数据。
 *  ScrapydWeb 默认通过定时创建快照将爬虫任务列表信息保存到数据库，即使重启 Scrapyd server 也不会丢失任务信息。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 5]

## Deploy Project(部署项目) ##

*  通过配置 SCRAPY\_PROJECTS\_DIR 指定 Scrapy 项目开发目录，ScrapydWeb 将自动列出该路径下的所有项目，默认选定最新编辑的项目，选择项目后即可自动打包和部署指定项目。
 *  如果 ScrapydWeb 运行在远程服务器上，除了通过当前开发主机上传常规的 egg 文件，也可以将整个项目文件夹添加到 zip/tar/tar.gz 压缩文件后直接上传即可，无需手动打包为 egg 文件。
 *  支持一键部署项目到 Scrapyd server 集群。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 6]

## Run Spider(运行爬虫) ##

*  通过下拉框依次选择 project，version 和 spider。
 *  支持传入 Scrapy settings 和 spider arguments。
 *  支持创建基于 APScheduler 的定时爬虫任务。(如需同时启动大量爬虫任务，则需调整 Scrapyd 配置文件的 max-proc 参数)
 *  支持在 Scrapyd server 集群上一键启动分布式爬虫。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 7]

## pares log ##

*  如果在同一台主机运行 Scrapyd 和 ScrapydWeb，建议设置 SCRAPYD\_LOGS\_DIR 和 - ENABLE\_LOGPARSER，则启动 ScrapydWeb 时将自动运行 LogParser，该子进程通过定时增量式解析指定目录下的 Scrapy 日志文件以加快 Stats 页面的生成，避免因请求原始日志文件而占用大量内存和网络资源。
 *  同理，如果需要管理 Scrapyd server 集群，建议在其余主机单独安装和启动 LogParser。
 *  如果安装的 Scrapy 版本不大于 1.5.1，LogParser 将能够自动通过 Scrapy 内建的 Telnet Console 读取 Crawler.stats 和 Crawler.engine 数据，以便掌握 Scrapy 内部运行状态。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 8]  
使用文档参靠：[https://github.com/my8100/files/blob/master/scrapydweb/README\_CN.md][https_github.com_my8100_files_blob_master_scrapydweb_README_CN.md]

[https_github.com_my8100_scrapydweb]: https://github.com/my8100/scrapydweb
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: /images/20221120/86bba068867e4ab797b874c3d2b274b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 1]: /images/20221120/3b4bae16887b426e92fa0699f83c8eef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 2]: /images/20221120/58ae8bac5ad04c38bc657ebc620b1aaf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 3]: /images/20221120/a0e866007f454289b600652ea42a6743.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 4]: /images/20221120/145e7b419c5844d3b711416b62c51f0c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 5]: /images/20221120/a38262af8593439da9ce5a90571193d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 6]: /images/20221120/0c6f4e236fd3408e97fe461f1a62a6ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 7]: /images/20221120/62e9cfd79261453ab8ff1b78705d2c4e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 8]: /images/20221120/8e7712498e7f454a86f98f9c771edbd1.png
[https_github.com_my8100_files_blob_master_scrapydweb_README_CN.md]: https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md