【爬虫】python爬虫工具scrapy的安装使用

雨点打透心脏的1/2处 2022-04-05 11:56 241阅读 0赞

关于使用方法及教程参考如下：

[Scrapy中文官方入门教程][Scrapy]

本文章的安装环境如下

window10 python3.X

文中使用的是python3.5，安装方法如下

### **第一步，安装pypiwin32** ###

pip install pypiwin32

### 第二步，安装Twisted ###

首先，安装前查看当前python版本

python -V

![20181212140123741.png][]

可以看到我的python版本是3.5.2，并且window系统是64位，然后打开网址，搜索Twisted关键字

若打不开网址，并且python版本和我一样是3.5的，我已经上传，点击下面下载

[Twisted-18.9.0-cp35-cp35m-win\_amd64.whl][Twisted-18.9.0-cp35-cp35m-win_amd64.whl]

下载网址：

[https://www.lfd.uci.edu/~gohlke/pythonlibs/][https_www.lfd.uci.edu_gohlke_pythonlibs]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NjX3dhbnQ_size_16_color_FFFFFF_t_70][]

可以看到Twisted有多个下载版本选择，因为我安装的python版本是3.5.2，所以选择cp35，同时因为操作系统是64位，所以选择win\_amd64，故选择如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NjX3dhbnQ_size_16_color_FFFFFF_t_70 1][]

文件下载完成后，复制文件到桌面，打开cmd，进入到desktop目录

![20181212140553654.png][]

输入

pip install Twisted-18.9.0-cp35-cp35m-win_amd64.whl

即可安装成功

### 第三步，安装Scrapy ###

pip install Scrapy

安装完成后，使用scrapy startproject tutorial命令初始化项目

scrapy startproject tutorial

初始化完成后，目录如下：

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>tutorial/<br> &nbsp; &nbsp; scrapy.cfg<br> &nbsp; &nbsp; tutorial/<br> &nbsp; &nbsp; &nbsp; &nbsp; __init__.py<br> &nbsp; &nbsp; &nbsp; &nbsp; items.py<br> &nbsp; &nbsp; &nbsp; &nbsp; pipelines.py<br> &nbsp; &nbsp; &nbsp; &nbsp; settings.py<br> &nbsp; &nbsp; &nbsp; &nbsp; spiders/<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; __init__.py<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ...</td> 
  </tr> 
 </tbody> 
</table>

这些文件分别是:

scrapy.cfg: 项目的配置文件  
tutorial/: 该项目的python模块。之后您将在此加入代码。  
tutorial/items.py: 项目中的item文件.  
tutorial/pipelines.py: 项目中的pipelines文件.  
tutorial/settings.py: 项目的设置文件.  
tutorial/spiders/: 放置spider代码的目录.

[Scrapy]: https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
[20181212140123741.png]: /images/20220405/66ea799507b7495eb5f9b805d41d0cb6.png
[Twisted-18.9.0-cp35-cp35m-win_amd64.whl]: https://download.csdn.net/download/cc_want/10845483
[https_www.lfd.uci.edu_gohlke_pythonlibs]: https://www.lfd.uci.edu/~gohlke/pythonlibs/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NjX3dhbnQ_size_16_color_FFFFFF_t_70]: /images/20220405/94530d3319fb4c62985d0a6f5cd3ee79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NjX3dhbnQ_size_16_color_FFFFFF_t_70 1]: /images/20220405/1eb364fb61d24c1ea896eb244e0ba77e.png
[20181212140553654.png]: /images/20220405/752bbfadacc84301b6861276dc71cb2f.png