Windows环境下安装scrapy

骑猪看日落 2021-11-11 00:30 377阅读 0赞

#### 前言： ####

本来不想写这个博客的，但是突然某天发现有新来的同事在看scrapy，搭环境很久都没弄对，觉得还是有必要简单的写一下。

##### 1.windows下搭建scrapy要点 #####

1.先安装python环境，目前建议选择3.6版本，稳定，幺蛾子少。  
2.不要直接 pip install scrapy，基本都失败，scrapy需要的依赖windows没有，而且也不会自动下载。  
3.按照顺序，依次安装 wheel、Twisted、pywin32、 scrapy。  
4.强烈建议用 pycharm 进行 python 相关开发；下面环境搭建都是在 pycharm 的命令行进行的，当然也可以在windows命令行进行，效果完全一样。

##### 2.安装wheel #####

首先声明，scrapy依赖只有两个，Twisted 和 pywin32；但是，直接使用 pip install Twisted 经常出错，所以用安装.whl文件的方式，安装.whl就需要提前安装wheel，要不然没办法安装.whl文件。  
直接运行

pip install wheel

即可完成wheel库安装

##### 3.安装Twisted和pywin32 #####

首先下载相关的.whl文件，注意python版本和操作系统要对应，我的是py3.6，64 位系统，[地址][Link 1]，放到本地目录下：  
![.whl文件][.whl]  
命令行下安装 .whl文件，注意要cd到.whl文件所在的目录下才可以进行安装：  
![安装命令][20190803230806499.png]  
先装Twisted 再装 pywin32

![安装命令][20190803230927234.png]

##### 4.安装scrapy #####

两种方式：  
1.下载scrapy对应版本的.whl文件，按照步骤3安装；  
2.经过步骤2和3以后，可以直接命令行下运行 pip install scrapy 命令安装

##### 5.测试 #####

任何命令行下运行 scrapy命令，得到  
![成功样子][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpbmdxdWFueWluZ3l1ZQ_size_16_color_FFFFFF_t_70]  
即完成安装。

[Link 1]: https://www.lfd.uci.edu/~gohlke/pythonlibs/
[.whl]: /images/20211109/7d37b87b031d4e4eafed4cb84c9bf45d.png
[20190803230806499.png]: /images/20211109/f45e97be585043558204f892782ae089.png
[20190803230927234.png]: /images/20211109/90357be3848b41f9a824f2ab6a897a8a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpbmdxdWFueWluZ3l1ZQ_size_16_color_FFFFFF_t_70]: /images/20211109/c89e461d67fc42a5ba8cd70d692f4cb6.png