python安装scrapy步骤及问题

Myth丶恋晨 2022-12-13 01:19 182阅读 0赞

近期自学python，在安装scrapy时遇到了超时的问题，经过查看相关教程和不断摸索，最终成功安装，现把安装过程做记录并且分享给大家，希望有所帮助。

安装步骤（此处先PO出在无意外情况下安装scrapy的步骤，如在安装过程中有遇到问题，可以参考文末的“其他问题解决方法”）。

根据所学教程里面，安装scrapy需要有5个步骤，如下：

# scrapy安装步骤 #

### **步骤一、安装wheel** ###

安装wheel是为了twisted做准备的。安装步骤简单，只需输入：

python -m pip install wheel 等待安装即可

### 步骤二、下载twisted ###

点击链接[twisted下载链接][twisted]，找到twisted（如下图），根据操作系统和你的python版本，下载对应的文档即可。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70][]

### 步骤三、安装twisted ###

下载好twisted以后，需要进行安装。我把下载好的文件保存在了D:\\Python\\Scripts下，因此，需要进入到该目录下才能进行安装。即在cmd模式下，输入cd D:\\Python\\Scripts后，再执行python -m pip install Twisted-20.3.0-cp38-cp38-win\_amd64.whl（文件名请复制自己下载的那个文件名称），否则可能会提示找不到文件。

### 步骤四、下载安装pywin32 ###

这个没啥特殊，直接执行python -m pip install pywin32即可。

### 步骤五、下载安装scrapy ###

同样，直接执行python -m pip install scrapy

安装到这里，如无意外，再强调一遍，如无意外，那么安装就算成功了。在cmd下，输入scrapy，出现下图，则说明安装scrapy成功：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70 1][]

# 其他问题解决方法 #

那么，如果在安装过程中，出现问题该怎么办呢？会出现什么问题呢？下面我将一一罗列我在安装过程中遇到的问题。

### 问题一、更新pip时不断出现read timed out问题 ###

在使用python -m pip install --upgrade pip时，下载了几秒后提示超时，无法继续下载。查看了几篇大神的回答，解决超时问题，只需在更新pip时加入 -i https://pypi.doubanio.com/simple/ 。

即：python -m pip install -i https://pypi.doubanio.com/simple/ --upgrade pip

或者：python -m pip install -U --force-reinstall -i https://pypi.doubanio.com/simple/ pip （这个应该是强制更新）

这个解决方法在后续遇到其他的read timed out问题时一样适用（至少帮助我解决了在安装scrapy中遇到的问题，至于原理我还没太懂，如果有大牛看到这篇文章还烦请解答一下）。

### 问题二、出现了有关zope.interface的报错 ###

![20201008230154865.png][]

查了一下，关于zope.interface的解释很是抽象，可能对于小白来说暂时还不需要理解（主要是我也没理解），只需知道这是在安装scrapy时必备的包。

针对截图的问题，执行：python -m pip install Zope.interface 可解决。如果又出现read timed out或者是截图的报错，那就加上-i https://pypi.doubanio.com/simple/，亲测好用。

### 问题三、关于--use-feature=2020-resolver的报错 ###

如下图，这个是在我更新了pip之后，才出现的报错。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70 2][]

于是百度了一下，找到了相关的解释描述以及解决方式。以下评论大致意思是2020年10月推出了新版本pip，建议用户运行一下--use-feature=2020-resolver。

怎么运行呢？需要进行的操作是：python -m pip install example --use-feature=2020-resolver，然后等待下载安装完成即可，如果还是下载不了，记得参考问题一，加入-i https://pypi.doubanio.com/simple/。截图来自：[参考链接][Link 1]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70 3][]

以上就是关于我在安装scrapy中遇到的问题及解决方法，希望对像我一样的小白有帮助。如有错误，欢迎指正。

另看到有的网友说，安装scrapy不需要那么麻烦，直接运行python -m pip install scrapy即可，由于不具备测试条件，就没办法验证了。如果各位验证了这个方法，不妨也分享下。

[twisted]: https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70]: /images/20221123/3e426be373f84ac5a9df6e21d14dbe8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70 1]: /images/20221123/a725f83da11845c3aabe5fd8879483de.png
[20201008230154865.png]: /images/20221123/461a9b8fb5b145ef82a9b720ab1cae95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70 2]: /images/20221123/bee7278a26274b19a42d90fdd026d9fc.png
[Link 1]: https://stackoverflow.com/questions/63277123/what-is-use-feature-2020-resolver-error-message-with-jupyter-installation-on
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjc3OTcz_size_16_color_FFFFFF_t_70 3]: /images/20221123/ad34e2c5401d435ab3189bc5a96ca300.png