Scrapy学习笔记-Anaconda下安装

刺骨的言语ヽ痛彻心扉 2023-07-25 12:52 14阅读 0赞

# 安装 Scrapy #

参考自Scrapy的官方手册：https://docs.scrapy.org/en/latest/intro/install.html  
Scrapy在CPython（默认Python实现）和PyPy（从PyPy 5.9开始）下的Python 3.5或更高版本上运行。

## Anaconda下安装 ##

如果您使用的是Anaconda或Miniconda，则可以从conda-forge渠道安装该软件包，该渠道包含适用于Linux，Windows和macOS的最新软件包。这应该就是最简便的安装办法了，但是可能需要安装最新的anaconda版本。这里我直接使用了最新的版本。  
![在这里插入图片描述][20200415114824685.png]  
下载Anaconda有一些小方法加速下载，现在清华等镜像源可能不太好使。可以将下载链接复制到百度网盘，新建下载任务，将链接复制进去。将软件下载到网盘中，再从网盘中下载。可以从直接网页下载的1-2天缩减到1-2小时（没有百度会员的情况下），速度还是可以的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]  
更新包->输入y，确认  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]  
下载出错，问题在远程主机关闭了连接，再试一次看看  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][20200415111414525.png]  
出现下面提示，按照要求跟新一下conda吧  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]  
又出问题，这个包真难下载啊，再尝试一次  
![在这里插入图片描述][20200415114325162.png]  
成功  
![在这里插入图片描述][20200415120725739.png]

## 从PyPI安装 ##

另外，如果您已经熟悉Python软件包的安装，则可以使用以下方法从PyPI安装Scrapy及其依赖项：  
![在这里插入图片描述][20200415115445343.png]  
请注意，有时这可能需要解决某些Scrapy依赖项的编译问题，具体取决于您的操作系统，因此请务必查看特定于平台的安装说明。强烈建议您在专用的virtualenv中安装Scrapy，以避免与系统软件包冲突。有关更多详细信息和特定于平台的说明以及故障排除信息，请继续阅读。

后面会写在redhat下从PyPI安装的博客

Scrapy是用纯Python编写的，并且依赖于一些关键的Python包（以及其他一些包）：  
![在这里插入图片描述][2020041512062410.png]  
测试Scrapy的最低版本为：  
![在这里插入图片描述][20200415120817970.png]  
Scrapy可以使用这些软件包的较早版本，但不能保证将继续使用，因为尚未对其进行测试。其中一些软件包本身依赖于非Python软件包，根据您的平台，这些软件包可能需要其他安装步骤。 请查看以下特定于平台的指南。如果与这些依赖项有关的任何麻烦，请参考它们各自的安装说明：[lxml installation][] [cryptography installation][]

## 使用虚拟环境（推荐） ##

我们建议在所有平台上的虚拟环境中安装Scrapy。 Python软件包既可以全局安装（也称为系统范围），也可以安装在用户空间中。 我们不建议在整个系统上安装Scrapy。 相反，我们建议您在所谓的“虚拟环境”（venv）中安装Scrapy。 虚拟环境允许您与已经安装的Python系统软件包不冲突（这可能会破坏您的某些系统工具和脚本），并且仍然可以使用pip正常安装软件包（没有sudo等）。 有关如何创建虚拟环境的信息，请参见虚拟环境和软件包。 创建虚拟环境后，就可以像其他任何Python软件包一样，通过pip在其内部安装Scrapy。 （有关您可能需要事先安装的非Python依赖项，请参见下面的特定于平台的指南）。

## 平台特定的安装说明 ##

Windows  
尽管可以使用pip在Windows上安装Scrapy，但是我们建议您安装Anaconda或Miniconda并使用conda-forge渠道中的软件包，这样可以避免大多数安装问题。  
安装Anaconda或Miniconda后，请使用以下方法安装Scrapy：conda install -c conda-forge scrapy

Ubuntu 14.04 or above  
目前，Scrapy已使用最新版本的lxml，twisted和pyOpenSSL进行了测试，并且与最新的Ubuntu发行版兼容。 但是它也应该支持Ubuntu的较早版本，例如Ubuntu 14.04，尽管存在TLS连接的潜在问题。不要使用Ubuntu提供的python-scrapy软件包，它们通常太旧且太慢，无法赶上最新的Scrapy。  
要在Ubuntu（或基于Ubuntu的）系统上安装Scrapy，您需要安装以下依赖项：  
sudo apt-get install python3 python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev  
![在这里插入图片描述][20200415121811931.png]  
在virtualenv内，您可以使用pip安装Scrapy之后：pip install scrapy

可以使用相同的非Python依赖项在Debian Jessie（8.0）及更高版本中安装Scrapy。

PyPy  
我们建议使用最新的PyPy版本。 测试的版本是5.9.0。 对于PyPy3，仅测试了Linux安装。现在，大多数Scrapy依赖项都具有用于CPython的二进制轮子，但没有用于PyPy的二进制轮子。 这意味着将在安装过程中建立这些依赖关系。 在macOS上，您可能会遇到构建加密技术依赖项的问题，此处描述了此问题的解决方案，即酿造安装openssl，然后导出此命令建议的标志（仅在安装Scrapy时需要）。 在Linux上安装除了安装构建依赖项外没有其他特殊问题。 未测试在Windows上使用PyPy安装Scrapy。

您可以通过运行scrapy bench检查Scrapy是否已正确安装。 如果此命令给出诸如TypeError：…的错误，则得到2个意外的关键字参数，这意味着setuptools无法获取一个特定于PyPy的依赖项。 要解决此问题，请运行pip install’PyPyDispatcher> = 2.1.0’。

We recommend using the latest PyPy version. The version tested is 5.9.0. For PyPy3, only Linux installation was tested. Most Scrapy dependencides now have binary wheels for CPython, but not for PyPy. This means that **these dependecies will be built during installation**. On macOS, you are likely to face an issue with building Cryptography dependency, solution to this problem is described here, that is to *brew install openssl* and then export the flags that this command recommends (only needed when installing Scrapy). Installing on Linux has no special issues besides installing build dependencies. Installing Scrapy with PyPy on Windows is not tested.

You can check that Scrapy is installed correctly by running scrapy bench. If this command gives errors such as TypeError: … got 2 unexpected keyword arguments, this means that setuptools was unable to pick up one PyPy-specific dependency. To fix this issue, run pip install ‘PyPyDispatcher>=2.1.0’.

## 验证 ##

Fatal error in launcher: Unable to create process using '"d:\\bld\\scrapy\_1584555997548\_h\_env\\python.  
![在这里插入图片描述][20200415122758421.png]  
验证，anconda终端输入如下：scrapy  
![在这里插入图片描述][20200415122902165.png]  
解决方法：scrapy 1.6 以后，这应该是一个[bug][],也就是说，你可能已经安装成功了，换另一个验证方法，如下：python -m scrapy  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]

[20200415114824685.png]: /images/20230528/3a7854e9eb604047b67bf97b7a882c98.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: /images/20230528/d3fda1bf7ac04b7bb1fc6409c5b57df8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]: /images/20230528/bdb28fd52afa41c3a346c59ad9f12d8a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]: /images/20230528/c1dba0b8a8d04239b441c543f94a31d8.png
[20200415111414525.png]: /images/20230528/7958995d392f453d9758bab0ead27cfd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]: /images/20230528/ff2d88b8088246429cfdf61f874942b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]: /images/20230528/1ff827a270b54ae0832b65f2d5951bfb.png
[20200415114325162.png]: /images/20230528/8354833897144132b47d9ce5e02fce34.png
[20200415120725739.png]: /images/20230528/778ec5e2f1f4431593ee65e745fb2441.png
[20200415115445343.png]: /images/20230528/c3cd45cb5f4b4557a45e675750f84b56.png
[2020041512062410.png]: /images/20230528/12b40ee34007437a8d78951930497c20.png
[20200415120817970.png]: /images/20230528/f124725830ec4175b673043f843485f6.png
[lxml installation]: https://lxml.de/installation.html
[cryptography installation]: https://cryptography.io/en/latest/installation/
[20200415121811931.png]: /images/20230528/60479e45052143f5a279bcb462b494d0.png
[20200415122758421.png]: /images/20230528/163c79398a244885afc91e1664039ecf.png
[20200415122902165.png]: /images/20230528/ef06e2bfda114684bca1ebaa0cfad78c.png
[bug]: https://github.com/scrapy/scrapy/issues/4289
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]: /images/20230528/fbb7fa145deb486dbc9dab93783d5ad7.png