windows下Scrapy爬虫框架环境搭建

红太狼 2021-01-12 01:45 688阅读 0赞

1.   安装python 根据你的需求下载python安装包，安装python（本文基于python27）https://www.python.org/downloads/  
　　 下载完安装默认安装路径，方便后续

在 环境变量---"Path"中加入路径："C:\Python27;C:\Python27\Scripts;"
    　　在运行中输入"cmd"打开命令窗口，输入"python --version"，如果成功显示python版本号，则python安装成功！如果未显示，则重启计算机！

![1062518-20170526224446232-2070531780.png][]

2.   安装pywin32

根据需要下载相应的pywin32安装包
       https://sourceforge.net/projects/pywin32/files/pywin32/Build%20217/

版本号：选中前两个任一个打开

![1062518-20170526224521544-824545216.png][]

博主的python是32位，所以选中下载下方这个：（看自己安装的python的位数直接打开cmd，输入python就可以了，32位是这样显示的：Python 2.7.2+ ... \[MSC v.1500 32 bit (Intel)\] on win32）

![1062518-20170526224655997-1664211553.png][]

3.   安装pip 一般为python默认安装好的，在"安装目录/python27/Scripts"目录中有"pip.exe"则默认安装成功；

若python未默认安装，在安装pip前，请确认你win系统中已经安装好了python，和easy_install工具，如果系统安装成功，easy_install在目录C:\Python27\Scripts 下面
    　　进入命令行，然后把目录切换到python的安装目录下的Script文件夹下，运行 easy_inatall pip
    　　重启cmd命令窗口，输入"pip --version"，若显示pip版本号，则安装成功！

4. 安装lxml　　
    　　若系统未安装vs2008，则安装lxml 前，先安装vcforpython27。 
    　　在https://pypi.python.org/pypi/lxml/3.6.0#downloads 中下载lxml for 2.7，下载安装。

![1062518-20170526225309747-953709747.png][]

5.   安装pyOpenSSL

重启cmd命令窗口，用pip安装openSSL，输入命令"pip install pyOpenSSL"

![1062518-20170526223931700-423717724.png][]

6.  安装scrapy

重启cmd命令窗口，用pip安装openSSL，输入命令"pip install scrapy" 
    　　等待自动安装，安装完成后输入"scrapy"，提示scrapy的命令提示内容，安装过程结束。

![1062518-20170526225611419-1139550427.png][]

[1062518-20170526224446232-2070531780.png]: /images/1610415899140.png
[1062518-20170526224521544-824545216.png]: /images/1610415877611.png
[1062518-20170526224655997-1664211553.png]: /images/1610415855691.png
[1062518-20170526225309747-953709747.png]: /images/1610415832339.png
[1062518-20170526223931700-423717724.png]: /images/1610415813322.png
[1062518-20170526225611419-1139550427.png]: /images/1610415790501.png