Python3环境安装Scrapy爬虫框架过程及常见错误

叁歲伎倆 2023-07-21 12:30 5阅读 0赞

这篇文章主要介绍了Python3环境安装Scrapy爬虫框架过程及常见错误 ,本文给大家介绍的非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下  
Windows

•安装lxml

最好的安装方式是通过wheel文件来安装，http://www.lfd.uci.edu/~gohlke/pythonlibs/，从该网站找到lxml的相关文件。假如是Python3.5版本，WIndows 64位系统，那就找到lxml‑3.7.2‑cp35‑cp35m‑win\_amd64.whl 这个文件并下载，然后通过pip安装。

下载之后，运行如下命令安装：

pip3 install wheel
    pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装，其他文件替换文件名即可。

•安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface\#downloads下载对应版本的wheel文件，然后pip安装。比如Python 3.5版本，Windows 64位系统，就下载zope.interface-4.3.3-cp35-cp35m-win\_amd64.whl。

然后安装wheel文件即可，命令如下：

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

•安装pyOpenSSL

官方网站下载wheel文件，https://pypi.python.org/pypi/pyOpenSSL\#downloads，如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理，http://www.lfd.uci.edu/~gohlke/pythonlibs/\#twisted下载wheel文件，利用pip安装即可。

如Python 3.5版本，Windows 64位系统，下载

Twisted‑17.1.0‑cp35‑cp35m‑win\_amd64.whl，然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

•安装Scrapy

最后安装Scrapy即可，依然使用pip，命令如下：

pip3 install Scrapy

ps：下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错，其实这个错误是一个间接，由其依赖引起。

如果你是Python2.X

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev…心累.  
非常感谢你的阅读  
大学的时候选择了自学python，工作了发现吃了计算机基础不好的亏，学历不行这是

没办法的事，只能后天弥补，于是在编码之外开启了自己的逆袭之路，不断的学习python核心知识，深

入的研习计算机基础知识，整理好了，我放在我们的Python学习扣qun：250933691，如果你也不甘平庸

，那就与我一起在编码之外，不断成长吧！

其实这里不仅有技术，更有那些技术之外的东西，比如，如

何做一个精致的程序员，而不是“屌丝”，程序员本身就是高贵的一种存在啊，难道不是吗？[\[点击加入][Link 1]

\]想做你自己想成为高尚人，加油！  
@本文来源于公众号：csdn2299，喜欢可以关注公众号 程序员学府

[Link 1]: https://jq.qq.com/?_wv=1027&k=5cb1kUZ

发表评论取消回复

表情：

评论列表（有 0 条评论，5人围观）

还没有评论，来说两句吧...

相关阅读

相关 windows下安装python scrapy爬虫环境

windows下安装python scrapy爬虫环境 1. 安装python 根据你的需求下载python安装包，安装pytho

末蓝、/ 2023年10月17日 17:34/ 0 赞/ 107 阅读

相关 Python3安装Scrapy爬虫框架

安装scrapy之前，先安装pywin32和Twisted [https://pypi.org/project/Twisted/][https_pypi.org_projec

太过爱你忘了你带给我的痛/ 2023年10月07日 11:05/ 0 赞/ 115 阅读

相关 Python3环境安装Scrapy爬虫框架过程及常见错误

这篇文章主要介绍了Python3环境安装Scrapy爬虫框架过程及常见错误 ,本文给大家介绍的非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下 Windows •安

叁歲伎倆/ 2023年07月21日 12:30/ 0 赞/ 6 阅读

相关【Python爬虫】Scrapy爬虫框架

Scrapy爬虫框架介绍 ![format_png][] ![format_png 1][] pip install scrapy scrapy -h

╰+哭是因爲堅強的太久メ/ 2023年02月27日 13:40/ 0 赞/ 127 阅读

相关 Python爬虫：scrapy框架怎么安装？

[ ![E7_A8_8B_E5_BA_8F_E5_91_98_icon_github_color_red][]][_E7_A8_8B_E5_BA_8F_E5_91_98_ico

比眉伴天荒/ 2023年01月06日 05:28/ 0 赞/ 233 阅读

相关「Python3 爬虫标准化项目」环境搭建与爬虫框架Scrapy入门

文章目录内容介绍环境搭建 window系统环境 Linux系统环境 Scrapy 爬虫框架数据采集流程概述

末蓝、/ 2022年10月27日 12:15/ 0 赞/ 248 阅读

相关 Python爬虫之scrapy框架环境安装

文章目录前言一. scrapy框架环境安装二. 创建一个scrapy工程 -------------------- 前言为什么要学习

阳光穿透心脏的1/2处/ 2022年09月04日 01:46/ 0 赞/ 330 阅读

相关 Python爬虫框架Scrapy安装

初级的爬虫我们可以利用urllib和urllib2库以及正则表达式来完成，而高级的功能更强大的爬虫我们可以使用爬虫框架[Scrapy][]来完成。

向右看齐/ 2022年08月04日 13:34/ 0 赞/ 420 阅读

相关 python3问题-运行爬虫框架scrapy

运行爬虫框架scrapy 在终端上执行：scrapy crawl xxx 最近写python遇到的一些问题，望给大家一点帮助。我是小王，CSDN博客：[https:

短命女/ 2022年02月17日 04:19/ 0 赞/ 286 阅读

相关 python3.7.1安装Scrapy爬虫框架

[python3.7.1安装Scrapy][python3.7.1_Scrapy]爬虫框架环境：win7(64位）， Python3.7.1（64位）一

Love The Way You Lie/ 2022年01月09日 11:23/ 0 赞/ 389 阅读