python3 [爬虫入门实战]爬虫之scrapy安装与配置教程

墨蓝 2021-06-10 20:42 686阅读 0赞

不得不说,自己经历过的,才是真的经历过,有很多网上的教程并不是很好,都是一把辛酸泪啊。

网上很多教程都是python2.7的,少有python3的教程,找起资料来还是挺难的。搞了算是蛮久的,一个上午加上半个晚上, 不过最终还是搞出来了


总结一下:方法对了,安装的方法还是蛮简单的

前人的经验,别一开始就上来

pip install Scrapy

不论如何这个绝对是有问题的

结果就是:

error: Unable to find vcvarsall.bat

然后你就是到处找啊找啊,网上百度下来的教程基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊

正确的姿势应该是这样子的:

1 使用wheel安装
准备好这个网站:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

安装步骤姿势:
1 安装wheel

pip install wheel

成功的样子:

这里写图片描述

然后这个网站:
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
Scrapy

下载, 建议放在python35 bin下带有.exe 路径下,这样子比较好,毕竟文件是比较重要的说

2 在该控制台输入:pip install [whell]
注:[whell]表示你的.whl文件,一定要全名,XXXX.whl

安装过程中可能会出现:

Failed to build XXXX
不过没有关系,但是到最后你还是会出现

twisted –》error: Unable to find vcvarsall.bat

因为scrapy框架是基于twisted 的, 所以又要去上面那个网站:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

搜Twisted

Twisted, an event-driven networking engine.

  1. Twisted17.5.0cp27cp27mwin32.whl
  2. Twisted17.5.0cp27cp27mwin_amd64.whl
  3. Twisted17.5.0cp34cp34mwin32.whl
  4. Twisted17.5.0cp34cp34mwin_amd64.whl
  5. Twisted17.5.0cp35cp35mwin32.whl
  6. Twisted17.5.0cp35cp35mwin_amd64.whl
  7. Twisted17.5.0cp36cp36mwin32.whl
  8. Twisted17.5.0cp36cp36mwin_amd64.whl

选择对于的版本进行下载:cp35代表的是Python版本是多少,这里我的版本是python35,操作系统是win64位的,所以我这里进行Twisted‑17.5.0‑cp35‑cp35m‑win_amd64.whl 文件的下载

输入命令:

pip install [whell]

注意:这里的为whell还是文件的绝对路径,并且带上文件格式.whl

最后:安装成功之后

进行pip install scrapy

试着开始第一个项目:

scrapy startproject firstscrapy

最后进行导入到pycharm IDE中,

在pycharm 中选择
这里写图片描述

右键run就行了。

发表评论

表情:
评论列表 (有 0 条评论,686人围观)

还没有评论,来说两句吧...

相关阅读

    相关 Python爬虫Scrapy入门

    Scrapy组成 Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 ![在这里插入图片描述]