pyspider学习之---- windows安装pyspider模块
文章目录
- 一、学习目标:
- 二、安装步骤:
- 0、scrapy和pyspider对比
- 1、安装python3.5版本的python
- 2、安装pyspider模块:
- 3、在cmd中输入pyspdier:
- 4、pycurl模块安装:
- 5、最后,cmd执行:`pyspider`
- 6、pyspider的官方使用文档和GitHub
- 参考:
一、学习目标:
今天突然想安装下pyspider,一个python爬虫框架,但是发现我的python3.7安装不了,然后看了下pyspider模块,发现最大支持是python3.5,所以我就再安装一个python3.5版本的python。
二、安装步骤:
0、scrapy和pyspider对比
通过模块对比,发现pyspider好像都不怎么维护了,模块已经是2年前的更新了。不过项目看还有更新。
想学就学习一下吧。
1、安装python3.5版本的python
去官网下载即可
我现在的python3.5地址,也可以和我一样:
2、安装pyspider模块:
我这边直接使用pip命令安装安装不上,所以我直接python安装。
下载模块文件:
模块地址:
我下载的模块
下载之后,解压,然后在window的cmd中,进入解压的目录,
这个时候pyspider安装完成。
3、在cmd中输入pyspdier:
然后需要什么模块补什么模块:
比如举例其中一个例子:
我的安装的所有模块:
导出模块版本命令:
pip freeze > packages.txt
packages.txt模块:
certifi==2020.6.20
chardet==3.0.4
click==7.1.2
cssselect==1.1.0
defusedxml==0.6.0
Flask==1.1.2
Flask-Login==0.5.0
idna==2.10
itsdangerous==1.1.0
Jinja2==2.11.2
jsmin==2.2.2
json5==0.9.5
lxml==4.6.1
MarkupSafe==1.1.1
pycurl==7.43.0.3
pyquery==1.4.1
pyspider==0.3.10
PyYAML==5.3.1
requests==2.24.0
six==1.15.0
tblib==1.7.0
tornado==4.5.3
u-msgpack-python==2.7.0
unknown==0.0.0
urllib3==1.25.11
Werkzeug==0.16.1
WsgiDAV==2.4.1
4、pycurl模块安装:
pycurl官网地址
我的模块【推荐下载我下载好的,因为蓝奏云不然上传whl结尾的,你解压一下,变成whl,然后使用pip install 然后把解压的whl文件拖到即可。】:
下载//wwa.lanzous.com/i8H3Uho811g 密码:7shq
5、最后,cmd执行:pyspider
然后打开:http://127.0.0.1:5000/
出现这个界面就是正常的显示了。
6、pyspider的官方使用文档和GitHub
我还没用过,具体还需要慢慢学习在总结,今天配置环境都搞了好久,干脆整理了出来。
官方使用文档
快速开始使用
pyspider模块GitHub地址:
如果对你有帮助,可以给我点个赞哈
参考:
https://blog.csdn.net/u011451186/article/details/88222328
https://blog.csdn.net/lang\_niu/article/details/104501473
还没有评论,来说两句吧...