pyspider学习之---- windows安装pyspider模块

拼搏现实的明天。 2022-12-17 11:53 613阅读 0赞

文章目录

    • 一、学习目标:
    • 二、安装步骤:
      • 0、scrapy和pyspider对比
      • 1、安装python3.5版本的python
      • 2、安装pyspider模块:
      • 3、在cmd中输入pyspdier:
      • 4、pycurl模块安装:
      • 5、最后,cmd执行:`pyspider`
      • 6、pyspider的官方使用文档和GitHub
    • 参考:

一、学习目标:

今天突然想安装下pyspider,一个python爬虫框架,但是发现我的python3.7安装不了,然后看了下pyspider模块,发现最大支持是python3.5,所以我就再安装一个python3.5版本的python。

二、安装步骤:

0、scrapy和pyspider对比

在这里插入图片描述
在这里插入图片描述

通过模块对比,发现pyspider好像都不怎么维护了,模块已经是2年前的更新了。不过项目看还有更新。

想学就学习一下吧。

1、安装python3.5版本的python

去官网下载即可

我现在的python3.5地址,也可以和我一样:

2、安装pyspider模块:

我这边直接使用pip命令安装安装不上,所以我直接python安装。
下载模块文件:
模块地址:
我下载的模块
在这里插入图片描述

下载之后,解压,然后在window的cmd中,进入解压的目录,
在这里插入图片描述

在这里插入图片描述

这个时候pyspider安装完成。

3、在cmd中输入pyspdier:

然后需要什么模块补什么模块:
比如举例其中一个例子:
在这里插入图片描述

我的安装的所有模块:
导出模块版本命令:

  1. pip freeze > packages.txt

packages.txt模块:

  1. certifi==2020.6.20
  2. chardet==3.0.4
  3. click==7.1.2
  4. cssselect==1.1.0
  5. defusedxml==0.6.0
  6. Flask==1.1.2
  7. Flask-Login==0.5.0
  8. idna==2.10
  9. itsdangerous==1.1.0
  10. Jinja2==2.11.2
  11. jsmin==2.2.2
  12. json5==0.9.5
  13. lxml==4.6.1
  14. MarkupSafe==1.1.1
  15. pycurl==7.43.0.3
  16. pyquery==1.4.1
  17. pyspider==0.3.10
  18. PyYAML==5.3.1
  19. requests==2.24.0
  20. six==1.15.0
  21. tblib==1.7.0
  22. tornado==4.5.3
  23. u-msgpack-python==2.7.0
  24. unknown==0.0.0
  25. urllib3==1.25.11
  26. Werkzeug==0.16.1
  27. WsgiDAV==2.4.1

4、pycurl模块安装:

pycurl官网地址

我的模块【推荐下载我下载好的,因为蓝奏云不然上传whl结尾的,你解压一下,变成whl,然后使用pip install 然后把解压的whl文件拖到即可。】:
下载:https://wwa.lanzous.com/i8H3Uho811g 密码:7shq

在这里插入图片描述

5、最后,cmd执行:pyspider

在这里插入图片描述

然后打开:http://127.0.0.1:5000/

在这里插入图片描述

出现这个界面就是正常的显示了。

6、pyspider的官方使用文档和GitHub

我还没用过,具体还需要慢慢学习在总结,今天配置环境都搞了好久,干脆整理了出来。
官方使用文档
快速开始使用
pyspider模块GitHub地址:

如果对你有帮助,可以给我点个赞哈

参考:

https://blog.csdn.net/u011451186/article/details/88222328
https://blog.csdn.net/lang\_niu/article/details/104501473

发表评论

表情:
评论列表 (有 0 条评论,613人围观)

还没有评论,来说两句吧...

相关阅读

    相关 爬虫PySpider框架

    PySpider web界面编写调试脚本,启停脚本,监控执行状态,查看活动历史,获取产出结果: 提供SaaS服务,可以在线提交部署 支持MySQL、Mo

    相关 python3.6安装pyspider报错

    最近在学python爬虫,在安装pyspider库的时候,爆了一堆的错,查了好久才解决了,我把这些错误都集中记录在这个帖里,给大家做个参考。 首先是安装,用pip安装,用如下