windows下python3.7安装scrapy笔记

╰+哭是因爲堅強的太久メ 2022-05-15 10:35 284阅读 0赞

windows install python 37 win32,我的安装在e:/python/

e: 
    cd  python/script   
    pip install scrapy

警告:You are using pip version 10.0.1, however version 18.0 is available.

解决方案 :`python -m pip install --upgrade pip`  
pip –version 看看是哪个版本的。

报错:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": 
    http://landinghub.visualstudio.com/visual-cpp-build-tools

解决方案:

打开网址 `http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted` 下载twisted对应版本的whl文件
    （如我的Twisted-18.7.0-cp37-cp37m-win32.whl），cp后面是python版本，amd64代表64位
    怎么查看版本python的版本呢？直接python,可以看到版本号37表示3.7版本36表示3.6版本,win32表示32位,
    amd64表示64位,同理其他版本一样 
    下载好对应的twisted然后我把它移动到 e:/python/
    执行：pip install e:/python/Twisted-18.7.0-cp37-cp37m-win32.whl

文档参考1:[https://www.jb51.net/article/125081.htm][https_www.jb51.net_article_125081.htm]  
文档参考2:[https://www.lfd.uci.edu/~gohlke/pythonlibs/\#twisted][https_www.lfd.uci.edu_gohlke_pythonlibs_twisted]

再次执行: pip install scrapy

没毛病的话,scrapy -version可以看到版本号

scrapy文档地址： [https://doc.scrapy.org/en/latest/intro/tutorial.html\#creating-a-project][https_doc.scrapy.org_en_latest_intro_tutorial.html_creating-a-project]  
scrapy shell在Windows上，请使用双引号：  
pip install pypiwin32 需要安装插件

> scrapy shell “[http://quotes.toscrape.com/page/1/][http_quotes.toscrape.com_page_1]”

CSS选择器 ：response.css('title::text').extract_first()

[https_www.jb51.net_article_125081.htm]: https://www.jb51.net/article/125081.htm
[https_www.lfd.uci.edu_gohlke_pythonlibs_twisted]: https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
[https_doc.scrapy.org_en_latest_intro_tutorial.html_creating-a-project]: https://doc.scrapy.org/en/latest/intro/tutorial.html#creating-a-project
[http_quotes.toscrape.com_page_1]: http://quotes.toscrape.com/page/1/