【京东】scrapy爬虫抓取京东图书详情、评论

ゝ一世哀愁。 2022-05-18 09:05 223阅读 0赞

# 1 前期工作 #

--------------------

## 参考 ##

> [scrapy爬取京东商城某一类商品的信息和评论（一）][scrapy]  
> [scrapy爬取京东商城某一类商品的信息和评论（二）][scrapy 1]

## 测试 ##

1.  打开[京东图书][Link 1]
2.  在console中输入`$('ul.gl-warp > li').length`，结果为30，说明该页面是js动态页面
3.  输入`document.getElementsByClassName('page')[0].scrollIntoView(true)`，可以完成拖拽动作  
    注释：获取类名为 page 的元素，见[【说明】][Link 2]
4.  `span#J_resCount::text`获取id属性为J\_resCount的span标签的文本  
    `span.J_resCount::text`获取class属性为J\_resCount的span标签的文本

## 准备 ##

*  打开docker，开启splash端口  
    `sudo service docker start`  
    `sudo docker run -p 8050:8050 scrapinghub/splash`

# 2 抓取目标确定 #

1.  搜索页抓取：`ID/ 折扣价/ 总评论数/ 书店名`
2.  详情页抓取：`书名、出版社、作者、ISBN、出版时间、类型`(不能按照顺序来)

ID / 书名 / 原价 / 折扣价 / 作者 / 出版日期 / 出版社 / 总评分 / 总评论数 / 书店名 / ISBN /类型

--------------------

# 附录： win10 中的BUG #

## 1 （已解决）找不到splash模块 No module named ‘splash’ ##

*  描述：装好scrapy-splash后，依旧无法运行爬虫，并报错
 *  原因：没有安装splash
 *  解决办法：安装splash，打开端口，运行爬虫

1. 下载splash包 `pip install scrapy-splash`
    2. 官网下载docker `https://store.docker.com/editions/community/docker-ce-desktop-windows`
    3. 利用docker 运行splash  'docker run -p 8050:8050 scrapinghub/splash'
    4. 验证splash是否打开，网页输入'http://localhost:8050'
    4. 编辑scrapy

> 参考：[scrapy-splash爬取JS生成的动态页面][scrapy-splash_JS]  
> 参考：[Windows Docker 安装][Windows Docker]

## 2 （已解决）报错 ModuleNotFoundError: No module named ‘twisted.enterprise” ##

安装完docker、splash后，运行爬虫报错，并且原先能正常运行的爬虫也出现同样错误

*  怀疑1：安装包损坏，得重装scrapy  
    操作：重新安装scrapy后，没用
 *  怀疑2：但运行不带`from twisted.enterprise import adbapi`的爬虫没问题，而且以前这条命令能执行，但现在不能执行，怀疑twisted需要升级  
    操作：升级twisted ，`conda upgrade twisted`，问题解决

## 3 （已解决）运行爬虫出现 ImportError: cannot import name ‘\_win32stdio’ ##

*  描述：  
    更新splash `pip install -- upgrade splash`，运行爬虫出现`ImportError: cannot import name '_win32stdio'`

> 参考：[Scrapy在Python3下报错：“cannot import name ‘\_win32stdio’”解决办法][Scrapy_Python3_cannot import name _win32stdio]

## 4 （已解决）运行quotes爬虫，报错 ModuleNotFoundError: No module named ‘splash.downloadermiddlewares’ ##

*  windows解决不了了，换linux了。。
 *  后续：时隔多日，杀回windows，用conda重装 `twisted` 和`scrapy`就解决了

[scrapy]: https://blog.csdn.net/xiaoquantouer/article/details/51840332
[scrapy 1]: https://blog.csdn.net/xiaoquantouer/article/details/51841016
[Link 1]: https://search.jd.com/Search?keyword=%E6%B9%96%E5%8D%97%E6%96%87%E8%89%BA%E5%87%BA%E7%89%88%E7%A4%BE&enc=utf-8&wq=%E6%B9%96%E5%8D%97%E6%96%87%E8%89%BA%E5%87%BA%E7%89%88%E7%A4%BE&pvid=f6180f5ad6764c828274168367420c58
[Link 2]: http://www.runoob.com/jsref/met-document-getelementsbyclassname.html
[scrapy-splash_JS]: https://blog.csdn.net/loguat/article/details/72875333
[Windows Docker]: http://www.runoob.com/docker/windows-docker-install.html
[Scrapy_Python3_cannot import name _win32stdio]: https://blog.csdn.net/qq807237096/article/details/78281276?locationNum=1&fps=1