pyspider 爬取结果 mysql_pyspider爬取王者荣耀数据（下）

蔚落 2022-10-31 13:43 191阅读 0赞

pyspider爬取王者荣耀数据(下)

前言

本篇来继续完成数据的爬取。离上周文章已经过了一星期了，忘记的可以回顾下：《pyspider爬取王者荣耀数据(上)》

上篇文章中写到的，无非就是头像图片的懒加载是个小困难点，其余部分，操作起来使用网页自带的 css 选择器很好选择。

pyspider爬取数据

1.完善上周的代码

右侧是完善的代码，将具体的目标爬取了下来，并且可以看到左侧上方已经输出了响应的内容。

写完代码后，别忘了点击右上方的 save 按钮。(具体代码文末有获取方式)

2.pyspider启动爬取

写好了代码后，如何去启动此爬虫呢？

首先回到配置任务的界面，画红线是我现在编写的任务：

可以看到有个 status 栏，你需要将此状态换成 debug 或者 run 才行。

点击 run ，即可运行，同时progress的进度条也会变颜色：

3.获取数据

pyspider的数据落地，也很好的帮我们实现了，只需要点击 results ，便可以看到，目前有三种不同的方式，由于本次数据没有多大的量，所以直接用 csv 下载即可。

对于一些字段来说，我在程序中将他们封装成了 dict 的形式，所以 csv 中有些列是以字典的内容存在的，我想要的是最后以 excel 的形式展示，所以这里自己写个程序处理一下。(后面写篇 excel 单独处理的文章)

4.关于数据落地于数据库中

如果当你的数据量异常大的时候，那么肯定不能使用框架提供的 csv 等来存储数据了。

此时的做法，引入相应的数据库即可，以 mysql 为例。下面提供一个编程的思路，无代码。

在 pyspider 提供的 Handler 类中，可以自行实现一个 init 方法(学过面向对象的同学应该不陌生)，在此方法中，对连接 mysql 数据库的操作进行初始化，生成一个实例对象变量 db。

这样一来，在 detail\_page 函数中，我们便可以用 self.db 的方式来对 mysql 实例进行入库操作。

总结

pyspider爬取的入门教程，到此结束。

在此次爬取中，图片的懒加载可以注意下，找到对应js即可。

对比一下用框架来爬取数据，和我们自己写代码的区别：

当我们自己写爬虫时，你需要清晰地知道自己的爬取目标是什么，以此来规划自己的爬取流程，根据流程，一步步定义出具体的函数。同时，你还需要自己构造对应的请求函数，比如利用 requests 模拟请求等。。

当我们使用框架时，爬取流程的结构代码，框架来实现，不用我们自己去写，请求服务端的函数，框架帮我们实现，我们只需要将自己的注意力放在如何爬取目标即可，数据落地同理。

有想要看 pyspider 源码的同学，后台回复 pyspider 即可获得。

发表评论取消回复

表情：

评论列表（有 0 条评论，191人围观）

还没有评论，来说两句吧...

相关阅读

相关 [网络爬虫]批量爬取王者荣耀所有皮肤图片

在页面源代码请求出来的源码是假的数据,皮肤img的那块是统一格式的,拿不到想要的img,换种思路,抓包,从img分类里面,拿到皮肤图片的url,分析之后,只需要改动英雄的...

古城微笑少年丶/ 2024年04月24日 20:33/ 0 赞/ 74 阅读

相关 pyspider 爬取结果 mysql_pyspider爬取王者荣耀数据（下）

pyspider爬取王者荣耀数据(下) 前言本篇来继续完成数据的爬取。离上周文章已经过了一星期了，忘记的可以回顾下：《pyspider爬取王者荣耀数据(上)》上篇文章

蔚落/ 2022年10月31日 13:43/ 0 赞/ 192 阅读

相关 Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观

小鱼儿/ 2022年10月25日 01:28/ 0 赞/ 336 阅读

相关【python爬虫实例】王者英雄资料爬取

常规爬取 import requests import json from urllib import request js png c

港控/mmm°/ 2022年10月04日 15:54/ 0 赞/ 184 阅读

相关 python爬取王者荣耀全部皮肤（二）

Python ：简单的几行代码获取王者荣耀全部皮肤之前我发布过一篇关于爬取王者荣耀全部皮肤的文章，由于那篇文章还是存在少许漏洞的，你会发现从[英雄详细信息][Link

小灰灰/ 2022年09月15日 15:43/ 0 赞/ 259 阅读

相关爬取图片

\----- 爬取百度贴吧的图片： \ coding=utf-8 import urllib import re def getHtml(url): pa

痛定思痛。/ 2022年06月07日 02:54/ 0 赞/ 282 阅读

相关 Ajax数据爬取（3）Ajax结果提取

转载请注明：[静觅][Link 1] » [\[Python3网络爬虫开发实战\] 6.3-Ajax结果提取][Python3_ 6.3-Ajax] [Link

Myth丶恋晨/ 2022年05月26日 03:35/ 0 赞/ 219 阅读

相关 js爬取

有时间看 [https://blog.csdn.net/qq523176585/article/details/78693900][https_blog.csdn.net_q

悠悠/ 2022年05月09日 01:38/ 0 赞/ 207 阅读

相关 pyspider 爬取去哪儿旅游攻略

创建就不说了，直接撸代码运行环境：python 3.6.0 !/usr/bin/env python -- encoding: utf-8 --

比眉伴天荒/ 2022年02月21日 11:25/ 0 赞/ 244 阅读

相关 python爬取app数据

python环境部署 python环境部署这里不做叙述 MYSQL操作安装MySQL驱动由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需

桃扇骨/ 2021年12月21日 13:15/ 0 赞/ 372 阅读