手把手教你用Python获取新冠疫情数据并进行可视化

灰太狼 2023-01-23 12:48 57阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

感时花溅泪，恨别鸟惊心。

## Hello，大家好。我叫“小屁孩i”。 ##

## 前言 ##

不知道大伙有没有看到过这一句话：“中国（疫苗研发）非常困难，因为在中国我们没有办法做第三期临床试验，因为没有病人了。”这句话是中国工程院院士钟南山在上海科技大学2021届毕业典礼上提出的。这句话在全网流传，被广大网友称之为“凡尔赛”发言。

今天让我们用数据来看看这句话是不是“凡尔赛”本赛。在开始之前我们先来说说今天要用到的python库吧！

**1.数据获取部分**

requests lxml json openpyxl

**2.数据可视化部分**

pandas  pyecharts（可视化库）

以上的库都可以通过在线下载：

pip instll xx

ps：如果下载速度太慢的话也可以用国内镜像，使用命令，例如：

pip install xx（库名） -i https://pypi.tuna.tsinghua.edu.cn/simple gevent（清华镜像）

现在一起进入今天的代码部分吧！！！

## 数据获取 ##

目标地址：

https://voice.baidu.com/act/newpneumonia/newpneumonia

进入目标地址我们可以看到如下所示：

![ab83cf04ff32883f6e9a28048ff2c925.png][]

现在让我们一起去解析网页结构找到我们要爬取到的数据如下所示：

![00c27c1cf7b14014024e3d715737a437.png][]

现在我们找到想要的页面数据接下来就是通过Python来获取这些数据了，上代码：

import requests
    from lxml import etree
    import json
    import openpyxl
    
    
    #通用爬虫
    url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia'
    headers = {
        "User-Agent": ".....(换成自己的)"
    }
    response = requests.get(url=url,headers=headers).text
    #在使用xpath的时候要用树形态
    html = etree.HTML(response)
    #用xpath来获取我们之前找到的页面json数据  并打印看看
    json_text = html.xpath('//script[@type="application/json"]/text()')
    json_text = json_text[0]
    # print(json_text)

之后我们来解析一下json数据，上代码：

#用python本地自带的库转换一下json数据
    result = json.loads(json_text)
    # print(result)
    #通过打印出转换的对象我们可以看到我们要的数据都要key为component对应的值之下  所以现在我们将值拿出来
    result = result["component"]
    #再次打印看看结果
    # print(result)
    # 获取国内当前数据
    result = result[0]['caseList']
    # print(result)

接着我们将获取到的数据保存到excel中，上代码:

# 创建工作簿
    wb = openpyxl.Workbook()
    # 创建工作表
    ws = wb.active
    # 设置表的标题
    ws.title = "国内疫情"
    # 写入表头
    ws.append(["省份","累计确诊","死亡","治愈"])
    #获取各省份的数据并写入
    for line in result:
        line_name = [line["area"],line["confirmed"],line["died"],line["crued"]]
        for ele in line_name:
            if ele == '':
                ele = 0
        ws.append(line_name)
    #保存到excel中
    wb.save('./china.xlsx')

最后我们查看一下获取到的数据是什么样的，如图：

![083fa4e26fa5cf95d2646b25388622cd.png][]

emmmm，终于我们把数据获取部分完成了，第二部分的数据可视化来了！！！

## 数据可视化 ##

这次我们用到的库是pyecharts里面的Map，我们先展示一下本次可视化用到的库

#可视化部分
    import pandas  as pd
    from pyecharts.charts import Map,Page
    from pyecharts import options as opts

首先我们要先通过pandas库来获取到刚才我们爬取到的数据，上代码：

# 设置列对齐
    pd.set_option('display.unicode.ambiguous_as_wide', True)
    pd.set_option('display.unicode.east_asian_width', True)
    # 打开文件
    df = pd.read_excel('china.xlsx')
    # 对省份进行统计
    data2 = df['省份']
    data2_list = list(data2)
    data3 = df['累计确诊']
    data3_list = list(data3)
    data4 = df['死亡']
    data4_list = list(data4)
    data5 = df ['治愈']
    data5_list = list(data5)

接着我们来做数据可视化，将在我国地图上的各个省份显示出对应的数值

我们以疫情发生以来治愈数为例，上代码：

c = (
        Map()
            .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
            .set_global_opts(
            title_opts=opts.TitleOpts(),
            visualmap_opts=opts.VisualMapOpts(max_=200),
        )
    )
    c.render()

![6759839cf87aefd13a689f650a9d818f.png][]

当然仅仅一个治愈情况当然说明不了什么，所以我们将三种情况都以这种形式显示出来，上代码：

a = (
        Map()
            .add("累计确诊", [list(z) for z in zip(data2_list, data3_list)], "china")
            .set_global_opts(
            title_opts=opts.TitleOpts(),
            visualmap_opts=opts.VisualMapOpts(max_=200),
        )
    )
    
    
    b = (
        Map()
            .add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china")
            .set_global_opts(
            title_opts=opts.TitleOpts(),
            visualmap_opts=opts.VisualMapOpts(max_=200),
        )
    )
    
    
    c = (
        Map()
            .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
            .set_global_opts(
            title_opts=opts.TitleOpts(),
            visualmap_opts=opts.VisualMapOpts(max_=200),
        )
    )
    
    
    page = Page(layout=Page.DraggablePageLayout)
    page.add(
        a,
        b,
        c,
    )
    # 先生成render.html文件
    page.render()

![5f904839530fde3fe6042bbeb6e0c21a.png][]

当然如果是直接运行代码的话展现出来的地图不是这样的，这个是通过后期的排版来完成的。那么在最后我们来说说是怎么排版的吧。

首先你先将上面的代码运行之后会产生一个render.html的文件然后你打开文件之后可以调整整个页面的布局，根据自己的喜欢来调整，接着点击左上角的“Save Config”将这个json文件保存到跟render.html这个文件同一个路径之下，最后运行一下代码：

#完成上一步之后把 page.render()这行注释掉
    # 然后循行这下面
    Page.save_resize_html("render.html",
        cfg_file="chart_config.json",
        dest="my_test.html")

这样以后会产生一个my\_test.html这个文件就是我们上面展示的那样啦。

## 结束语 ##

以上就是我们这次的结果。从数据的获取到数据可视化，怎么说呢pyecharts还具有其他强大的可视化功能。你还用这个库做过什么数据可视化呢，欢迎小伙伴在评论区交流一下。如果文章内容有出错的地方，希望大伙批评指正。下回见！

最后需要本文代码的小伙伴可以在后台回复"**新冠病毒**"关键字进行获取，有问题可以在公众号后台添加小编微信，小编帮助大家解决。

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你使用Python轻松打造淘宝主图视频生成神器][Python]  
    
 *  [手把手教你使用XPath爬取免费代理IP][XPath_IP]  
    
 *  [盘点Python网页开发轻量级框架Flask知识（下篇）][Python_Flask]  
    
 *  [盘点Python网页开发轻量级框架Flask知识（上篇）][Python_Flask 1]

![9f03ac5cfaf6d621bd985c93019e65d1.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[ab83cf04ff32883f6e9a28048ff2c925.png]: /images/20221004/9af8783f2dc348fd8b67c88a3b2d59b7.png
[00c27c1cf7b14014024e3d715737a437.png]: /images/20221004/b2003064f9eb4686ac5a6215e5cf3df3.png
[083fa4e26fa5cf95d2646b25388622cd.png]: /images/20221004/425ce3e0e06a473a8201a31a60ea1407.png
[6759839cf87aefd13a689f650a9d818f.png]: /images/20221004/61ebaf175b5c4617a3ed6b1635af80e8.png
[5f904839530fde3fe6042bbeb6e0c21a.png]: /images/20221004/e037257621da4518b92ab39f611334c4.png
[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b757cbb73e4157d2b8186d65ce61fc4d2073697087e895ad3625df004c70d29b4b6bdb79&idx=1&mid=2247496060&scene=21&sn=56e86548f79bf9429ed4815b14fb01f0#wechat_redirect
[XPath_IP]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b71fcbb73e09d34d7df23ef94c892a8d5b8ecf271c5c726f2b80b475d9bdd4759c6d06f4&idx=1&mid=2247495988&scene=21&sn=e8e14cac4f449a65fee9d791c3c62f2d#wechat_redirect
[Python_Flask]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b73ecbb73e28966af9f89584339e5a16e9d47866819db64ec07af6cf8459f6522439ebea&idx=1&mid=2247495957&scene=21&sn=de59ec3c1b795eaa4b057889b96d943c#wechat_redirect
[Python_Flask 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b6fbcbb73fed4c347df0acd301daf0c7b1c9d5fcb73dc5257fd6197b98a0639835da1e42&idx=1&mid=2247495888&scene=21&sn=87b9dc5822901676035163bbddf2f2d3#wechat_redirect
[9f03ac5cfaf6d621bd985c93019e65d1.png]: /images/20221004/5c209868992b464b9e4af37c63c60eb0.png