数据分析案例--知乎数据清洗整理和可视化研究

秒速五厘米 2022-12-02 03:56 165阅读 0赞

## 一、问题描述 ##

1.  数据清洗–去除空值  
    要求：创建函数  
    提示：fillna方法填充缺失数据，注意inplace参数
2.  问题1 知友全国地域分布情况，分析出TOP20  
    要求：  
    ① 按照地域统计 知友数量、知友密度（知友数量/城市常住人口），不要求创建函数  
    ② 知友数量，知友密度，标准化处理，取值0-100，要求创建函数  
    ③ 通过多系列柱状图，做图表可视化  
    提示：  
    ① 标准化计算方法 = (X - Xmin) / (Xmax - Xmin)  
    ② 可自行设置图表风格
3.  问题2 知友全国地域分布情况，分析出TOP20

要求：  
① 按照学校（教育经历字段） 统计粉丝数（‘关注者’）、关注人数（‘关注’），并筛选出粉丝数TOP20的学校，不要求创建函数  
② 通过散点图 → 横坐标为关注人数，纵坐标为粉丝数，做图表可视化  
③ 散点图中，标记出平均关注人数（x参考线），平均粉丝数（y参考线）

## 二、代码实现 ##

import pandas as pd
    import numpy as np 
    import matplotlib.pyplot as plt
    % matplotlib inline
    # 数据读取
    data1 = pd.read_csv('C:/Users/Hjx/Desktop/知乎数据_201701.csv', engine = 'python')
    data2 = pd.read_csv('C:/Users/Hjx/Desktop/六普常住人口数.csv', engine = 'python')
    print(data1.head())
    print(data2.head())

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center]

*  2.1 数据清洗 - 去除空值

文本型字段空值改为“缺失数据”，数字型字段空值改为 0  
要求：创建函数  
提示：fillna方法填充缺失数据，注意inplace参数

def data_cleaning(df):
        cols = df.columns
        for col in cols:
            if df[col].dtype ==  'object':
                df[col].fillna('缺失数据', inplace = True)
            else:
                df[col].fillna(0, inplace = True)
        return(df)
    # 该函数可以将任意数据内空值替换
    
    data1_c = data_cleaning(data1)
    data1_c.head(10)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 1]

**问题1 知友全国地域分布情况，分析出TOP20**  
要求：  
① 按照地域统计 知友数量、知友密度（知友数量/城市常住人口），不要求创建函数  
② 知友数量，知友密度，标准化处理，取值0-100，要求创建函数  
③ 通过多系列柱状图，做图表可视化  
提示：  
① 标准化计算方法 = (X - Xmin) / (Xmax - Xmin)  
② 可自行设置图表风格

df_city = data1_c.groupby('居住地').count()  # 按照居住地统计知友数量
    data2['city'] = data2['地区'].str[:-1]   # 城市信息清洗，去掉城市等级文字
    #print(df_city.head()) 
    #print(data2.head()) 
    
    q1data = pd.merge(df_city, data2, left_index = True, right_on = 'city', how = 'inner')[['_id','city','常住人口']]
    q1data['知友密度'] = q1data['_id']/q1data['常住人口'] 
    #print(q1data.head())
    # 统计计算知友数量，知友密度
    
    def data_nor(df, *cols):
        colnames = []
        for col in cols:
            colname = col + '_nor'
            df[colname] = (df[col]-df[col].min())/(df[col].max()-df[col].min()) * 100
            colnames.append(colname)
        return(df,colnames)
    # 创建函数，结果返回标准化取值，新列列名
    
    resultdata = data_nor(q1data,'_id','知友密度')[0]
    resultcolnames = data_nor(q1data,'_id','知友密度')[1]
    q1data_top20_sl = resultdata.sort_values(resultcolnames[0], ascending=False)[['city',resultcolnames[0]]].iloc[:20]
    q1data_top20_md = resultdata.sort_values(resultcolnames[1], ascending=False)[['city',resultcolnames[1]]].iloc[:20]
    #print(q1data_top20_sl)
    # 标准化取值后得到知友数量，知友密度的TOP20数据
    
    fig1 = plt.figure(num=1,figsize=(12,4))
    y1 = q1data_top20_sl[resultcolnames[0]]
    plt.bar(range(20),
            y1,
            width = 0.8,
            facecolor = 'yellowgreen',
            edgecolor = 'k',
            tick_label = q1data_top20_sl['city'])
    plt.title('知友数量TOP20\n')
    plt.grid(True, linestyle = "--",color = "gray", linewidth = "0.5", axis = 'y')  
    for i,j in zip(range(20),y1):
        plt.text(i+0.1,2,'%.1f' % j, color = 'k',fontsize = 9)
    
    fig2 = plt.figure(num=2,figsize=(12,4))
    y2 = q1data_top20_sl[resultcolnames[0]]
    plt.bar(range(20),
            y2,
            width = 0.8,
            facecolor = 'lightskyblue',
            edgecolor = 'k',
            tick_label = q1data_top20_md['city'])
    plt.grid(True, linestyle = "--",color = "gray", linewidth = "0.5", axis = 'y')  
    plt.title('知友密度TOP20\n')
    for i,j in zip(range(20),y2):
        plt.text(i+0.1,2,'%.1f' % j, color = 'k',fontsize = 9)
    # 创建图表

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 2]

*  **问题2 不同高校知友关注和被关注情况**

要求：  
① 按照学校（教育经历字段） 统计粉丝数（‘关注者’）、关注人数（‘关注’），并筛选出粉丝数TOP20的学校，不要求创建函数  
② 通过散点图 → 横坐标为关注人数，纵坐标为粉丝数，做图表可视化  
③ 散点图中，标记出平均关注人数（x参考线），平均粉丝数（y参考线）  
提示： ① 可自行设置图表风格

q2data = data1_c.groupby('教育经历').sum()[['关注','关注者']].drop(['缺失数据','大学','本科'])
    q2data_c = q2data.sort_values('关注',ascending=False)[:20]
    #print(q2data_c)
    # 统计计算学校的粉丝数、被关注量
    
    plt.figure(figsize=(10,6))
    x = q2data_c['关注']
    y = q2data_c['关注者']
    follow_mean = q2data_c['关注'].mean()
    fans_mean = q2data_c['关注者'].mean()
    plt.scatter(x,y,marker='.',
               s = y/1000,
               cmap = 'Blues',
               c = y,
               alpha = 0.8,
               label = '学校')
    # 创建散点图
    
    plt.axvline(follow_mean,hold=None,label="平均关注人数：%i人" % follow_mean,color='r',linestyle="--",alpha=0.8)  # 添加x轴参考线
    plt.axhline(fans_mean,hold=None,label="平均粉丝数：%i人" % fans_mean,color='g',linestyle="--",alpha=0.8)   # 添加y轴参考线
    plt.legend(loc = 'upper left')
    plt.grid()
    # 添加显示内容
    
    for i,j,n in zip(x,y,q2data_c.index):
        plt.text(i+500,j,n, color = 'k')
    # 添加注释

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 3]  
*说明：知乎是一个相对严谨的网络知识问答平台，使用者通常都是有较好的教育背景的用户，因此分析用户的教育背景数据很有必要。  
这里将分析各个高校的知乎使用热度，将使用两个指标：关注人数，粉丝数。  
筛选计算各个高校的关注人数和粉丝数，对top20数据进行数据可视化，绘制散点图。通过散点图分析可得到以下几个结论：  
a.top20学校都是全国的知名高校，说明教育背景越好的用户使用知乎热度越高。  
b.大部分高校的粉丝数和关注人数都低于平均值，说明有相当部分的用户在知乎的活跃度并不高，参与度不高。  
知乎的运营推广应该更偏向于高学历人群，特别是全国知名高校，创造对该人群更加有吸引力社群环境。  
同时也需要深度分析用户活跃度和参与度不高的原因，采取有效的方法提供用户的使用热度。*

综上，针对知乎数据的简单数据处理和分析就做完了。其中对于学校的排名情况，只是笔者爬取数据所显示的结果，由于每个学校玩知乎人数和学生总人数原因会导致不太准确。比如浙江大学和清华大学的对比等等。  
数据集：打赏一下。请联系笔者，创作不易，谢谢支持。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/9a4a5a261e374f129ff49b90a0f08d23.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/a612f3eddd424002994b03d67a36e5ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/83c120ea96f5414582c475e1e9446673.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/8aba53164f264fb48242ca4c5720c4d3.png