pandas统计函数协方差和相关系数，数据排序

妖狐艹你老母 2023-02-25 08:33 15阅读 0赞

import pandas as pd
    
    df = pd.read_csv("D:/python基础课程/pandas/ant-learn-pandas/datas/beijing_tianqi/beijing_tianqi_2018.csv", encoding="utf8", engine="python")
    
    print(df.head(5))
    
    df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃", "").astype("int32")
    df.loc[:, "yWendu"] = df["yWendu"].str.replace("℃", "").astype("int32")
    
    print(df.head())

### 统计结果（最值，平均值） ###

# 一下子提取所有数字列统计结果
    res1 = df.describe()
    print(res1)
    ''' bWendu yWendu aqi aqiLevel count 365.000000 365.000000 365.000000 365.000000 mean 18.665753 8.358904 82.183562 2.090411 std 11.858046 11.755053 51.936159 1.029798 min -5.000000 -12.000000 21.000000 1.000000 25% 8.000000 -3.000000 46.000000 1.000000 50% 21.000000 8.000000 69.000000 2.000000 75% 29.000000 19.000000 104.000000 3.000000 max 38.000000 27.000000 387.000000 6.000000 '''
    # 查看单个Series的数据
    res2 = df["bWendu"].mean()  # 平均值
    print(res2)
    
    df["bWendu"].max()
    df["bWendu"].min()

### 唯一去重，按值计算 ###

# 唯一性去重
    res3 = df["fengxiang"].unique()
    print(res3)
    '''['东北风' '北风' '西北风' '西南风' '南风' '东南风' '东风' '西风']'''
    
    # 按值计算
    res4 = df["fengxiang"].value_counts()
    print(res4)
    '''南风 92 西南风 64 北风 54 西北风 51 东南风 46 东北风 38 东风 14 西风 6'''

### 相关系数和协方差 ###

用途（超级厉害）：  
两只股票，是不是同涨同跌？程度多大？正相关还是负相关？  
产品销量的波动，跟哪些因素正相关、负相关，程度有多大？  
来自知乎，对于两个变量X、Y：

\*\*协方差：\*\*衡量同向反向程度，如果协方差为正，说明X，Y同向变化，协方差越大说明同向程度越高；如果协方差为负，说明X，Y反向运动，协方差越小说明反向程度越高。  
\*\*相关系数：\*\*衡量相似度程度，当他们的相关系数为1时，说明两个变量变化时的正向相似度最大，当相关系数为－1时，说明两个变量变化的反向相似度最大

# 协方差矩阵：
    res5 = df.cov()
    print(res5)
    
    # 相关系数矩阵
    res6 = df.corr()
    print(res6)
    
    # 单独查看空气质量和最高温度的相关系数
    res7 = df["aqi"].corr(df["bWendu"])
    print(res7)
    
    # 空气质量和温差的相关系数
    res8 = df["aqi"].corr(df["bWendu"]-df["yWendu"])
    print(res8)

### Pandas数据排序 ###

**Series的排序：**  
Series.sort\_values(ascending=True, inplace=False)  
**参数说明：**

ascending：默认为True升序排序，为False降序排序  
inplace：是否修改原始Series  
DataFrame的排序：  
DataFrame.sort\_values(by, ascending=True, inplace=False)  
**参数说明：**

by：字符串或者List<字符串>，单列排序或者多列排序  
ascending：bool或者List，升序还是降序，如果是list对应by的多列  
inplace：是否修改原始DataFrame

**series排序**

# 升序
    df["aqi"].sort_values()

# 降序
    df["aqi"].sort_values(ascending=False)

df["tianqi"].sort_values()
    ‘’‘225     中雨~小雨
    230     中雨~小雨
    197    中雨~雷阵雨
    196    中雨~雷阵雨
    112        多云
            ...  
    191    雷阵雨~大雨
    219     雷阵雨~阴
    335      雾~多云
    353         霾
    348         霾’‘’

### DataFrame的排序 ###

**单列排序**

df.sort_values(by="aqi")  # 升序
    df.sort_values(by="aqi", ascending=False)  # 降序

**多列排序**

# 按空气质量等级、最高温度排序，默认升序
    df.sort_values(by=["aqiLevel", "bWendu"])
    
    # 两个字段都是降序
    df.sort_values(by=["aqiLevel", "bWendu"], ascending=False)
    
    # 分别指定升序和降序
    df.sort_values(by=["aqiLevel", "bWendu"], ascending=[True, False])