以鸢尾花数据集的浅显数据描述——峰度、频数、标准差、四分位..

傷城~ 2022-10-23 09:57 346阅读 0赞

### 数据描述 ###

*   *   *  1. 求众数 pandas中的mode方法 scipy 中的mode方法
         *  2. 四分位计算方式
         *  3. 离散程度度量
         *  4. 标准分数
         *  5. 经验法则(适用于对称分布的数据)¶
         *  6. 切比雪夫不等式(适用于非对称分布)
         *  7. 偏度与峰度
         *   *   *  7.1 偏度
                 *  7.2 峰度

代码都是在Jupyter NOtebook软件运行。

from IPython.core.interactiveshell import InteractiveShell
    InteractiveShell.ast_node_interactivity = "all" # 显示

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]

# 导包
    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    import seaborn as sns
    from sklearn.datasets import load_iris

# 设置seaborn给图的样式
    sns.set(style= "darkgrid")
    
    # 设置字体格式
    plt.rcParams["font.family"] = "SimHei"
    # 控制字符可以正常显示
    plt.rcParams["axes.unicode_minus"] = False
    
    # 忽略警告信息。
    import warnings
    warnings.filterwarnings("ignore")

# 获取鸢尾花数据集
    iris = load_iris()
    print(iris)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]

# 鸢尾花数据对象方法和属性的介绍
    iris.data # 取出鸢尾花数据，只包括特征，不包括:目标值(标签值)
    iris.target # 取出鸢尾花数据标签
    iris.feature_names # 取出鸢尾花数据集特征列的名称
    iris.target_names # 鸢尾花数据集标签值名称

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]

# 将数据集以 dataframe格式进行展示
    # 将数组合并
    data = np.concatenate([iris.data, iris.target.reshape(-1,1)], axis=1)
    data

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]

data = pd.DataFrame(data,columns=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'target'])
    data.head(7)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]

设置好鸢尾花的各列名，对它的数据进行数据描述。

# 频数（多少个）
    frequency = data["target"].value_counts()
    frequency
    
    # 频率（占比）
    percrntage = frequency / len(data)
    percrntage

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]

### 1. 求众数 pandas中的mode方法 scipy 中的mode方法 ###

# 以 sepal_width 计算众数
    data["sepal_width"].mode()
    from scipy import stats
    stats.mode(data["sepal_width"]) # 有多个众数，只显示一个众数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]

# 以 sepal_width 计算中位数
    data["sepal_width"].median()
    
    # 以 sepal_width 计算平均数
    data["sepal_width"].mean()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 8]

### 2. 四分位计算方式 ###

np.quantile(data["sepal_width"], q=[0.25, 0.5, 0.75])

![在这里插入图片描述][2021030815391579.png]

### 3. 离散程度度量 ###

1.  极差
2.  四分位差: 上四分位与下四分位的的差值，不易受极值的影响，差值越小，表示数据越集中，差值越大，表示数据越分散.
3.  方差: 各变量值和平均数的离差平方和，用来衡量数据偏离均值的程度
4.  标准差:方差开跟号
5.  标准分数

# 1.极差：最大值与最小值之差
    np.ptp(data['sepal_length'])
    
    # 3.标准差
    np.std(data['sepal_length'])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 9]

### 4. 标准分数 ###

1.  变量值与其平均数的离差 除以样本标准差后的值称为 标准分数，也叫作z分数；
2.  他给出了一组数据中的各数据中的相对位置；
3.  对一组数据进行标准化处理不会改变原来数据的分布情况；
4.  对数据进行标准化处理后的标准分数，其均值=0，标准差=1；
5.  z分数通常用来观察数据是否存在异常值(离群值)。

# 验证标准化处理不改变数据分布情况
    x = np.concatenate([np.random.randint(200,800,size=1000),
                        np.random.randint(1,200,size=100),
                        np.random.randint(200,800,size=200)])
    plt.hist(x)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 10]

# 将X进行标准化
    x_s = (x-np.mean(x))/np.std(x)
    plt.hist(x_s)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 11]

### 5. 经验法则(适用于对称分布的数据)¶ ###

1.  约有68%的数据在平均数1个标准差的范围之内
2.  约有95%的数据在平均数2个标准差的范围之内
3.  约有99%的数据在平均数3个标准差的范围之内

**注:** \+3倍标准差之外的数据，统计上称离群点Coutlier), 在实际分析中可以选择将这些数据 点删除后再进行数据分析

### 6. 切比雪夫不等式(适用于非对称分布) ###

![在这里插入图片描述][20210308155048541.png]

**由上式可知:**

1.  至少有75%的数据在平均数2个标准差的范围之内
2.  至少有89%的数据在平均数3个标准差的范围之内
3.  至少有94%的数据在平均数4个标准差的范围之内

### 7. 偏度与峰度 ###

##### 7.1 偏度 #####

统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征

1.  如果数据对称分布(例如正态分布)，则偏度为0
2.  如果数据左偏分布，则偏度小于0
3.  如果数据右偏分布，则偏度大于0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 12]

##### 7.2 峰度 #####

描述总体中所有取值分布形态陡缓程度的统计量。可以将峰度理解为数据分布的高矮程度。峰度的比较是相对于标准正态分布的。

1.  标准正态分布，峰度为0
2.  如果峰度大于0，则密度图高于标准正态分布，数据在分布上比标准正态分布密集，方差(标准差)较小
3.  如果峰度小于0，则密度图低于标准正态分布，数据在分布上比标准正态分布分散，方差(标准差)较大

# 进行不同偏度图形绘制
    # 制造左偏分布数据
    t1 = np.random.randint(1, 11, size=100)
    t2 = np.random.randint(11, 21, size=500)
    t3 = np.concatenate([t1, t2])
    left_skew = pd.Series(t3)

# 制造右偏分布数据
    t1 = np.random.randint(1, 11, size=500)
    t2 = np.random.randint(11, 21, size=100)
    t3 = np.concatenate([t1, t2])
    right_skew = pd.Series(t3)

# 模型画图
    sns.kdeplot(left_skew, shade= True, label="左偏" )
    sns.kdeplot(right_skew, shade= True, label="右偏" )
    plt.legend()
    print("--"*15)
    # 计算偏度
    print(left_skew.skew(), right_skew.skew())

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 13]

# 进行不同峰度图形绘制
    # 创建正态分布数据
    standard_normal = pd.Series(np.random.normal(0, 1, size=10000))
    sns.kdeplot(standard_normal, label="标准正态分布")
    sns.kdeplot(data["sepal_width"],label="花萼宽度")
    
    # 计算峰度 .kurt
    print("标准正态分布峰度:",standard_normal.kurt())
    print("花萼宽度峰度:",data["sepal_width"].kurt())

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 14]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]: /images/20221023/c1f9aeab300345fbb70df1583d297aea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]: /images/20221023/f0fb1f49e0264c878521007306f06af9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]: /images/20221023/4438dcba55aa41eab7e17ed41281a494.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]: /images/20221023/bd7567525f994b85bfb17fd2c24db356.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]: /images/20221023/ea79c3983ae141339b7ed90e4d8fd425.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]: /images/20221023/2fb0d4d65d794b2ebe238e4c21515e8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]: /images/20221023/0ce74c3498334db795ad12d4ef9407cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]: /images/20221023/e56103afecf54f7abda1e765a28d6b5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 8]: /images/20221023/219a3f5c55ea4ff1b4977255fdb1a29a.png
[2021030815391579.png]: /images/20221023/6be0276bc5794f1aaf377523acaebdb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 9]: /images/20221023/e7986d7b6d664c8485da50cdf431928b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 10]: /images/20221023/5b296cbc1e6243ae995346d789f37317.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 11]: /images/20221023/f143ef75d2074dfabbc7428d13ab0231.png
[20210308155048541.png]: https://img-blog.csdnimg.cn/20210308155048541.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210308160354273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20210308160142403.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20210308160315172.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ==,size_16,color_FFFFFF,t_70