假设检验 | 非参数假设检验 —— KS检验

男娘i 2023-07-13 13:44 196阅读 0赞

## **目录** ##

1.概述

2.优缺点

3.KS检验过程

4.python程序

--------------------

## 1.概述 ##

> KS(Kolmogorov-Smirnow)是一种非参数的统计检验方法，***是针对连续分布的检验***。这种检测常被用来应用于比较***单样本***是否符合某个已知分布(将样本数据的累计频数分布与特定理论分布相比较，如果两者间差距较小，则推断该样本取自某特定分布簇)，***双样本***的KS检测比较两个数据集的累积分布（连续分布）的相似性。

## 2.优缺点 ##

> ***【优点】***
> 
> ①KS检验与卡方检验相比(都采用实际频数与理论频数之差进行检验)，不需要将数据分组，可直接对原始数据的n个观测值进行检验，故KS检验对数据的利用更加完整，一般来说比卡方检验更有效，适用范围广
> 
> ②KS检验具有稳健性(不依赖均值的位置)
> 
> ③对数据量纲不敏感
> 
> ***【缺点】***
> 
> ①在明确待检验样本的可能分布时，检验性能不如对应的分布检验

## 3.KS检验过程 ##

> ***【定义】***：检验统计量为![20200312152943673.png][]，其中F\_\{n\}(x)为观察序列值，F(x)为理论序列值或另一观察序列值
> 
> ***【过程】***：
> 
> ①提出假设H0：F\_\{n\}(x) = F(x)
> 
> ②计算样本累计频率与理论分布累计概率的绝对差，令最大的绝对差为D\_\{n\}；D\_\{n\}=max\{\[F\_\{n\}(x) - F(x)\]\}
> 
> ③用样本容量n和显著性水平a查出临界值D\_\{na\}
> 
> ④如果***D\_\{n\} < D\_\{na\}***，则认为原假设成立
> 
> ⑤若pvalue < α 则拒绝原假设；若***pvalue ≥ α***则不拒绝原假设

### 4.python程序 ###

from scipy.stats import kstest
    from scipy.stats import ks_2samp
    import numpy as np
    import matplotlib.pyplot as plt
    from collections import Counter
    import pandas as pd
    
    
    tmp = np.random.randint(-5, 5, 10)
    ks_control = np.random.randint(1, 5, 10)
    ks_treatment = [1, 1, 3, 2, 2, 4, 2, 5, 2, 3]
    
    # # =======================================α=0.05
    # # 单样本ks检验
    # print(kstest(tmp, "norm"))
    # print(kstest(ks_treatment, "norm", N=10))
    #
    # # 双样本ks检验
    # print(ks_2samp(ks_control, ks_treatment))
    
    # =======================================result
    # H0:两个分布式相同的
    # KstestResult(statistic=0.3413447460685429, pvalue=0.152621157201553)
    # pvalue > 0.05 :不拒绝原假设
    # KstestResult(statistic=0.541344746068543, pvalue=0.0028511439063989563)
    # pvalue < 0.05 : 拒绝原假设
    # Ks_2sampResult(statistic=0.4, pvalue=0.3128526760169558)
    # pvalue > 0.05 : 不拒绝原假设
    
    # =======================================绘制频率累积折线图
    def plotKS_curve(ks_control, ks_treatment):
        plt.rcParams['font.sans-serif'] = ['SimHei']
    
        plt.figure()
        d1 = list(pd.value_counts(ks_control).sort_index())
        d2 = list(pd.value_counts(ks_treatment).sort_index())
    
        y1 = []
        y2 = []
        for i in range(5):
            y1.append(sum(d1[:i+1])/sum(d1))
            y2.append(sum(d2[:i+1])/sum(d2))
    
        plt.plot(np.arange(1, 6), y1, color="r", label="ks_control", marker="^")
        plt.plot(np.arange(1, 6), y2, color="b", label="ks_treatment", marker="*")
    
        # 给绘图添加数字
        for i in range(5):
            plt.text(i+1.2, y1[i], s=str(y1[i]), ha='center', va='center')
            plt.text(i+1.2, y2[i], s=str(y2[i]), ha='center', va='center')
    
        plt.xlabel("用户评分值")
        plt.ylabel("频率")
        plt.legend()
        plt.show()
    
    
    if "__main__" == __name__:
        plotKS_curve(ks_control, ks_treatment)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FkbWluX21heGlu_size_16_color_FFFFFF_t_70][]

[20200312152943673.png]: /images/20230529/0a2575c68d1f4e67a551904dbb06aea6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FkbWluX21heGlu_size_16_color_FFFFFF_t_70]: /images/20230529/9f1816faab6d4df29596ce5db9aa6e4d.png