p分位数的原理及计算

我不是女神ヾ 2022-05-18 22:26 1536阅读 0赞

**目录**

1.统计上的分位数概念

2.分位数的计算方法及举例

2.1确定p分位数的位置

2.2 确定的p分位数位置处的具体值

2.3 举例分析

3.python、R、excel中分位数的计算及结果

3.1 python

3.2 R

3.3 excel

4.p分位数在python中的应用——等频分箱

--------------------

## 1.统计上的分位数概念 ##

>         统计上，**分位数**亦称分位点，是指将一个随机变量的[概率分布][Link 1]范围分为几个等份的数值点，常用的有[中位数][Link 2]（即二分位数）、[四分位数][Link 3]、[百分位数][Link 4]等。**分位数**指的就是连续分布函数中的一个点，这个点对应概率p。若[概率][Link 5]0<p<1，[随机变量][Link 6]X或它的[概率分布][Link 1]的分位数Za，是指满足条件p(X≤Za)=α的实数。
> 
> 四分位数（Quartile）是[统计学][Link 7]中**分位数**的一种，即把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数。
> 
> 1）**第一四分位数**(Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字；
> 
> 2）**第二四分位数**(Q2)，又称“[中位数][Link 2]”，等于该样本中所有数值由小到大排列后第50%的数字；
> 
> 3）**第三四分位数**(Q3)，又称“较大四分位数”，等于该样本中所有数值由小到大排列后第75%的数字。
> 
> 第三四分位数与第一四分位数的差距又称[四分位距][Link 8]。

![2019052511193435.png][]

## 2.分位数的计算方法及举例 ##

为了更一般化，这里考虑四分位。即当p=0.25 0.5 0.75 时，所求得的分位数值。过程分为三步：

1.  将数据从小到大排列
2.  确定p分位数的位置
3.  确定p分位数具体的数值

为了更好得说明，这里我们设n表示数据的长度，Q1、Q2、Q3分别表示所求的第1分位数、第2分位数、第3分位数。*position（）*表示分位数的位置，*figure（）*表示分位数处的值。将n个数据从小到大排列，记排序前的数据为*before\_data*；排序后的数据为*data*，简记为a\[1\]~a\[n\]

### 2.1确定p分位数的位置 ###

p分位数的位置公式如下：

position = 1+（n-1）*p

由公式，第1分位数、第2分位数、第3分位数的位置分别为：

![\\\\\{\\color\{Red\} position(Q1)\} = 1 +(n-1)\* 0.25\\\\ \{\\color\{Red\} position(Q2)\} =1 +(n-1)\* 0.5\\\\ \{\\color\{Red\} position(Q3)\} =1 +(n-1)\* 0.75][color_Red_ position_Q1_ _ 1 _n-1_ 0.25_ _color_Red_ position_Q2_ _1 _n-1_ 0.5_ _color_Red_ position_Q3_ _1 _n-1_ 0.75]

### 2.2 确定的p分位数位置处的具体值 ###

**p分位数的值的计算公式如下：**

***figure(Q1) ***= *data*\[ ⌊*position(Q1)*⌋ \] +（*data*\[ ⌊*position(Q1)*⌋+1\] - *data*\[ ⌊*position(Q1)*⌋\]）\*（*position(Q1)*\-⌊*position(Q1)*⌋）

= a\[ ⌊1 +（n-1）\* 0.25⌋ \] +( a\[ ⌊1 +（n-1）\* 0.25⌋+1 \]-a\[ ⌊1 +（n-1）\* 0.25⌋ \])\*(1 +（n-1）\* 0.25 - ⌊1 +（n-1）\* 0.25⌋)

***figure(Q2) ***= *data*\[ ⌊*position(Q2)*⌋ \] +（*data*\[ ⌊*position(Q2)*⌋+1\] - *data* \[ ⌊*position(Q2)*⌋\]）\*（*position(Q2)*\-⌊*position(Q2)*⌋）

= a\[ ⌊1 +（n-1）\* 0.5⌋ \] +( a\[ ⌊1 +（n-1）\* 0.5⌋+1 \]-a\[ ⌊1 +（n-1）\* 0.5⌋ \]) \* (1 +（n-1）\* 0.5 - ⌊1 +（n-1）\* 0.5 ⌋)

***figure(Q3) ***= *data*\[ ⌊*position(Q3)*⌋ \]+（*data*\[ ⌊*position(Q3)*⌋+1\] - *data*\[ ⌊*position(Q3)*⌋\]）\*（*position(Q3)*\-⌊*position(Q3)*⌋）

= a\[ ⌊1 +（n-1）\* 0.75⌋ \] +( a\[ ⌊ 1 +（n-1）\* 0.75⌋+1 \]-a\[ ⌊1 +（n-1）\* 0.75⌋ \])\*(1 +（n-1）\* 0.75 - ⌊1 +（n-1）\* 0.75⌋)

也就是说，将数据从小到大排列，**p分位数位置的值** **= 位于p分位数取整后位置的值 \+ （位于p分位数取整下一位位置的值** **-** **位于p分位数取整后位置的值）\*（p分位数位置 - p分位数位置取整）**

**注：其中** ⌊**Q**⌋ **表示对 Q 值向下取整**

### 2.3 举例分析 ###

**实例1：**

给出一组数据*before\_data*：6, 47, 49, 15, 42, 41, 7, 39, 43, 40, 36，一共11项

从小到大排序后结果*data*：6, 7, 15, 36, 39, 40, 41, 42, 43, 47, 49

![\\\\\{\\color\{Red\} position(Q1)\} = 1+(11-1)\*0.25 = 3.5\\\\ \{\\color\{Red\} position(Q2)\} = 1+(11-1)\*0.5 = 6\\\\ \{\\color\{Red\} position(Q3)\} = 1+(11-1)\*0.75 = 8.5][color_Red_ position_Q1_ _ 1_11-1_0.25 _ 3.5_ _color_Red_ position_Q2_ _ 1_11-1_0.5 _ 6_ _color_Red_ position_Q3_ _ 1_11-1_0.75 _ 8.5]

***figure(Q1) ***= *data*\[ ⌊*position(Q1)*⌋ \] +（*data*\[ ⌊*position(Q1)*⌋+1\] -*data*\[ ⌊*position(Q1)*⌋\]）\*（*position(Q1) *\- ⌊*position(Q1)*⌋）

= a\[ ⌊ 3.5⌋ \] +( a\[ ⌊ 3.5⌋+1 \]-a\[ ⌊ 3.5⌋ \])\*(3.5 - ⌊ 3.5 ⌋)

= a\[3\] + (a\[4\] - a\[3\]) \* (3.5-3)

= 15+（36-15）\*（3.5-3）

= 25.5

***figure(Q2) ***= *data*\[6\] = 40

***figure(Q3) ***= *data*\[ ⌊*position(Q3)*⌋ \]+（*data*\[ ⌊*position(Q3)*⌋+1\] - *data*\[ ⌊*position(Q3)*⌋\]）\*（*position(Q3) *\- ⌊*position(Q3)*⌋）

= a\[ ⌊8.5⌋ \] +( a\[ ⌊ 8.5⌋+1 \]-a\[ ⌊ 8.5⌋ \])\*(8.5 - ⌊8.5⌋)

= a\[8\] + (a\[9\] - a\[8\]) \* (8.5-8)

= 42+（43-42）\*（8.5-8）

= 42.5

**实例2：**

给出一组数据*before\_data*：7, 15, 36, 39, 40, 41,20,18，一共8项

从小到大排序后结果*data*：7,15,18,20,36,39,40,41

![\\\\\{\\color\{Red\} position(Q1)\}=1+(8-1)\* 0.25=2.75\\\\ \{\\color\{Red\} position(Q2)\}=1+(8-1)\* 0.5=4.5\\\\ \{\\color\{Red\} position(Q3)\}=1+(8-1)\* 0.75=6.25][color_Red_ position_Q1_1_8-1_ 0.25_2.75_ _color_Red_ position_Q2_1_8-1_ 0.5_4.5_ _color_Red_ position_Q3_1_8-1_ 0.75_6.25]

***figure(Q1) ***= *data*\[ ⌊*position(Q1)*⌋\] + (*data*\[ ⌊*position(Q1)*⌋+1\] - *data*\[ ⌊*position(Q1)*⌋\]) \* (*position(Q1) *\- ⌊*position(Q1)*⌋)

= a\[2\] + (a\[3\] - a\[2\] ) \* (2.75-2)

= 15 + (18-15)\*(2.75-2)

= 17.25

***figure(Q2) ***= *data*\[ ⌊*position(Q2)*⌋\] + (*data*\[ ⌊*position(Q2)*⌋+1\] - *data*\[⌊*position(Q2)*⌋\]) \* (*position(Q2) *\- ⌊*position(Q2)*⌋)

= 20 + (36-20)\*(4.5-4)

= 28

***figure(Q3) ***= *data*\[ ⌊*position(Q3)*⌋\] + (*data*\[ ⌊*position(Q3)*⌋+1\] - *data*\[ ⌊*position(Q3)*⌋\]) \* (*position(Q3) *\- ⌊*position(Q3)*⌋)

= 39 + (40-39)\*(6.25-6)

= 39.25

**备注**：p分位数位置的计算还有很多形式，因为我并没有遇到，所以这里不多做介绍。感兴趣的可参阅

*  [https://en.wikipedia.org/wiki/Quantile][https_en.wikipedia.org_wiki_Quantile]  或 [https://en.wanweibaike.com/wiki-quantile][https_en.wanweibaike.com_wiki-quantile]
 *  [https://www-users.york.ac.uk/~mb55/intro/quantile.htm][https_www-users.york.ac.uk_mb55_intro_quantile.htm]
 *  [分位数][Link 9]
 *  [Excel四分位数函数：QUARTILE.EXC与QUARTILE.INC的区别][Excel_QUARTILE.EXC_QUARTILE.INC]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70][] p分位数的估算类型——截取自 [上面链接][Link 10]

## 3.python、R、excel中分位数的计算及结果 ##

### 3.1 python ###

numpy和pandas中都有计算p分位数的方法，numpy中用 percentile，pandas中用 quantile，两种方法计算结算结果一样。

import numpy as np
    import pandas as pd
    
    # array数据处理
    test1 = np.array([6, 47, 49, 15, 42, 41, 7, 39, 43, 40, 36])
    test2 = np.array([7, 15, 36, 39, 40, 41, 20, 18])  # 不需要从小到大排序
    
    # 法一：用numpy中的percentile
    print("实例1,numpy中第一分位数为：",np.percentile(test1, 25))
    print("实例1,numpy中第二分位数为：",np.median(test1))
    print("实例1,numpy中第三分位数为：",np.percentile(test1, 75))
    # 法二：用pandas中的quantile
    b1 = pd.DataFrame(test1)  # 数据转化
    print("实例1,pandas中第一分位数为：",b1.quantile(0.25))
    print("实例1,pandas中第二分位数为：",b1.median())
    print("实例1,pandas中第三分位数为：",b1.quantile(0.75))
    
    
    # 法一：用numpy中的percentile
    print("实例2,numpy中第一分位数为：",np.percentile(test2, 25))
    print("实例2,numpy中第二分位数为：",np.median(test2))
    print("实例2,numpy中第三分位数为：",np.percentile(test2, 75))  
    # 法二：用pandas中的quantile
    b2 = pd.DataFrame(test2)  # 数据转化
    print("实例2,pandas中第一分位数为：",b2.quantile(0.25))
    print("实例2,pandas中第二分位数为：",b2.median())
    print("实例2,pandas中第三分位数为：",b2.quantile(0.75))

python运行结果如下：

![20200730090242431.PNG][]

### 3.2 R ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70 1][]

### 3.3 excel ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70 2][]

可见，在python、R、excel下计算结果与2中计算结果相同。

## 4.p分位数在python中的应用——等频分箱 ##

import numpy as np
    import pandas as pd
    
    #百分位数实现数据分箱
    data = pd.DataFrame(columns=['l','s'])
    data['l'] = np.random.randint(0,999,size = 1000)  #生成给定上下限范围的随机数
    data['s'] = 1  #便于下一步的统计总数
    #print(data)
    
    #通过np.percentile找到分位点
    l_bin=[]
    for i in range(0,101,10):
        l_bin.append(np.percentile(data['l'],i))
    
    #对随机数进行切分，right=False时左闭右开
    data['box']=pd.cut(data['l'],l_bin,right=False)
    tj=data.groupby('box')['s'].agg('sum')
    print('分箱统计')
    print(tj)

结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70 3][]

可见在每个分箱内，其总数值在100左右。说明实现了等频分箱，且可知分箱的上下限。进而可以实现自定义标签的应用。

参考链接：

[https://www.cnblogs.com/gispathfinder/p/5770091.html][Link 9]

[https://blog.csdn.net/u011327333/article/details/71263081?locationNum=14&fps=1][https_blog.csdn.net_u011327333_article_details_71263081_locationNum_14_fps_1]

[利用python 计算百分位数实现数据分箱][python]

[数理统计][Link 11]

[茆诗松《概率论与数理统计》][Link 12]

[Link 1]: https://baike.baidu.com/item/%E6%A6%82%E7%8E%87%E5%88%86%E5%B8%83
[Link 2]: https://baike.baidu.com/item/%E4%B8%AD%E4%BD%8D%E6%95%B0
[Link 3]: https://baike.baidu.com/item/%E5%9B%9B%E5%88%86%E4%BD%8D%E6%95%B0
[Link 4]: https://baike.baidu.com/item/%E7%99%BE%E5%88%86%E4%BD%8D%E6%95%B0
[Link 5]: https://baike.baidu.com/item/%E6%A6%82%E7%8E%87
[Link 6]: https://baike.baidu.com/item/%E9%9A%8F%E6%9C%BA%E5%8F%98%E9%87%8F
[Link 7]: https://baike.baidu.com/item/%E7%BB%9F%E8%AE%A1%E5%AD%A6/1175
[Link 8]: https://baike.baidu.com/item/%E5%9B%9B%E5%88%86%E4%BD%8D%E8%B7%9D
[2019052511193435.png]: /images/20220519/93a25dadc3784289a13f5747aea7e571.png
[color_Red_ position_Q1_ _ 1 _n-1_ 0.25_ _color_Red_ position_Q2_ _1 _n-1_ 0.5_ _color_Red_ position_Q3_ _1 _n-1_ 0.75]: https://private.codecogs.com/gif.latex?%5C%5C%7B%5Ccolor%7BRed%7D%20position%28Q1%29%7D%20%3D%201%20&plus;%28n-1%29*%200.25%5C%5C%20%7B%5Ccolor%7BRed%7D%20position%28Q2%29%7D%20%3D1%20&plus;%28n-1%29*%200.5%5C%5C%20%7B%5Ccolor%7BRed%7D%20position%28Q3%29%7D%20%3D1%20&plus;%28n-1%29*%200.75
[color_Red_ position_Q1_ _ 1_11-1_0.25 _ 3.5_ _color_Red_ position_Q2_ _ 1_11-1_0.5 _ 6_ _color_Red_ position_Q3_ _ 1_11-1_0.75 _ 8.5]: https://private.codecogs.com/gif.latex?%5C%5C%7B%5Ccolor%7BRed%7D%20position%28Q1%29%7D%20%3D%201&plus;%2811-1%29*0.25%20%3D%203.5%5C%5C%20%7B%5Ccolor%7BRed%7D%20position%28Q2%29%7D%20%3D%201&plus;%2811-1%29*0.5%20%3D%206%5C%5C%20%7B%5Ccolor%7BRed%7D%20position%28Q3%29%7D%20%3D%201&plus;%2811-1%29*0.75%20%3D%208.5
[color_Red_ position_Q1_1_8-1_ 0.25_2.75_ _color_Red_ position_Q2_1_8-1_ 0.5_4.5_ _color_Red_ position_Q3_1_8-1_ 0.75_6.25]: https://private.codecogs.com/gif.latex?%5C%5C%7B%5Ccolor%7BRed%7D%20position%28Q1%29%7D%3D1&plus;%288-1%29*%200.25%3D2.75%5C%5C%20%7B%5Ccolor%7BRed%7D%20position%28Q2%29%7D%3D1&plus;%288-1%29*%200.5%3D4.5%5C%5C%20%7B%5Ccolor%7BRed%7D%20position%28Q3%29%7D%3D1&plus;%288-1%29*%200.75%3D6.25
[https_en.wikipedia.org_wiki_Quantile]: https://en.wikipedia.org/wiki/Quantile
[https_en.wanweibaike.com_wiki-quantile]: https://en.wanweibaike.com/wiki-quantile
[https_www-users.york.ac.uk_mb55_intro_quantile.htm]: https://www-users.york.ac.uk/~mb55/intro/quantile.htm
[Link 9]: https://www.cnblogs.com/gispathfinder/p/5770091.html
[Excel_QUARTILE.EXC_QUARTILE.INC]: https://zhuanlan.zhihu.com/p/79461597
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70]: /images/20220519/c8b46756116645f8ad2bf7bb5f9785e4.png
[Link 10]: http://xn--https-rfa//en.wanweibaike.com/wiki-quantile
[20200730090242431.PNG]: /images/20220519/863754f1a7be414b8c0a0ab6a6a03cfb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70 1]: /images/20220519/d504ee66e0e34466b5ae08d8c59a2ab4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70 2]: /images/20220519/bb85e8450838460db0636809c4d90378.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1bGlhcmp1bGlhcg_size_16_color_FFFFFF_t_70 3]: /images/20220519/4763c8f417c64e96866817777961d1c5.png
[https_blog.csdn.net_u011327333_article_details_71263081_locationNum_14_fps_1]: https://blog.csdn.net/u011327333/article/details/71263081?locationNum=14&fps=1
[python]: https://blog.csdn.net/u012735708/article/details/85984996?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v25-19-85984996.nonecase&utm_term=python%20%E5%88%86%E4%BD%8D%E6%95%B0%E8%AE%A1%E7%AE%97
[Link 11]: https://max.book118.com/html/2018/1004/6211021131001221.shtm
[Link 12]: https://max.book118.com/html/2018/0905/7156061162001145.shtm