概率论基础 - 3 - 方差

╰+哭是因爲堅強的太久メ 2022-09-04 12:46 149阅读 0赞

> 本文介绍方差。

### 方差 ###

#### 定义 ####

> 数学期望(mean)（或[均值][Link 1]，亦简称期望）是试验中每次可能结果的[概率][Link 2]乘以其结果的总和，是最基本的[数学][Link 3]特征之一。它反映随机变量平均取值的大小。 ——百度百科

*  对随机变量 X X X，若 E \[ ( X − E \[ X \] ) 2 \] \\mathbb\{E\}\\left\[(X-\\mathbb\{E\}\[X\])^\{2\}\\right\] E\[(X−E\[X\])2\]存在，则称它为 X X X的方差，记作  V a r \[ X \] Var\[X\] Var\[X\]。
 *   X X X的标准差为方差的开平方： σ = Var ⁡ \[ X \] \\sigma=\\sqrt\{\\operatorname\{Var\}\[X\]\} σ=Var\[X\]
    
     *  方差度量了随机变量 X X X与期望值偏离的程度，衡量了 X X X取值分散程度的一个尺度。
 *  对于一个期望为 μ \\mu μ ， 方差为 σ 2 \\sigma^2 σ2的随机变量 X X X ，随机变量 X ∗ = X − μ σ X^\{\*\}=\\frac\{X-\\mu\}\{\\sigma\} X∗=σX−μ的数学期望为0，方差为1。 称 X ∗ X^\* X∗为 X X X的标准化变量

#### 性质 ####

*  常数的方差恒为 0
 *  对常数 C C C，有：

Var ⁡ \[ C X \] = C 2 Var ⁡ \[ X \] \\operatorname\{Var\}\[C X\]=C^\{2\} \\operatorname\{Var\}\[X\] Var\[CX\]=C2Var\[X\]

*  对两个随机变量 X , Y X,Y X,Y，有：

Var ⁡ \[ X + Y \] = Var ⁡ \[ X \] + Var ⁡ \[ Y \] + 2 E \[ ( X − E \[ X \] ) ( Y − E \[ Y \] ) \] \\operatorname\{Var\}\[X+Y\]=\\operatorname\{Var\}\[X\]+\\operatorname\{Var\}\[Y\]+2 \\mathbb\{E\}\[(X-\\mathbb\{E\}\[X\])(Y-\\mathbb\{E\}\[Y\])\] Var\[X\+Y\]=Var\[X\]\+Var\[Y\]\+2E\[(X−E\[X\])(Y−E\[Y\])\]

*  当 X , Y X,Y X,Y相互独立时，有：

Var ⁡ \[ X + Y \] = Var ⁡ \[ X \] + Var ⁡ \[ Y \] \\operatorname\{Var\}\[X+Y\]=\\operatorname\{Var\}\[X\]+\\operatorname\{Var\}\[Y\] Var\[X\+Y\]=Var\[X\]\+Var\[Y\]

*  可以推广至任意有限多个相互独立的随机变量之和的情况。

#### 样本方差的均值估计 ####

> 假设 X X X为独立同分布的一组随机变量，总体为 M M M，随机抽取 N N N个随机变量构成一个样本，\{% raw %\} E ( X i ) = μ \\mathrm\{E\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}\\right)=\\mu E(Xi)=μ和\{% endraw %\} D ( X i ) = σ 2 \\mathrm\{D\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}\\right)=\\sigma^\{2\} D(Xi)=σ2是总体的均值和方差, 是常数。
> 
>  X ‾ , S 2 \\overline\{\\mathrm\{X\}\}, \\mathrm\{S\}^\{2\} X,S2是样本的均值和方差，由于样本是随机抽取的， X ‾ , S 2 \\overline\{\\mathrm\{X\}\}, \\mathrm\{S\}^\{2\} X,S2也是随机的。
> 
> 实际工作中，总体均数难以得到时，应用样本统计量代替总体参数。
> 
> 我们接下来讨论用样本统计量代替总体样本参数会得到什么样的均值和方差结果。

##### 样本均值 X ‾ \\overline\{\\mathrm\{X\}\} X #####

*  考虑 X ‾ \\overline\{\\mathrm\{X\}\} X的均值：

\{% raw %\}  
 E ( X ‾ ) = E ( 1 n ∑ i = 1 n X i ) = 1 n ∑ i = 1 n E ( X i ) = 1 n × n E ( X i ) = μ \\mathrm\{E\}(\\overline\{\\mathrm\{X\}\})=\\mathrm\{E\}\\left(\\frac\{1\}\{\\mathrm\{n\}\} \\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\} \\mathrm\{X\}\_\{\\mathrm\{i\}\}\\right)=\\frac\{1\}\{\\mathrm\{n\}\} \\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\} \\mathrm\{E\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}\\right)=\\frac\{1\}\{\\mathrm\{n\}\} \\times \\mathrm\{nE\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}\\right)=\\mu E(X)=E(n1i=1∑nXi)=n1i=1∑nE(Xi)=n1×nE(Xi)=μ

\{% endraw %\}

*  考虑 X ‾ \\overline\{\\mathrm\{X\}\} X的方差：

\{% raw %\}  
 D ( X ‾ ) = D ( 1 n ∑ i = 1 n X i ) = 1 n 2 ∑ i = 1 n D ( X i ) = σ 2 n \\mathrm\{D\}(\\overline\{\\mathrm\{X\}\})=\\mathrm\{D\}\\left(\\frac\{1\}\{\\mathrm\{n\}\} \\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\} \\mathrm\{X\}\_\{\\mathrm\{i\}\}\\right)=\\frac\{1\}\{\\mathrm\{n\}^\{2\}\} \\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\} \\mathrm\{D\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}\\right)=\\frac\{\\sigma^\{2\}\}\{\\mathrm\{n\}\} D(X)=D(n1i=1∑nXi)=n21i=1∑nD(Xi)=nσ2

\{% endraw %\}

##### 样本方差 S 2 S^2 S2 #####

*  考虑 S 2 S^2 S2的均值：

\{% raw %\}  
 E ( S 2 ) = E \[ 1 n ∑ i = 1 n ( X i − X ‾ ) 2 \] = 1 n E \[ ∑ i = 1 n ( X i 2 − 2 X i X ‾ + X ‾ 2 ) \] = 1 n E \[ ∑ i = 1 n ( X i 2 ) \] − 1 n E ( 2 X ‾ × n X ‾ − n X ‾ 2 ) = 1 n ∑ i = 1 n E ( X i 2 ) − E ( X ‾ 2 ) \\begin\{array\}\{l\} \\mathrm\{E\}\\left(\\mathrm\{S\}^\{2\}\\right)&=\\mathrm\{E\}\\left\[\\frac\{1\}\{\\mathrm\{n\}\} \\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}-\\overline\{\\mathrm\{X\}\}\\right)^\{2\}\\right\]\\\\ &=\\frac\{1\}\{\\mathrm\{n\}\} \\mathrm\{E\}\\left\[\\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}^\{2\}-2 \\mathrm\{X\}\_\{\\mathrm\{i\}\} \\overline\{\\mathrm\{X\}\}+\\overline\{\\mathrm\{X\}\}^\{2\}\\right)\\right\] \\\\ &=\\frac\{1\}\{\\mathrm\{n\}\} \\mathrm\{E\}\\left\[\\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}^\{2\}\\right)\\right\]-\\frac\{1\}\{\\mathrm\{n\}\} \\mathrm\{E\}\\left(2 \\overline\{\\mathrm\{X\}\} \\times \\mathrm\{n\} \\overline\{\\mathrm\{X\}\}-\\mathrm\{n\} \\overline\{\\mathrm\{X\}\}^\{2\}\\right)\\\\ &=\\frac\{1\}\{\\mathrm\{n\}\} \\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\} \\mathrm\{E\}\\left(\\mathrm\{X\}\_\{i\}^\{2\}\\right)-\\mathrm\{E\}\\left(\\overline\{\\mathrm\{X\}\}^\{2\}\\right) \\\\ \\end\{array\} E(S2)=E\[n1∑i=1n(Xi−X)2\]=n1E\[∑i=1n(Xi2−2XiX\+X2)\]=n1E\[∑i=1n(Xi2)\]−n1E(2X×nX−nX2)=n1∑i=1nE(Xi2)−E(X2)

\{% endraw %\}

*  根据样本方差计算公式：

D ( X i ) = E 2 ( X i ) − E ( X i 2 ) = σ 2 D(\{X\_i\}) = \{E^2\}(\{X\_i\}) - E(X\_i^2) = \{\\sigma ^2\} D(Xi)=E2(Xi)−E(Xi2)=σ2

*  得：

E ( X i 2 ) = E 2 ( X i ) + σ 2 = μ 2 + σ 2 E(X\_i^2) = \{E^2\}(\{X\_i\}) + \{\\sigma ^2\} = \{\\mu ^2\} + \{\\sigma ^2\} E(Xi2)=E2(Xi)\+σ2=μ2\+σ2

*  根据 X ‾ \\overline\{\\mathrm\{X\}\} X的方差推导结果：

\{% raw %\}  
 D ( X ‾ ) = E ( X ‾ 2 ) − E 2 ( X ‾ ) = σ 2 n E ( X ‾ 2 ) = E 2 ( X ‾ ) + σ 2 n = μ 2 + σ 2 n \\begin\{array\}\{l\} \{\\rm\{D\}\}(\\overline \{\\rm\{X\}\} ) = E(\{\\overline \{\\rm\{X\}\} ^2\}) - \{E^2\}(\\overline \{\\rm\{X\}\} ) = \\frac\{ \{ \{\\sigma ^2\}\}\}\{ \{\\rm\{n\}\}\}\\\\ E(\{\\overline \{\\rm\{X\}\} ^2\}) = \{E^2\}(\\overline \{\\rm\{X\}\} ) + \\frac\{ \{ \{\\sigma ^2\}\}\}\{ \{\\rm\{n\}\}\}=\\mu^2+\\frac\{ \{ \{\\sigma^2\}\}\}\{ \{\\rm\{n\}\}\} \\end\{array\} D(X)=E(X2)−E2(X)=nσ2E(X2)=E2(X)\+nσ2=μ2\+nσ2

\{% endraw %\}

*  将上述结果带入 E ( S 2 ) E(S^2) E(S2)计算过程：

\{% raw %\}  
 E ( S 2 ) = 1 n ∑ i = 1 n E ( X i 2 ) − E ( X ‾ 2 ) = 1 n ⋅ n ( μ 2 + σ 2 ) − ( μ 2 + σ 2 n ) = μ 2 + σ 2 − μ 2 − σ 2 n = n − 1 n σ 2 \\begin\{array\}\{l\} \{\\rm\{E\}\}\\left( \{ \{ \{\\rm\{S\}\}^2\}\} \\right) &= \\frac\{1\}\{ \{\\rm\{n\}\}\}\\sum\\limits\_\{ \{\\rm\{i\}\} = 1\}^\{\\rm\{n\}\} \{\\rm\{E\}\} \\left( \{ \{\\rm\{X\}\}\_i^2\} \\right) - \{\\rm\{E\}\}\\left( \{ \{ \{\\overline \{\\rm\{X\}\} \}^2\}\} \\right)\\\\ &= \\frac\{1\}\{n\} \\cdot n(\{\\mu ^2\} + \{\\sigma ^2\}) - (\{\\mu ^2\} + \\frac\{ \{ \{\\sigma ^2\}\}\}\{ \{\\rm\{n\}\}\})\\\\ &= \{\\mu ^2\} + \{\\sigma ^2\} - \{\\mu ^2\} - \\frac\{ \{ \{\\sigma ^2\}\}\}\{ \{\\rm\{n\}\}\}\\\\ &= \\frac\{ \{n - 1\}\}\{n\}\{\\sigma ^2\} \\end\{array\} E(S2)=n1i=1∑nE(Xi2)−E(X2)=n1⋅n(μ2\+σ2)−(μ2\+nσ2)=μ2\+σ2−μ2−nσ2=nn−1σ2

\{% endraw %\}

*  也就是说样本方差的期望并不等于总体样本的方差，这个估计 E ( S 2 ) E(S^2) E(S2)被称为样本方差的有偏估计
 *  如果想求样本方差的无偏估计，需要乘上一个系数：

n n − 1   S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 = σ 2 \\frac\{\\mathrm\{n\}\}\{\\mathrm\{n\}-1\} \\mathrm\{~S\}^\{2\}=\\frac\{1\}\{\\mathrm\{n\}-1\} \\sum\_\{\\mathrm\{i\}=1\}^\{\\mathrm\{n\}\}\\left(\\mathrm\{X\}\_\{\\mathrm\{i\}\}-\\overline\{\\mathrm\{X\}\}\\right)^\{2\}=\\sigma^2 n−1n S2=n−11i=1∑n(Xi−X)2=σ2

*  其中： n − 1 n-1 n−1为自由度，就是说，在一个容量为 n n n的样本里，当确定了 n − 1 n-1 n−1个变量以后，第 n n n个变量就确定了，因为样本均值是无偏的。

### 参考资料 ###

*  http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2\_probability.html
 *  http://blog.sina.com.cn/s/blog\_c96053d60101n24f.html

[Link 1]: https://baike.baidu.com/item/%E5%9D%87%E5%80%BC/5922988
[Link 2]: https://baike.baidu.com/item/%E6%A6%82%E7%8E%87/828845
[Link 3]: https://baike.baidu.com/item/%E6%95%B0%E5%AD%A6/107037