概率论基础 - 8 - 大数定理

悠悠 2022-09-07 00:08 220阅读 0赞

> 概率论历史上第一个极限定理属于伯努利，后人称之为“大数定律”。概率论中讨论随机变量序列的算术平均值向随机变量各数学期望的算术平均值收敛的定律。

### 依概率收敛 ###

#### 定义 ####

*  设 Y 1 , Y 2 , … , Y n , … Y\_1,Y\_2, \\dots ,Y\_n, \\dots Y1,Y2,…,Yn,… 是一个随机变量序列， a a a是一个常数。
    
    若对于任意正数$\\varepsilon $有 ：
    
    \{%raw%\}

lim ⁡ n → ∞ P \{ ∣ Y n − a ∣ ≤ ε \} = 1 \\lim \_\{n \\rightarrow \\infty\} P\\left\\\{\\left|Y\_\{n\}-a\\right| \\leq \\varepsilon\\right\\\}=1 n→∞limP\{ ∣Yn−a∣≤ε\}=1

\{%endraw%\}

*  则称序列依概率收敛于 a a a，记作：

Y n → P a Y\_\{n\} \\stackrel\{P\}\{\\rightarrow\} a Yn→Pa

#### 含义 ####

*  收敛：表明这是一个随机变量序列，而不是某个随机变量；且序列是无限长，而不是有限长。
 *  依概率：表明序列无穷远处的随机变量 Y ∞ Y\_\{\\infty\} Y∞的分布规律为：绝大部分分布于点  a a a，极少数位于 a a a 之外。且分布于 a a a 之外的事件发生的概率之和为0。

### 大数定理 ###

*  设随机变量 X 1 , X 2 , … , X n , … X\_1,X\_2, \\dots ,X\_n, \\dots X1,X2,…,Xn,… 相互独立，且具有相同的数学期望和方差：

E \[ X k \] = μ , Var ⁡ \[ X k \] = σ 2 \\mathbb\{E\}\\left\[X\_\{k\}\\right\]=\\mu, \\operatorname\{Var\}\\left\[X\_\{k\}\\right\]=\\sigma^\{2\} E\[Xk\]=μ,Var\[Xk\]=σ2

*  则序列 X i X\_i Xi依概率收敛于 μ \\mu μ：

\{%raw%\}  
 lim ⁡ n → ∞ P \{ ∣ 1 n ∑ i = 1 n X i − E ( X i ) ∣ < ε \} = 1 \\lim \_\{n \\rightarrow \\infty\} P\\left\\\{\\left|\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\} X\_\{i\}-E\\left(X\_\{i\}\\right)\\right|<\\varepsilon\\right\\\}=1 n→∞limP\{ ∣∣∣∣∣n1i=1∑nXi−E(Xi)∣∣∣∣∣<ε\}=1  
\{%endraw%\}

*  这里并没有要求随机变量 X 1 , X 2 , … , X n , … X\_1,X\_2, \\dots ,X\_n, \\dots X1,X2,…,Xn,… 同分布。

> 证明见 [切比雪夫不等式][Link 1]

### 辛钦定理 ###

*  设随机变量 X 1 , X 2 , … , X n , … X\_1,X\_2, \\dots ,X\_n, \\dots X1,X2,…,Xn,… 相互独立，服从同一分布，且具有相同的数学期望 μ \\mu μ，则对于任意正数 ε \\varepsilon ε有：

\{%raw%\}  
 lim ⁡ n → ∞ P \{ ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε \} = 1 \\lim \_\{n \\rightarrow \\infty\} P\\left\\\{\\left|\\frac\{1\}\{n\} \\sum\_\{k=1\}^\{n\} X\_\{k\}-\\mu\\right|<\\varepsilon\\right\\\}=1 n→∞limP\{ ∣∣∣∣∣n1k=1∑nXk−μ∣∣∣∣∣<ε\}=1  
\{%endraw%\}

*  注意：这里并没有要求随机变量 X i X\_i Xi的方差存在

#### 证明 ####

*  由于 X i X\_i Xi同分布，他们有相同的分布，也就具有相同的[特征函数][Link 2]：

φ X ( t ) = E \[ e i t X \] \\varphi\_\{X\}(t)=E\\left\[e^\{i t X\}\\right\] φX(t)=E\[eitX\]

*  其中 e i t X e^\{i t X\} eitX为：

e i t X = 1 + i t X 1 − t 2 X 2 2 ! + ⋯ + ( i t ) n X n n ! e^\{i t X\}=1+\\frac\{i t X\}\{1\}-\\frac\{t^\{2\} X^\{2\}\}\{2 !\}+\\cdots+\\frac\{(i t)^\{n\} X^\{n\}\}\{n !\} eitX=1\+1itX−2!t2X2\+⋯\+n!(it)nXn

*  因此 X X X的期望 E ( X ) E(X) E(X)可以用特征函数在 t = 0 t=0 t=0处的一阶导数表示：

\{%raw%\}  
 φ X ′ ( 0 ) = i E ( X ) E ( X ) = φ X ′ ( 0 ) i \\begin\{array\}\{l\} \\varphi\_\{X\}'(0)=iE(X)\\\\ E(X)=\\frac\{\\varphi\_\{X\}'(0)\}\{i\} \\end\{array\} φX′(0)=iE(X)E(X)=iφX′(0)

\{%endraw%\}

*  将特征函数在 t = 0 t=0 t=0处泰勒展开，有：

φ X ( t ) = φ X ( 0 ) + φ X ′ ( 0 ) t + o ( t ) = 1 + i μ t + o ( t ) \\varphi\_\{X\}(t)=\\varphi\_\{X\}(0)+\\varphi\_\{X\}'(0)t+o(t)=1+i\\mu t+o(t) φX(t)=φX(0)\+φX′(0)t\+o(t)=1\+iμt\+o(t)

*  其中 μ \\mu μ= E ( X ) E(X) E(X)
 *  由于 X i X\_i Xi相互独立，变量 1 n ∑ k = 1 n X k \\frac\{1\}\{n\} \\sum\_\{k=1\}^\{n\} X\_\{k\} n1∑k=1nXk的特征函数为：

\{%raw%\}  
 g n ( t ) = E \[ e i t 1 n ∑ k = 1 n X k \] = E \[ e i t n X 1 ⋅ e i t n X 2 ⋅ ⋯ ⋅ e i t n X n \] = \{ E \[ e i t n X \] \} n = \[ φ X ( t n ) \] n = \[ 1 + i μ t n + o ( t ) \] n \\begin\{array\}\{l\} \{g\_n\}(t) &= E\[\{e^\{it\\frac\{1\}\{n\}\\sum\\limits\_\{k = 1\}^n \{ \{X\_k\}\} \}\}\]\\\\ &= E\[\{e^\{i\\frac\{ \{\\rm\{t\}\}\}\{n\}\{X\_1\}\}\} \\cdot \{e^\{i\\frac\{ \{\\rm\{t\}\}\}\{n\}\{X\_2\}\}\} \\cdot \\cdots \\cdot \{e^\{i\\frac\{ \{\\rm\{t\}\}\}\{n\}\{X\_n\}\}\}\]\\\\ &= \{\\\{ E\[\{e^\{i\\frac\{ \{\\rm\{t\}\}\}\{n\}X\}\}\]\\\} ^n\}\\\\ &= \{\[\{\\varphi \_X\}(\\frac\{t\}\{n\})\]^n\}\\\\ &= \{\[1 + i\\mu \\frac\{t\}\{n\} + o(t)\]^n\} \\end\{array\} gn(t)=E\[eitn1k=1∑nXk\]=E\[eintX1⋅eintX2⋅⋯⋅eintXn\]=\{ E\[eintX\]\}n=\[φX(nt)\]n=\[1\+iμnt\+o(t)\]n

\{%endraw%\}

*  根据（可由[洛必达法则][Link 3]推出）：

\{%raw%\}  
 lim ⁡ n → ∞ ( 1 + a n ) n = e a \\mathop \{\\lim \}\\limits\_\{n \\to \\infty \} \{\\rm\{(1 + \}\}\\frac\{ \{\\rm\{a\}\}\}\{n\}\{)^n\} = \{e^a\} n→∞lim(1\+na)n=ea

\{%endraw%\}

*  得：

g n ( t ) = e i μ t = 1 + i t E ( X ) 1 − t 2 E ( X 2 ) 2 ! + ⋯ + ( i t ) n E ( X n ) n ! \{g\_n\}(t)=e^\{i\\mu t\}=1+\\frac\{i t E(X)\}\{1\}-\\frac\{t^\{2\} E(X^\{2\})\}\{2 !\}+\\cdots+\\frac\{(i t)^\{n\} E(X^\{n\})\}\{n !\} gn(t)=eiμt=1\+1itE(X)−2!t2E(X2)\+⋯\+n!(it)nE(Xn)

*  而 e i μ t e^\{i\\mu t\} eiμt为：

e i μ t = 1 + i t μ 1 − t 2 μ 2 2 ! + ⋯ + ( i t ) n μ n n ! e^\{i\\mu t\}=1+\\frac\{i t \\mu\}\{1\}-\\frac\{t^\{2\} \\mu^\{2\}\}\{2 !\}+\\cdots+\\frac\{(i t)^\{n\} \\mu^\{n\}\}\{n !\} eiμt=1\+1itμ−2!t2μ2\+⋯\+n!(it)nμn

*  即 X X X的 n n n阶矩与期望的关系为：

E ( X n ) = μ n E(X^n)=\\mu^n E(Xn)=μn

*  变量 1 n ∑ k = 1 n X k \\frac\{1\}\{n\} \\sum\_\{k=1\}^\{n\} X\_\{k\} n1∑k=1nXk与退化函数：

\{%raw%\}  
KaTeX parse error: Unknown column alignment: \* at position 32: …\{\\begin\{array\}\{\*̲\{20\}\{c\}\} \{\\mu,X…

\{%endraw%\}

*  二者具有相同的特征函数，因此具有相同的分布，有：

\{%endraw%\}

### 伯努利大数定理 ###

*  设 n A n\_A nA为 n n n次独立重复实验中事件 A A A发生的次数，  p p p是事件 A A A在每次试验中发生的概率。则对于任意正数 ε \\varepsilon ε有：

\{%raw%\}  
 lim ⁡ n → ∞ P \{ ∣ n A n − p ∣ < ε \} = 1  or :  lim ⁡ n → ∞ P \{ ∣ n A n − p ∣ ≥ ε \} = 0 \\begin\{aligned\} & \\lim \_\{n \\rightarrow \\infty\} P\\left\\\{\\left|\\frac\{n\_\{A\}\}\{n\}-p\\right|<\\varepsilon\\right\\\}=1 \\\\ \\text \{ or : \} & \\lim \_\{n \\rightarrow \\infty\} P\\left\\\{\\left|\\frac\{n\_\{A\}\}\{n\}-p\\right| \\geq \\varepsilon\\right\\\}=0 \\end\{aligned\}  or : n→∞limP\{ ∣∣∣nnA−p∣∣∣<ε\}=1n→∞limP\{ ∣∣∣nnA−p∣∣∣≥ε\}=0  
\{%endraw%\}

*  当独立重复实验执行非常大的次数时，事件 A A A发生的频率逼近于它的概率
 *  伯努利大数定理是亲钦定理的特殊情况

### 参考资料 ###

*  http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2\_probability.html

[Link 1]: https://www.zywvvd.com/2021/03/30/math/probability/chebyshev-inequality/chebyshev-inequality/
[Link 2]: https://www.zywvvd.com/2021/03/30/math/probability/Characteristic-Function/Characteristic-Function/
[Link 3]: https://www.zywvvd.com/2021/03/30/math/LHolpitals-Rule/LHolpitals-Rule/