概率论基础知识整理☯ | 随机变量的数字特征

「爱情、让人受尽委屈。」 2022-10-28 14:26 191阅读 0赞

### 目录 ###

*  一、数学期望
 *  二、方差
 *  三、协方差与相关系数
 *  四、矩、协方差矩阵

# 一、数学期望 #

*  离散型随机变量： X X X的分布律为 P \{ X = x i \} = p i , i = 1 , 2 , 3 , … P\\\{X=x\_i\\\}=p\_i,i=1,2,3,\\dots P\{ X=xi\}=pi,i=1,2,3,…若级数 ∑ i = 1 ∞ x i p i \\sum\\limits^\{\\infty\}\_\{i=1\}x\_ip\_i i=1∑∞xipi绝对收敛，则该级数的和称为 X X X的数学期望，记作 E ( X ) = ∑ i = 1 ∞ x i p i . E(X)=\\sum\\limits^\{\\infty\}\_\{i=1\}x\_ip\_i. E(X)=i=1∑∞xipi.
 *  连续型随机变量： X X X的密度函数为 f ( x ) f(x) f(x)，若积分 ∫ − ∞ + ∞ x f ( x ) d x \\int^\{+\\infty\}\_\{-\\infty\}xf(x)dx ∫−∞\+∞xf(x)dx绝对收敛，则积分为 X X X的数学期望，记作 E ( X ) = ∫ − ∞ + ∞ x f ( x ) d x . E(X)=\\int^\{+\\infty\}\_\{-\\infty\}xf(x)dx. E(X)=∫−∞\+∞xf(x)dx.
 *  随机变量函数的数学期望：设 Y Y Y是随机变量 X X X的函数 Y = g ( X ) Y=g(X) Y=g(X)（ g ( x ) g(x) g(x)是连续函数），则

1.   X X X是离散型随机变量：若级数 ∑ i = 1 ∞ g ( x i ) p i \\sum\\limits^\{\\infty\}\_\{i=1\}g(x\_i)p\_i i=1∑∞g(xi)pi绝对收敛，则 E ( Y ) = E \[ g ( X ) \] = ∑ i = 1 ∞ g ( x i ) p i . E(Y)=E\[g(X)\]=\\sum\\limits^\{\\infty\}\_\{i=1\}g(x\_i)p\_i. E(Y)=E\[g(X)\]=i=1∑∞g(xi)pi.
2.   Y Y Y是连续型随机变量：若积分 ∫ − ∞ + ∞ g ( x ) f ( x ) d x \\int^\{+\\infty\}\_\{-\\infty\}g(x)f(x)dx ∫−∞\+∞g(x)f(x)dx绝对收敛，则 E ( Y ) = E \[ g ( X ) \] = ∫ − ∞ + ∞ g ( x ) f ( x ) d x . E(Y)=E\[g(X)\]=\\int^\{+\\infty\}\_\{-\\infty\}g(x)f(x)dx. E(Y)=E\[g(X)\]=∫−∞\+∞g(x)f(x)dx.

*  多个随机变量函数的数学期望：设 Z = g ( X , Y ) Z=g(X,Y) Z=g(X,Y)，则

1.   ( X , Y ) (X,Y) (X,Y)是二维离散型随机变量： E ( Z ) = E \[ g ( X , Y ) \] = ∑ i ∑ j g ( x i , y j ) p i j . E(Z)=E\[g(X,Y)\]=\\sum\\limits\_i\\sum\\limits\_jg(x\_i,y\_j)p\_\{ij\}. E(Z)=E\[g(X,Y)\]=i∑j∑g(xi,yj)pij.
2.   ( X , Y ) (X,Y) (X,Y)是二维连续型随机变量： E ( Z ) = E \[ g ( X , Y ) \] = ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y . E(Z)=E\[g(X,Y)\]=\\int^\{+\\infty\}\_\{-\\infty\}\\int^\{+\\infty\}\_\{-\\infty\}g(x,y)f(x,y)dxdy. E(Z)=E\[g(X,Y)\]=∫−∞\+∞∫−∞\+∞g(x,y)f(x,y)dxdy.特别的，当 Z = g ( X , Y ) = X Z=g(X,Y)=X Z=g(X,Y)=X或 Z = g ( X , Y ) = Y Z=g(X,Y)=Y Z=g(X,Y)=Y时，有 E ( Z ) = E ( X ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ x f ( x , y ) d x d y = ∫ − ∞ + ∞ x f X ( x ) d x E ( Z ) = E ( Y ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ y f ( x , y ) d x d y = ∫ − ∞ + ∞ y f Y ( y ) d y . E(Z)=E(X)=\\int^\{+\\infty\}\_\{-\\infty\}\\int^\{+\\infty\}\_\{-\\infty\}xf(x,y)dxdy=\\int^\{+\\infty\}\_\{-\\infty\}xf\_X(x)dx\\\\ E(Z)=E(Y)=\\int^\{+\\infty\}\_\{-\\infty\}\\int^\{+\\infty\}\_\{-\\infty\}yf(x,y)dxdy=\\int^\{+\\infty\}\_\{-\\infty\}yf\_Y(y)dy. E(Z)=E(X)=∫−∞\+∞∫−∞\+∞xf(x,y)dxdy=∫−∞\+∞xfX(x)dxE(Z)=E(Y)=∫−∞\+∞∫−∞\+∞yf(x,y)dxdy=∫−∞\+∞yfY(y)dy.

*  数学期望的性质： E ( X ) , E ( Y ) E(X),E(Y) E(X),E(Y)分别是随机变量 X , Y X,Y X,Y的数学期望。

1.   E ( c ) = c E(c)=c E(c)=c， c c c是常数。
2.   E ( c X ) = c E ( X ) E(cX)=cE(X) E(cX)=cE(X)， c c c是常数。
3.   E ( X + Y ) = E ( X ) + E ( Y ) . E(X+Y)=E(X)+E(Y). E(X\+Y)=E(X)\+E(Y).（可以推广到 n n n个）
4.  若 X , Y X,Y X,Y相互独立，则 E ( X Y ) = E ( X ) E ( Y ) . E(XY)=E(X)E(Y). E(XY)=E(X)E(Y).（可以推广到 n n n个）

*  常用分布的数学期望：

<table> 
 <thead> 
 <tr> 
 <th align="center">常用分布</th> 
 <th align="center">数学期望 E ( X ) E(X) E(X)</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td align="center"> ( 0 − 1 ) (0-1) (0−1)分布</td> 
 <td align="center"> p p p</td> 
 </tr> 
 <tr> 
 <td align="center">二项分布</td> 
 <td align="center"> n p np np</td> 
 </tr> 
 <tr> 
 <td align="center">泊松分布</td> 
 <td align="center"> λ \lambda λ</td> 
 </tr> 
 <tr> 
 <td align="center">均匀分布</td> 
 <td align="center"> a + b 2 \frac{a+b}{2} 2a+b</td> 
 </tr> 
 <tr> 
 <td align="center">指数分布</td> 
 <td align="center"> 1 λ \frac{1}{\lambda} λ1</td> 
 </tr> 
 <tr> 
 <td align="center">正态分布</td> 
 <td align="center"> μ \mu μ</td> 
 </tr> 
 </tbody> 
</table>

# 二、方差 #

*  方差与标准差：设 X X X是随机变量，若 E \[ X − E ( X ) \] 2 E\[X-E(X)\]^2 E\[X−E(X)\]2存在，则称 E \[ X − E ( X ) \] 2 E\[X-E(X)\]^2 E\[X−E(X)\]2为 X X X的方差，记作 D ( X ) = E \[ X − E ( X ) \] 2 . D(X)=E\[X-E(X)\]^2. D(X)=E\[X−E(X)\]2.称 D ( X ) \\sqrt\{D(X)\} D(X)为 X X X的标准差或均方差，记作 σ ( X ) . \\sigma(X). σ(X).
 *  离散型随机变量： D ( X ) = ∑ i = 0 ∞ \[ x i − E ( X ) \] 2 p i . D(X)=\\sum\\limits^\{\\infty\}\_\{i=0\}\[x\_i-E(X)\]^2p\_i. D(X)=i=0∑∞\[xi−E(X)\]2pi.
 *  连续型随机变量： D ( X ) = ∫ − ∞ + ∞ \[ x − E ( X ) \] 2 f ( x ) d x . D(X)=\\int^\{+\\infty\}\_\{-\\infty\}\[x-E(X)\]^2f(x)dx. D(X)=∫−∞\+∞\[x−E(X)\]2f(x)dx.
 *  方差的计算公式： D ( X ) = E ( X 2 ) − \[ E ( X ) \] 2 . D(X)=E(X^2)-\[E(X)\]^2. D(X)=E(X2)−\[E(X)\]2.
 *  方差的部分性质：设随机变量 X , Y X,Y X,Y的方差 D ( X ) , D ( Y ) D(X),D(Y) D(X),D(Y)存在。

1.   D ( c ) = 0 D(c)=0 D(c)=0， c c c是常数。
2.   D ( c X ) = c 2 D ( X ) D(cX)=c^2D(X) D(cX)=c2D(X)， c c c是常数。
3.   D ( X ± Y ) = D ( X ) + D ( Y ) ± 2 E \[ ( X − E ( X ) ) ( Y − E ( Y ) ) \] . D(X\\pm Y)=D(X)+D(Y)\\pm 2E\[(X-E(X))(Y-E(Y))\]. D(X±Y)=D(X)\+D(Y)±2E\[(X−E(X))(Y−E(Y))\].
4.  若 X , Y X,Y X,Y相互独立，则 D ( X ± Y ) = D ( X ) + D ( Y ) . D(X\\pm Y)=D(X)+D(Y). D(X±Y)=D(X)\+D(Y).

*  常用分布的方差：

<table> 
 <thead> 
 <tr> 
 <th align="center">常用分布</th> 
 <th align="center">方差 D ( X ) D(X) D(X)</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td align="center"> ( 0 − 1 ) (0-1) (0−1)分布</td> 
 <td align="center"> p ( 1 − p ) p(1-p) p(1−p)</td> 
 </tr> 
 <tr> 
 <td align="center">二项分布</td> 
 <td align="center"> n p ( 1 − p ) np(1-p) np(1−p)</td> 
 </tr> 
 <tr> 
 <td align="center">泊松分布</td> 
 <td align="center"> λ \lambda λ</td> 
 </tr> 
 <tr> 
 <td align="center">均匀分布</td> 
 <td align="center"> ( b − a ) 2 12 \frac{(b-a)^2}{12} 12(b−a)2</td> 
 </tr> 
 <tr> 
 <td align="center">指数分布</td> 
 <td align="center"> 1 λ 2 \frac{1}{\lambda^2} λ21</td> 
 </tr> 
 <tr> 
 <td align="center">正态分布</td> 
 <td align="center"> σ 2 \sigma^2 σ2</td> 
 </tr> 
 </tbody> 
</table>

>  *  关于正态分布的重要结论：
> 
> 1.  正态分布随机变量的密度函数中的两个参数 μ , σ \\mu,\\sigma μ,σ分别是随机变量的数学期望和标准差。
> 2.  若 X i ∼ N ( μ i , σ i 2 ) , i = 1 , 2 , 3 , … X\_i\\sim N(\\mu\_i,\\sigma^2\_i),i=1,2,3,\\ldots Xi∼N(μi,σi2),i=1,2,3,…，且它们相互独立，则它们的线性组合 c 1 X 1 + c 2 X 2 + c 3 X 3 + … + c n X n c\_1X\_1+c\_2X\_2+c\_3X\_3+\\ldots +c\_nX\_n c1X1\+c2X2\+c3X3\+…\+cnXn，（ c 1 , c 2 , c 3 , … c n c\_1,c\_2,c\_3,\\ldots c\_n c1,c2,c3,…cn是不全为0的常数）仍然服从正态分布，且有 c 1 X 1 + c 2 X 2 + c 3 X 3 + … + c n X n ∼ N ( ∑ i = 1 n c i μ i , ∑ i = 1 n c i 2 σ i 2 ) . c\_1X\_1+c\_2X\_2+c\_3X\_3+\\ldots +c\_nX\_n\\sim N(\\sum\\limits^n\_\{i=1\}c\_i\\mu\_i,\\sum\\limits^n\_\{i=1\}c\_i^2\\sigma\_i^2). c1X1\+c2X2\+c3X3\+…\+cnXn∼N(i=1∑nciμi,i=1∑nci2σi2).

# 三、协方差与相关系数 #

*  协方差：设 ( X , Y ) (X,Y) (X,Y)是二维随机变量，则 E \{ \[ X − E ( X ) \] \[ Y − E ( Y ) \] \} E\\\{\[X-E(X)\]\[Y-E(Y)\]\\\} E\{ \[X−E(X)\]\[Y−E(Y)\]\}称为 X , Y X,Y X,Y的协方差，记作 c o v ( X , Y ) cov(X,Y) cov(X,Y)，即  c o v ( X , Y ) = E \{ \[ X − E ( X ) \] \[ Y − E ( Y ) \] \} . cov(X,Y)=E\\\{\[X-E(X)\]\[Y-E(Y)\]\\\}. cov(X,Y)=E\{ \[X−E(X)\]\[Y−E(Y)\]\}.

1.  特别地，有 c o v ( X , X ) = E \{ \[ X − E ( X ) \] \[ X − E ( X ) \] \} = D ( X ) c o v ( Y , Y ) = E \{ \[ Y − E ( Y ) \] \[ Y − E ( Y ) \] \} = D ( Y ) . cov(X,X)=E\\\{\[X-E(X)\]\[X-E(X)\]\\\}=D(X)\\\\ cov(Y,Y)=E\\\{\[Y-E(Y)\]\[Y-E(Y)\]\\\}=D(Y). cov(X,X)=E\{ \[X−E(X)\]\[X−E(X)\]\}=D(X)cov(Y,Y)=E\{ \[Y−E(Y)\]\[Y−E(Y)\]\}=D(Y).故方差是协方差的特殊情况。
2.  由协方差和方差的性质可得 D ( X ± Y ) = D ( X ) + D ( Y ) ± 2 c o v ( X , Y ) . D(X\\pm Y)=D(X)+D(Y)\\pm 2cov(X,Y). D(X±Y)=D(X)\+D(Y)±2cov(X,Y).
3.  协方差性质：  
    (1) 若 X , Y X,Y X,Y相互独立，则 c o v ( X , Y ) = 0. cov(X,Y)=0. cov(X,Y)=0.  
    (2)  c o v ( X , Y ) = c o v ( Y , X ) . cov(X,Y)=cov(Y,X). cov(X,Y)=cov(Y,X).  
    (3)  c o v ( a X , b Y ) = a b c o v ( X , Y ) . cov(aX,bY)=abcov(X,Y). cov(aX,bY)=abcov(X,Y).  
    (4)  c o v ( X 1 + X 2 , Y ) = c o v ( X 1 , Y ) + c o v ( X 2 , Y ) . cov(X\_1+X\_2,Y)=cov(X\_1,Y)+cov(X\_2,Y). cov(X1\+X2,Y)=cov(X1,Y)\+cov(X2,Y).

*  协方差计算公式： c o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) . cov(X,Y)=E(XY)-E(X)E(Y). cov(X,Y)=E(XY)−E(X)E(Y).
 *  若 ( X , Y ) (X,Y) (X,Y)是二维离散型随机变量，则 c o v ( X , Y ) = ∑ i ∑ j \[ x i − E ( X ) \] \[ y j − E ( Y ) \] p i j . cov(X,Y)=\\sum\\limits\_\{i\}\\sum\\limits\_\{j\}\[x\_i-E(X)\]\[y\_j-E(Y)\]p\_\{ij\}. cov(X,Y)=i∑j∑\[xi−E(X)\]\[yj−E(Y)\]pij.
 *  若 ( X , Y ) (X,Y) (X,Y)是二维离散型随机变量，则 c o v ( X , Y ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ \[ x − E ( X ) \] \[ y − E ( Y ) \] f ( x , y ) d x d y . cov(X,Y)=\\int^\{+\\infty\}\_\{-\\infty\}\\int^\{+\\infty\}\_\{-\\infty\}\[x-E(X)\]\[y-E(Y)\]f(x,y)dxdy. cov(X,Y)=∫−∞\+∞∫−∞\+∞\[x−E(X)\]\[y−E(Y)\]f(x,y)dxdy.
 *  相关系数（标准协方差）： ρ X Y = c o v ( X , Y ) D ( X ) D ( Y ) . \\rho\_\{XY\}=\\frac\{cov(X,Y)\}\{\\sqrt\{D(X)\}\\sqrt\{D(Y)\}\}. ρXY=D(X)D(Y)cov(X,Y).
 *  关于相关系数的定理：设 D ( X ) > 0 , D ( Y ) > 0 D(X)>0,D(Y)>0 D(X)>0,D(Y)>0， ρ X Y \\rho\_\{XY\} ρXY为 ( X , Y ) (X,Y) (X,Y)的相关系数。

1.  若 X , Y X,Y X,Y相互独立，则 ρ X Y = 0. \\rho\_\{XY\}=0. ρXY=0.
2.   ∣ ρ X Y ∣ ≤ 1. |\\rho\_\{XY\}|\\le 1. ∣ρXY∣≤1.
3.   ∣ ρ X Y ∣ = 1. |\\rho\_\{XY\}|=1. ∣ρXY∣=1.的充分必要条件为存在常数 a , b a,b a,b使（ X , Y X,Y X,Y线性相关） P \{ X = a Y + b \} = 1 , a ≠ 0. P\\\{X=aY+b\\\}=1,a\\neq 0. P\{ X=aY\+b\}=1,a=0.

>  *  当 ρ X Y = 0 \\rho\_\{XY\}=0 ρXY=0时，称 X , Y X,Y X,Y不相关。由定理1可知 X , Y X,Y X,Y相互独立时， ρ X Y = 0 \\rho\_\{XY\}=0 ρXY=0，即 X , Y X,Y X,Y不相关，但反之不一定成立，即 X , Y X,Y X,Y不相关， X , Y X,Y X,Y不一定相互独立。
>  *  当 ( X , Y ) (X,Y) (X,Y)是二维正态分布随机变量时， X , Y X,Y X,Y不相关与 X , Y X,Y X,Y相互独立是等价的。

# 四、矩、协方差矩阵 #

*  矩：

1.   k k k阶原点矩： E ( X k ) , k = 1 , 2 , … E(X^k),k=1,2,\\ldots E(Xk),k=1,2,… X X X的一阶原点矩为 X X X的数学期望。
2.   k k k阶中心矩： E \[ X − E ( X ) \] k , k = 1 , 2 , … E\[X-E(X)\]^k,k=1,2,\\ldots E\[X−E(X)\]k,k=1,2,… X X X的二阶中心矩为 X X X的方差。
3.   k + l k+l k\+l阶混合矩： E ( X k Y l ) , k , l = 1 , 2 , … E(X^kY^l),k,l=1,2,\\ldots E(XkYl),k,l=1,2,…
4.   k + l k+l k\+l阶混合中心矩： E \{ \[ X − E ( X ) \] k \[ Y − E ( Y ) \] l \} , k , l = 1 , 2 , … E\\\{\[X-E(X)\]^k\[Y-E(Y)\]^l\\\},k,l=1,2,\\ldots E\{ \[X−E(X)\]k\[Y−E(Y)\]l\},k,l=1,2,… X X X的1+1阶中心矩为 X X X的协方差。

*   n n n维随机变量的协方差矩阵：设 n n n维随机变量 ( X 1 , X 2 , … X n ) (X\_1,X\_2,\\ldots X\_n) (X1,X2,…Xn)的1+1阶混合中心矩 σ i j = c o v ( X i , Y j ) = E \{ \[ X i − E ( X i ) \] \[ Y j − E ( Y j ) \] \} , i , j = 1 , 2 , 3 , … \\sigma\_\{ij\}=cov(X\_i,Y\_j)=E\\\{\[X\_i-E(X\_i)\]\[Y\_j-E(Y\_j)\]\\\},i,j=1,2,3,\\ldots σij=cov(Xi,Yj)=E\{ \[Xi−E(Xi)\]\[Yj−E(Yj)\]\},i,j=1,2,3,…都存在，则称矩阵  Σ = ( σ 11 σ 12 … σ 1 n σ 21 σ 22 … σ 2 n ⋮ ⋮ ⋮ σ n 1 σ n 2 … σ n n ) \\Sigma=\\left(\\begin\{array\}\{cccc\} \\sigma\_\{11\} & \\sigma\_\{12\} & \\ldots & \\sigma\_\{1n\} \\\\ \\sigma\_\{21\} & \\sigma\_\{22\} & \\ldots & \\sigma\_\{2n\} \\\\ \\vdots & \\vdots & & \\vdots \\\\ \\sigma\_\{n1\} & \\sigma\_\{n2\} & \\ldots & \\sigma\_\{nn\} \\end\{array\}\\right) Σ=⎝⎜⎜⎜⎛σ11σ21⋮σn1σ12σ22⋮σn2………σ1nσ2n⋮σnn⎠⎟⎟⎟⎞为 n n n维随机变量 ( X 1 , X 2 , … X n ) (X\_1,X\_2,\\ldots X\_n) (X1,X2,…Xn)的协方差矩阵。由 σ i j = σ j i \\sigma\_\{ij\}=\\sigma\_\{ji\} σij=σji可知 Σ \\Sigma Σ是一个对称矩阵。