【数理统计】学习笔记03：参数的点估计（矩估计和极大似然估计）

阳光穿透心脏的1/2处 2023-10-09 14:54 48阅读 0赞

[前文回顾：统计量的分布、正态总体的抽样分布定理][Link 1]

#### 文章目录 ####

*  一、基本概念
 *  二、矩估计
 *   *  2.1 矩估计的定义和求法
     *  2.2 做题技巧
     *  2.3 几个问题
 *  三、极大似然估计
 *   *  3.1 离散型随机变量极大似然估计量的求法
     *  3.2 连续型随机变量极大似然估计量的求法
     *  3.3 极大似然估计求法的一般步骤
     *  3.4 例题

## 一、基本概念 ##

*  **参数：** 反应总体  X X X 某方面特征的量。
    
     *  例如：均值、方差、合格率、中位数等。
 *  **参数估计：** 总体  X X X 分布函数  F ( x , θ ) F(x, \\theta) F(x,θ) 形式已知，估计未知参数  θ \\theta θ。
    
     *  **非参数估计：** 总体  X X X 分布未知，对总体分布形态等的推断。
 *  **参数估计的形式：** 点估计和区间估计。
    
     *  例如：天气预报  
        明天最高温度： 20 ° → 20 \\degree\\quad\\rightarrow\\quad 20°→ 点估计  
        明天最高温度： 19 ° ∼ 21 ° → 19\\degree \\sim 21\\degree\\quad\\rightarrow\\quad 19°∼21°→ 区间估计
 *  **点估计的定义：**  
    设总体  X X X 的分布函数  F ( x , θ ) F(x, \\theta) F(x,θ) 形式已知，含有未知参数  θ \\theta θ；  
    抽取简单随机样本  X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn， ( x 1 , ⋯   , x n ) (x\_1, \\cdots, x\_n) (x1,⋯,xn)为一组样本观察值；  
    构造合适的统计量  g ( X 1 , ⋯   , X n ) g(X\_1, \\cdots, X\_n) g(X1,⋯,Xn) 作为  θ \\theta θ 的估计量，记为  θ ^ = g ( X 1 , X 2 , ⋯   , X n ) \\hat \\theta = g(X\_1, X\_2, \\cdots, X\_n) θ^=g(X1,X2,⋯,Xn)， θ ^ = g ( x 1 , x 2 , ⋯   , x n ) \\hat \\theta = g(x\_1, x\_2, \\cdots, x\_n) θ^=g(x1,x2,⋯,xn) 是  θ \\theta θ 的估计值。
    
     *  **例如：** 总体  X ∼ N ( μ , σ 2 ) X\\sim N(\\mu, \\sigma^2) X∼N(μ,σ2)，要估计期望  μ \\mu μ： ( X 1 , ⋯   , X n ) (X\_1, \\cdots, X\_n) (X1,⋯,Xn)， ( x 1 , ⋯   , x n ) (x\_1, \\cdots, x\_n) (x1,⋯,xn)  
        构造合适的统计量： X ˉ n = 1 n ∑ i = 1 n X i \\bar\{X\}\_n=\\frac 1n\\sum^n\_\{i=1\}X\_i Xˉn=n1∑i=1nXi 由大树定律： X ˉ n ⟶ P μ \\bar X\_n\\overset\{P\}\{\\longrightarrow\}\\mu Xˉn⟶Pμ  
        称样本均数  X ˉ n \\bar X\_n Xˉn 是  μ \\mu μ 的估计量，记为： μ ^ = X ˉ n \\hat\\mu=\\bar X\_n μ^=Xˉn。 μ ^ = x ˉ n \\hat\\mu=\\bar x\_n μ^=xˉn 为  μ \\mu μ 的估计值。
 *  **点估计的一般方法：** 矩法、极大似然法。

## 二、矩估计 ##

### 2.1 矩估计的定义和求法 ###

总体  X X X 的分布函数  F ( x , θ ) F(x, \\theta) F(x,θ)，含有  t t t 个未知参数  θ = ( θ 1 , θ 2 , ⋯   , θ t ) \\theta=(\\theta\_1, \\theta\_2, \\cdots, \\theta\_t) θ=(θ1,θ2,⋯,θt)， ( X 1 , X 2 , ⋯   , X n ) (X\_1, X\_2, \\cdots, X\_n) (X1,X2,⋯,Xn) 是样本，构造前  t t t 阶样本矩，求出前  t t t 阶总体矩  E X k EX^k EXk:  
 A k = 1 n ∑ i = 1 n X i k , \{ E X k = ∑ i = 1 + ∞ x i k p i , k = 1 , 2 , ⋯   , t E X k = ∫ − ∞ + ∞ x k f ( x ) d x ,    k = 1 , 2 , ⋯   , t A\_k=\\frac 1n\\sum^n\_\{i=1\}X^k\_i, \\qquad \\begin\{cases\} EX^k=\\sum^\{+\\infty\}\_\{i=1\}x^k\_ip\_i, \\qquad \\ k=1, 2,\\cdots, t\\\\ EX^k=\\int^\{+\\infty\}\_\{-\\infty\}x^kf(x)dx, \\; k=1, 2,\\cdots, t \\end\{cases\} Ak=n1i=1∑nXik,\{ EXk=∑i=1\+∞xikpi,k=1,2,⋯,tEXk=∫−∞\+∞xkf(x)dx,k=1,2,⋯,t  \{ A 1 A 2    ⋮ A t ⟶ （ 由 大 数 定 律 ） P \{ E X = μ 1 ( θ 1 , θ 2 , ⋯   , θ t ) E X 2 = μ 2 ( θ 1 , θ 2 , ⋯   , θ t )      ⋮ E X t = μ t ( θ 1 , θ 2 , ⋯   , θ t ) \\begin\{cases\}A\_1\\\\A\_2\\\\ \\; \\vdots \\\\ A\_t \\end\{cases\} \\overset\{P\}\{\\underset\{（由大数定律）\}\{\\longrightarrow\}\} \\begin\{cases\} EX = \\mu\_1(\\theta\_1, \\theta\_2, \\cdots, \\theta\_t)\\\\ EX^2 = \\mu\_2(\\theta\_1, \\theta\_2, \\cdots, \\theta\_t)\\\\ \\qquad \\;\\; \\vdots \\\\ EX^t = \\mu\_t(\\theta\_1, \\theta\_2, \\cdots, \\theta\_t) \\end\{cases\} ⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧A1A2⋮At（由大数定律）⟶P⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧EX=μ1(θ1,θ2,⋯,θt)EX2=μ2(θ1,θ2,⋯,θt)⋮EXt=μt(θ1,θ2,⋯,θt)令： \{ A 1 = E X A 2 = E X 2      ⋮ A t = E X t ⇒ \{ θ ^ 1 = g 1 ( A 1 , A 2 , ⋯   , A t ) θ ^ 2 = g 2 ( A 1 , A 2 , ⋯   , A t )    ⋮ θ ^ t = g t ( A 1 , A 2 , ⋯   , A t ) \\begin\{cases\} A\_1=EX \\\\ A\_2=EX^2 \\\\ \\quad\\;\\;\\vdots \\\\ A\_t=EX^t \\end\{cases\} \\Rightarrow \\begin\{cases\} \\hat \\theta\_1=g\_1(A\_1, A\_2, \\cdots, A\_t) \\\\ \\hat \\theta\_2=g\_2(A\_1, A\_2, \\cdots, A\_t) \\\\ \\quad\\;\\vdots \\\\ \\hat \\theta\_t=g\_t(A\_1, A\_2, \\cdots, A\_t) \\end\{cases\} ⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧A1=EXA2=EX2⋮At=EXt⇒⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧θ^1=g1(A1,A2,⋯,At)θ^2=g2(A1,A2,⋯,At)⋮θ^t=gt(A1,A2,⋯,At)由辛钦大数定律，对总体  X X X 有  A 1 ⟶ P E X A\_1\\overset\{P\}\{\\longrightarrow\}EX A1⟶PEX，对总体  X k X^k Xk 有  A k ⟶ P E X k A^k\\overset\{P\}\{\\longrightarrow\}EX^k Ak⟶PEXk

> **例1：** 总体  X ∼ U ( a , b ) X\\sim U(a, b) X∼U(a,b)， a , b a, b a,b 是未知参数， ( X 1 , ⋯   , X n ) (X\_1, \\cdots, X\_n) (X1,⋯,Xn) 为样本，试估计参数  a , b a, b a,b。
> 
> --------------------
> 
> **解：**  
>  \{ A 1 ⟶ P E X A 2 ⟶ P E X 2 \\begin\{cases\}A\_1\\overset\{P\}\{\\longrightarrow\}EX\\\\A\_2\\overset\{P\}\{\\longrightarrow\}EX^2 \\end\{cases\} ⎩⎨⎧A1⟶PEXA2⟶PEX2只要  n n n 足够大，令： \{ A 1 = E X A 2 = E X 2 ⇒ \{ A 1 = ( a ^ + b ^ ) / 2 A 2 = ( a ^ 2 + a ^ b ^ + b ^ 2 ) / 3 \\begin\{cases\} A\_1=EX\\\\A\_2=EX^2\\end\{cases\}\\quad\\Rightarrow\\quad\\begin\{cases\} A\_1=(\\hat a+\\hat b)/2 \\\\ A\_2=(\\hat a^2+\\hat a\\hat b+\\hat b^2)/3 \\end\{cases\} \{ A1=EXA2=EX2⇒\{ A1=(a^\+b^)/2A2=(a^2\+a^b^\+b^2)/3解得： \{ a ^ = X ˉ − 3 n ∑ i = 1 n ( X i − X ˉ ) 2 b ^ = X ˉ + 3 n ∑ i = 1 n ( X i − X ˉ ) 2 \\begin\{cases\} \\hat a=\\bar X-\\sqrt\{\\frac 3n\\sum^n\_\{i=1\}(X\_i-\\bar X)^2\} \\\\ \\hat b=\\bar X+\\sqrt\{\\frac 3n\\sum^n\_\{i=1\}(X\_i-\\bar X)^2\} \\end\{cases\} ⎩⎨⎧a^=Xˉ−n3∑i=1n(Xi−Xˉ)2b^=Xˉ\+n3∑i=1n(Xi−Xˉ)2
> 
> --------------------
> 
> **其中：**
> 
> 1.   E X 2 = D X + ( E X ) 2 = ( a 2 + a b + b 2 ) / 3 EX^2=DX+(EX)^2=(a^2+ab+b^2)/3 EX2=DX\+(EX)2=(a2\+ab\+b2)/3
> 2.  辛钦大数定律：总体  X 2 X^2 X2，期望  E X 2 EX^2 EX2， ( X 1 2 , ⋯   , X n 2 ) (X^2\_1, \\cdots, X^2\_n) (X12,⋯,Xn2) 为样本，样本均数  1 n ∑ i = 1 n X i 2 = A 2 ⟶ P E X 2 \\frac 1n\\sum^n\_\{i=1\}X^2\_i=A\_2\\overset\{P\}\{\\longrightarrow\}EX^2 n1∑i=1nXi2=A2⟶PEX2。

### 2.2 做题技巧 ###

**一般地**，总体  X X X 的分布函数  F ( x , θ ) F(x, \\theta) F(x,θ) 含有1到2个未知参数  θ = ( θ 1 , θ 2 ) \\theta=(\\theta\_1, \\theta\_2) θ=(θ1,θ2)。构造  A 1 , A 2 A\_1, A\_2 A1,A2，令  E X = A 1 , E X 2 = A 2 EX=A\_1, EX^2=A\_2 EX=A1,EX2=A2；或者构造  A 1 , B 2 A\_1, B\_2 A1,B2，令  E X = A 1 , D X = B 2 EX=A\_1, DX=B\_2 EX=A1,DX=B2。  
 B 2 = 1 n ∑ i = 1 n ( X i − X ˉ ) 2 = 1 n ∑ i = 1 n ( X i 2 − 2 X ˉ X i + X ˉ 2 ) = 1 n ∑ i = 1 n X i 2 − 2 X ˉ 1 n ∑ i = 1 n X i + X ˉ 2 = 1 n ∑ i = 1 n X i 2 − X ˉ 2 = A 2 − A 1 2 ⟶ P E X 2 − ( E X ) 2 = D X \\begin\{aligned\} B\_2&=\\frac 1n\\sum^n\_\{i=1\}(X\_i-\\bar X)^2=\\frac 1n\\sum^n\_\{i=1\}(X^2\_i-2\\bar X X\_i + \\bar X^2) \\\\ &=\\frac 1n\\sum^n\_\{i=1\}X^2\_i-2\\bar X\\frac 1n\\sum^n\_\{i=1\}X\_i+\\bar X^2 =\\frac 1n\\sum^n\_\{i=1\}X^2\_i-\\bar X^2 \\\\ &=A\_2-A\_1^2 \\overset\{P\}\{\\longrightarrow\}EX^2-(EX)^2=DX \\end\{aligned\} B2=n1i=1∑n(Xi−Xˉ)2=n1i=1∑n(Xi2−2XˉXi\+Xˉ2)=n1i=1∑nXi2−2Xˉn1i=1∑nXi\+Xˉ2=n1i=1∑nXi2−Xˉ2=A2−A12⟶PEX2−(EX)2=DX**矩估计的结果不唯一：**  
当  E X ≠ 0 EX \\neq 0 EX=0 时两种方法估计结果一致，当  E X = 0 EX = 0 EX=0 时两种方法估计结果不一致。

**顺延：**  
当某个统计量的值为0时，需顺延使用更高阶的统计量。  
例如，当  E X = 0 EX=0 EX=0 时，我们使用  A 2 = E X 2 A\_2 = EX^2 A2=EX2 来代替  A 1 = E X A\_1=EX A1=EX。

> **例2：** 总体  X ∼ B ( 1 , p ) X\\sim B(1, p) X∼B(1,p)，求  p p p 的矩估计。
> 
> --------------------
> 
> **解：**  E X = p EX = p EX=p  
> 构造样本均数  X ˉ n \\bar X\_n Xˉn，令  X ˉ n = E X \\bar X\_n=EX Xˉn=EX  
> 解得： p ^ 矩 = X ˉ n = n A / n \\hat p\_\{\\text\{矩\}\}=\\bar X\_n = n\_A/n p^矩=Xˉn=nA/n

> **例2应用：** 估计一个池塘里有多少条鱼？
> 
> --------------------
> 
> **解：** 设池塘中鱼的数目为  n n n，  
> 从池塘中随机捞取  k k k 条鱼，做上记号放回去，记号率： k / n k/n k/n  
> 再从池塘中随机抽取  m m m 条鱼，有记号的鱼的条数为  k 1 k\_1 k1，样本记号率： k 1 / m k\_1/m k1/m，  
> 令  k / n = k 1 / m k/n=k\_1/m k/n=k1/m  
> 解得  n ^ = k m k 1 \\hat n=\\frac\{km\}\{k\_1\} n^=k1km

> **例3：** 总体  X ∼ B ( n , p ) X\\sim B(n, p) X∼B(n,p)， ( X 1 , ⋯   , X m ) (X\_1, \\cdots, X\_m) (X1,⋯,Xm) 为样本，求  n , p n, p n,p 的矩估计。
> 
> --------------------
> 
> **解：**  
>  E X = n p , E X 2 = D X + ( E X ) 2 = n p ( 1 − p ) + ( n p ) 2 EX=np, \\quad EX^2=DX+(EX)^2=np(1-p)+(np)^2 EX=np,EX2=DX\+(EX)2=np(1−p)\+(np)2构造样本均数  X ˉ m \\bar X\_m Xˉm 及  A 2 A\_2 A2，令  X ˉ m = E X \\bar X\_m=EX Xˉm=EX， A 2 = E X 2 A\_2=EX^2 A2=EX2，得：  
>  \{ X ˉ m = n ^ p ^ A 2 = n ^ p ^ ( 1 − p ^ ) + ( n ^ p ^ ) 2 \\begin\{cases\}\\bar X\_m=\\hat n\\hat p\\\\ A\_2=\\hat n\\hat p(1-\\hat p)+(\\hat n \\hat p)^2 \\end\{cases\} \{ Xˉm=n^p^A2=n^p^(1−p^)\+(n^p^)2解得： n ^ = X ˉ m 2 X ˉ m 2 + X ˉ m − A 2 ; p ^ = X ˉ m 2 + X ˉ m − A 2 X ˉ m \\hat n=\\frac\{\\bar X\_m^2\}\{\\bar X^2\_m+\\bar X\_m-A\_2\}; \\qquad \\hat p=\\frac\{\\bar X^2\_m+\\bar X\_m-A\_2\}\{\\bar X\_m\} n^=Xˉm2\+Xˉm−A2Xˉm2;p^=XˉmXˉm2\+Xˉm−A2
> 
> --------------------
> 
> 也可以构造样本均数  X ˉ m \\bar X\_m Xˉm 及  B 2 B\_2 B2，令  X ˉ m = E X , B 2 = D X \\bar X\_m=EX, B\_2=DX Xˉm=EX,B2=DX 得： \{ X ˉ m = n ^ p ^ B 2 = n ^ p ^ ( 1 − p ^ ) \\begin\{cases\} \\bar X\_m=\\hat n \\hat p\\\\ B\_2=\\hat n \\hat p(1-\\hat p) \\end\{cases\} \{ Xˉm=n^p^B2=n^p^(1−p^)解得：  
>  n ^ = X ˉ m 2 X ˉ m − B 2 ; p ^ = X ^ m − B 2 X ˉ m \\hat n=\\frac\{\\bar X\_m^2\}\{\\bar X\_m-B\_2\}; \\qquad \\hat p=\\frac\{\\hat X\_m-B\_2\}\{\\bar X\_m\} n^=Xˉm−B2Xˉm2;p^=XˉmX^m−B2

> **例4：**  
>  f ( x , θ ) = \{ ( θ + 1 ) x θ , 0 < x < 1 0 ,    其 他 f(x,\\theta)=\\begin\{cases\}(\\theta+1)x^\{\\theta\}, \\quad 0<x<1\\\\ 0, \\qquad \\qquad \\;其他\\end\{cases\} f(x,θ)=\{ (θ\+1)xθ,0<x<10,其他， X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 是样本，求  θ \\theta θ 矩估计量。  
> 若已获得  n = 10 n=10 n=10 的样本值如下： 0.32 , 0.54 , 0.78 , 0.01 , 0.83 , 0.46 , 0.57 , 0.66 , 0.87 , 0.91 0.32, 0.54, 0.78, 0.01, 0.83, 0.46, 0.57, 0.66, 0.87, 0.91 0.32,0.54,0.78,0.01,0.83,0.46,0.57,0.66,0.87,0.91，求  θ \\theta θ 的矩估计值。
> 
> --------------------
> 
> **解：**  
>  E X = ∫ 0 1 x ( 1 + θ ) x θ d x = θ + 1 θ + 2 x θ + 2 ∣ 0 1 = θ + 1 θ + 2 EX=\\int\_0^1x(1+\\theta)x^\{\\theta\}dx=\\frac\{\\theta+1\}\{\\theta+2\}x^\{\\theta+2\}\\big|\_0^1=\\frac\{\\theta+1\}\{\\theta+2\} EX=∫01x(1\+θ)xθdx=θ\+2θ\+1xθ\+2∣∣01=θ\+2θ\+1令  
>  X ˉ = E X \\bar X=EX Xˉ=EX即 X ˉ = θ + 1 θ + 2 \\bar X = \\frac\{\\theta+1\}\{\\theta+2\} Xˉ=θ\+2θ\+1解得 θ ^ = 1 − 2 X ˉ X ˉ − 1 = 1 − 2 × 0.595 0.595 − 1 = 0.469 \\hat \\theta=\\frac\{1-2\\bar X\}\{\\bar X-1\}=\\frac\{1-2\\times0.595\}\{0.595-1\}=0.469 θ^=Xˉ−11−2Xˉ=0.595−11−2×0.595=0.469

### 2.3 几个问题 ###

1.  大样本精确，小样本不可用。
2.  令  A k = E X k A\_k=EX^k Ak=EXk，或者  B k = E ( X − E X ) k B\_k=E(X-EX)^k Bk=E(X−EX)k，阶数要相同。
3.  使用前  K K K 阶矩，如果有前  K K K 阶矩为零或已知常数，顺延。
4.  矩估计缺点：必须总体矩存在，且浪费了分布的信息。

## 三、极大似然估计 ##

### 3.1 离散型随机变量极大似然估计量的求法 ###

*  总体  X ∼ p ( x , θ ) , θ ∈ Θ X\\sim p(x, \\theta), \\theta \\in \\Theta X∼p(x,θ),θ∈Θ， θ \\theta θ 是未知参数。 X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 是样本， x 1 , ⋯   , x n x\_1, \\cdots, x\_n x1,⋯,xn 为样本观察值，事件  ( X 1 = x 1 , ⋯   , X 2 = x 2 ) (X\_1=x\_1, \\cdots, X\_2=x\_2) (X1=x1,⋯,X2=x2) 发生的概率为：
    
     *  **似然函数：** L ( θ ) = P ( X 1 = x 1 , X 2 = x 2 , ⋯   , X n = x n ) = ∏ i = 1 n p ( x i ; θ ) L(\\theta)=P(X\_1=x\_1, X\_2=x\_2, \\cdots, X\_n=x\_n)=\\prod\_\{i=1\}^np(x\_i; \\theta) L(θ)=P(X1=x1,X2=x2,⋯,Xn=xn)=∏i=1np(xi;θ)
 *  **极大似然原理：** L \{ θ ^ ( x 1 , ⋯   , x n ) \} = m a x θ ∈ Θ L ( θ ) L\\\{\\hat\\theta(x\_1, \\cdots, x\_n)\\\}=\\underset\{\\theta\\in\\Theta\}\{max\}L(\\theta) L\{ θ^(x1,⋯,xn)\}=θ∈ΘmaxL(θ)
    
     *   θ ^ ( x 1 , ⋯   , x n ) \\hat\\theta(x\_1, \\cdots, x\_n) θ^(x1,⋯,xn) 称为  θ \\theta θ 的极大似然估计值。
     *   θ ^ ( X 1 , ⋯   , X n ) \\hat\\theta(X\_1, \\cdots, X\_n) θ^(X1,⋯,Xn) 称为  θ \\theta θ 的极大似然估计量（MLE）。
 *  似然函数  L ( θ ) L(\\theta) L(θ) 是样本值点  ( x 1 , ⋯   , x n ) (x\_1, \\cdots, x\_n) (x1,⋯,xn) 的概率，同时是未知参数  θ \\theta θ 的函数， ( x 1 , ⋯   , x n ) (x\_1, \\cdots, x\_n) (x1,⋯,xn) 在一次抽样下发生，求  L ( θ ) L(\\theta) L(θ) 的最大值。

> **例1：** 总体  X ∼ B ( 1 , p ) X\\sim B(1, p) X∼B(1,p) 分布，抽样得  ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0)，求  p p p 的估计值。
> 
> --------------------
> 
> **解：** p ^ 矩 = 3 / 5 \\hat p\_\{\\text\{矩\}\}=3/5 p^矩=3/5  
> 既然  ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0) 再一次抽样下发生，则有理由认为  ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0) 发生的概率应该最大，事件  ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0) 发生的概率为：  
>  P ( X 1 = 1 , X 2 = 0 , X 3 = 1 , X 4 = 1 , X 5 = 0 ) = P ( X 1 = 1 ) P ( X 2 = 0 ) P ( X 3 = 1 ) P ( X 4 = 1 ) P ( X 5 = 0 ) = p 3 ( 1 − p ) 2 \\begin\{aligned\}&P(X\_1=1, X\_2=0, X\_3=1, X\_4=1, X\_5=0)\\\\ =&P(X\_1=1)P(X\_2=0)P(X\_3=1)P(X\_4=1)P(X\_5=0)\\\\ =&p^3(1-p)^2 \\end\{aligned\} ==P(X1=1,X2=0,X3=1,X4=1,X5=0)P(X1=1)P(X2=0)P(X3=1)P(X4=1)P(X5=0)p3(1−p)2设  L ( p ) = p 3 ( 1 − p ) 2 L(p)=p^3(1-p)^2 L(p)=p3(1−p)2，求  L ( p ) L(p) L(p) 的极大值：  
> 令  d L ( p ) d p = 0 \\frac\{dL(p)\}\{dp\}=0 dpdL(p)=0，解得  p ^ M = 3 / 5 \\hat p\_M=3/5 p^M=3/5

### 3.2 连续型随机变量极大似然估计量的求法 ###

*  总体  X X X 的密度函数  f ( x ; θ ) , θ ∈ Θ f(x; \\theta), \\theta\\in\\Theta f(x;θ),θ∈Θ， θ \\theta θ 是未知参数。 X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 是样本， x 1 , ⋯   , x n x\_1, \\cdots, x\_n x1,⋯,xn 为样本观察值，事件  ( X 1 = x 1 , ⋯   , X 2 = x 2 ) (X\_1=x\_1, \\cdots, X\_2=x\_2) (X1=x1,⋯,X2=x2) 发生的概率为： ∏ i = 1 n P ( x i < X < x i + Δ x i ) ≈ ∏ i = 1 n f ( x i ; θ ) Δ x i Δ x i 与 θ 无关 \\prod\_\{i=1\}^nP(x\_i<X<x\_i+\\Delta x\_i) \\approx \\prod\_\{i=1\}^nf(x\_i; \\theta)\\Delta x\_i \\qquad \\Delta x\_i \\text\{ 与 \}\\theta\\text\{ 无关\} i=1∏nP(xi<X<xi\+Δxi)≈i=1∏nf(xi;θ)ΔxiΔxi与θ无关因此：
    
     *  **似然函数：** L ( θ ) = ∏ i = 1 n f ( x i ; θ ) L(\\theta)=\\prod\_\{i=1\}^nf(x\_i; \\theta) L(θ)=∏i=1nf(xi;θ)
     *  **极大似然原理：** L \{ θ ^ ( x 1 , ⋯   , x n ) \} = m a x θ ∈ Θ L ( θ ) L\\\{\\hat\\theta(x\_1, \\cdots, x\_n)\\\}=\\underset\{\\theta\\in\\Theta\}\{max\}L(\\theta) L\{ θ^(x1,⋯,xn)\}=θ∈ΘmaxL(θ)

### 3.3 极大似然估计求法的一般步骤 ###

1.  **建立似然函数：** L ( θ ) = ∏ i = 1 n p ( x i ; θ ) L(\\theta)=\\prod\_\{i=1\}^np(x\_i; \\theta) L(θ)=∏i=1np(xi;θ)
    
     *   P ( X 1 = x 1 , ⋯   , X n = x n ) = P ( X 1 = x 1 ) ⋯ P ( X n = x n ) P(X\_1=x\_1, \\cdots, X\_n=x\_n)=P(X\_1=x\_1)\\cdots P(X\_n=x\_n) P(X1=x1,⋯,Xn=xn)=P(X1=x1)⋯P(Xn=xn)
     *   f ( x 1 , x 2 , ⋯   , x n ) = f ( x 1 ) ⋯ f ( x n ) f(x\_1, x\_2, \\cdots, x\_n)=f(x\_1)\\cdots f(x\_n) f(x1,x2,⋯,xn)=f(x1)⋯f(xn)
2.  **对数似然函数：** ln ⁡ L ( θ ) = ln ⁡ ∏ i = 1 n p ( x i ; θ ) = ∑ i = 1 n ln ⁡ p ( x i ; θ ) \\ln L(\\theta)=\\ln\\prod\_\{i=1\}^np(x\_i; \\theta)=\\sum\_\{i=1\}^n\\ln p(x\_i; \\theta) lnL(θ)=ln∏i=1np(xi;θ)=∑i=1nlnp(xi;θ)
3.  **求极大值：** ∂ ln ⁡ \{ L ( θ ) \} ∂ θ i ∣ θ = θ ^ = 0 \{ θ = ( θ 1 , ⋯   , θ k ) 未知参数不止一个 \} \\frac\{\\partial\\ln\\\{L(\\theta)\\\}\}\{\\partial \\theta\_i\}\\bigg|\_\{\\theta=\\hat\\theta\}=0 \\qquad \\\{\\theta=(\\theta\_1, \\cdots, \\theta\_k)\\text\{ 未知参数不止一个\}\\\} ∂θi∂ln\{ L(θ)\}∣∣∣∣θ=θ^=0\{ θ=(θ1,⋯,θk)未知参数不止一个\}

*  若  L ( θ ) L(\\theta) L(θ) 关于某个参数  θ i \\theta\_i θi 是单调增（减）函数，则求导数无解， θ i \\theta\_i θi 的极大似然估计为  θ i \\theta\_i θi 的最大（小）值（顺序统计量）。
 *  若  θ ^ \\hat \\theta θ^ 是  θ \\theta θ 的极大似然估计，则  g ( θ ^ ) g(\\hat\\theta) g(θ^) 是  g ( θ ) g(\\theta) g(θ) 的极大似然估计。

### 3.4 例题 ###

> **例2：** 总体  X ∼ B ( 1 , p ) X\\sim B(1, p) X∼B(1,p)， X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 是样本，求  p p p 的极大似然估计量。
> 
> --------------------
> 
> **解：**  P ( X = k ) = p k ( 1 − p ) 1 − k , k = 0 , 1 P(X=k)=p^k(1-p)^\{1-k\},\\qquad k=0, 1 P(X=k)=pk(1−p)1−k,k=0,1似然函数： L ( p ) = ∏ i = 1 n p x i ( 1 − p ) 1 − x i = p ∑ i = 1 n x i ( 1 − p ) n − ∑ i = 1 n x i L(p)=\\prod\_\{i=1\}^np^\{x\_i\}(1-p)^\{1-x\_i\}=p^\{\\sum\_\{i=1\}^nx\_i\}(1-p)^\{n-\\sum\_\{i=1\}^nx\_i\} L(p)=i=1∏npxi(1−p)1−xi=p∑i=1nxi(1−p)n−∑i=1nxi对数似然函数： ln ⁡ L ( p ) = ∑ i = 1 n x i ln ⁡ p + ( n − ∑ i = 1 n x i ) ln ⁡ ( 1 − p ) \\ln L(p)=\\sum\_\{i=1\}^nx\_i\\ln p + (n-\\sum\_\{i=1\}^nx\_i)\\ln (1-p) lnL(p)=i=1∑nxilnp\+(n−i=1∑nxi)ln(1−p)  d ln ⁡ \{ L ( p ) \} d p = 1 p ^ ∑ i = 1 n x i − 1 1 − p ^ ( n − ∑ i = 1 n x i ) = 0 \\frac\{d\\ln\\\{L(p)\\\}\}\{dp\}=\\frac 1\{\\hat p\}\\sum\_\{i=1\}^nx\_i-\\frac 1\{1-\\hat p\} (n-\\sum\_\{i=1\}^nx\_i)=0 dpdln\{ L(p)\}=p^1i=1∑nxi−1−p^1(n−i=1∑nxi)=0解得：  
>  p ^ 极大 = X ˉ = n A n \\hat p\_\{\\text\{极大\}\}=\\bar X=\\frac\{n\_A\}\{n\} p^极大=Xˉ=nnA此外： p ^ 矩 = X ˉ \\hat p\_\{\\text\{矩\}\}=\\bar X p^矩=Xˉ

> **例6：** 总体  X ∼ \[ 1 2 3 θ 2 2 θ ( 1 − θ ) ( 1 − θ ) 2 \] X\\sim \\begin\{bmatrix\}1 & 2 & 3 \\\\ \\theta^2 & 2\\theta(1-\\theta) & (1-\\theta)^2\\end\{bmatrix\} X∼\[1θ222θ(1−θ)3(1−θ)2\]，抽得样本值为  ( 1 , 2 , 1 ) (1, 2, 1) (1,2,1)，求  θ \\theta θ 的极大似然估计值。
> 
> --------------------
> 
> **解：**  
>  L ( θ ) = P ( X 1 = 1 , X 2 = 2 , X 3 = 1 ) = P ( X 1 = 1 ) P ( X 2 = 2 ) P ( X 3 = 1 ) = θ 2    2 θ ( 1 − θ )    θ 2 = 2 θ 5 − 2 θ 6 \\begin\{aligned\}L(\\theta)&=P(X\_1=1, X\_2=2, X\_3=1) \\\\ &=P(X\_1=1)P(X\_2=2)P(X\_3=1) \\\\ &=\\theta^2\\; 2\\theta(1-\\theta)\\;\\theta^2 \\\\ &=2\\theta^5-2\\theta^6 \\end\{aligned\} L(θ)=P(X1=1,X2=2,X3=1)=P(X1=1)P(X2=2)P(X3=1)=θ22θ(1−θ)θ2=2θ5−2θ6令  
>  d ln ⁡ \{ L ( θ ) \} d θ = 10 θ ^ 4 − 12 θ ^ 5 = 0 \\frac\{d\\ln\\\{L(\\theta)\\\}\}\{d\\theta\}=10\\hat\\theta^4-12\\hat\\theta^5=0 dθdln\{ L(θ)\}=10θ^4−12θ^5=0解得  
>  θ ^ = 5 6 \\hat\\theta=\\frac 56 θ^=65

> **例7：** 总体  X ∼ E ( λ ) X\\sim E(\\lambda) X∼E(λ)， X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 是样本，求  λ \\lambda λ 的极大似然估计和矩估计量。
> 
> --------------------
> 
> **解：**  
> **（1）** 矩估计  
>  \\qquad  E X = 1 / λ EX=1/\\lambda EX=1/λ  
>  \\qquad 令  X ˉ n = E X \\bar X\_n=EX Xˉn=EX  
>  \\qquad 解得： λ ^ 矩 = 1 / X ˉ \\hat\\lambda\_\{\\text\{矩\}\}=1/\\bar X λ^矩=1/Xˉ  
> **（2）** 极大似然估计  
>  L ( λ ) = ∏ i = 1 n λ e − λ x i = λ n e − λ ∑ i = 1 n x i L(\\lambda)=\\prod\_\{i=1\}^n\\lambda e^\{-\\lambda x\_i\}=\\lambda^ne^\{-\\lambda\\sum\_\{i=1\}^nx\_i\} L(λ)=i=1∏nλe−λxi=λne−λ∑i=1nxi  ln ⁡ L ( λ ) = n ln ⁡ λ − λ ∑ i = 1 n x i \\ln L(\\lambda)=n\\ln\\lambda-\\lambda\\sum\_\{i=1\}^nx\_i lnL(λ)=nlnλ−λi=1∑nxi令 d ln ⁡ L ( λ ) d λ = n λ ^ ∑ i = 1 n x i = 0 \\frac\{d\\ln L(\\lambda)\}\{d\\lambda\}=\\frac\{n\}\{\\hat\\lambda\}\\sum\_\{i=1\}^nx\_i=0 dλdlnL(λ)=λ^ni=1∑nxi=0解得 λ ^ 极大 = 1 X ˉ \\hat\\lambda\_\{\\text\{极大\}\}=\\frac 1\{\\bar X\} λ^极大=Xˉ1

*  若  θ ^ \\hat \\theta θ^ 是  θ \\theta θ 的极大似然估计，则  g ( θ ^ ) g(\\hat\\theta) g(θ^) 是  g ( θ ) g(\\theta) g(θ) 的极大似然估计。

> **例8：** 总体  X ∼ N ( μ , σ 2 ) X\\sim N(\\mu, \\sigma^2) X∼N(μ,σ2)， X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 是样本，求  μ , σ \\mu, \\sigma μ,σ 的极大似然估计量。
> 
> --------------------
> 
> **解：** L ( μ , σ 2 ) = ∏ i = 1 n 1 2 π σ e − ( x i − μ ) 2 2 σ 2 = ( 2 π ) − n ( σ 2 ) − n 2 e − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 L(\\mu, \\sigma^2)=\\prod\_\{i=1\}^n\\frac 1\{\\sqrt\{2\\pi\}\\sigma\}e^\{-\\frac\{(x\_i-\\mu)^2\}\{2\\sigma^2\}\}=(\\sqrt\{2\\pi\})^\{-n\}(\\sigma^2)^\{-\\frac n2\}e^\{-\\frac\{1\}\{2\\sigma^2\}\\sum\_\{i=1\}^n(x\_i-\\mu)^2\} L(μ,σ2)=i=1∏n2πσ1e−2σ2(xi−μ)2=(2π)−n(σ2)−2ne−2σ21∑i=1n(xi−μ)2  ln ⁡ L ( μ , σ 2 ) = − n ln ⁡ 2 π − n 2 ln ⁡ σ 2 − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 \\ln L(\\mu, \\sigma^2)=-n\\ln \\sqrt\{2\\pi\}-\\frac n2\\ln\\sigma^2-\\frac 1\{2\\sigma^2\}\\sum\_\{i=1\}^n(x\_i-\\mu)^2 lnL(μ,σ2)=−nln2π−2nlnσ2−2σ21i=1∑n(xi−μ)2  \{ ∂ \{ ln ⁡ L ( μ , σ 2 ) \} ∂ μ = 2 2 σ 2 ∑ i = 1 n ( x i − μ ^ ) 2 = 0 ⇒ ∑ i = 1 n x i − n μ ^ = 0 ∂ \{ ln ⁡ L ( μ , σ 2 ) \} ∂ σ 2 = − n 2 σ ^ 2 + 1 2 σ ^ 4 ∑ i = 1 n ( x i − μ ) 2 = 0 \\begin\{cases\} \\frac \{\\partial\\\{\\ln L(\\mu, \\sigma^2)\\\}\}\{\\partial \\mu\}=\\frac 2\{2\\sigma^2\}\\sum\_\{i=1\}^n(x\_i-\\hat\\mu)^2=0 \\quad\\Rightarrow\\quad \\sum\_\{i=1\}^nx\_i-n\\hat\\mu=0 \\\\ \\frac\{\\partial\\\{\\ln L(\\mu, \\sigma^2)\\\}\}\{\\partial\\sigma^2\}=-\\frac n\{2\\hat\\sigma^2\}+\\frac 1\{2\\hat\\sigma^4\}\\sum\_\{i=1\}^n(x\_i-\\mu)^2=0 \\end\{cases\} \{ ∂μ∂\{ lnL(μ,σ2)\}=2σ22∑i=1n(xi−μ^)2=0⇒∑i=1nxi−nμ^=0∂σ2∂\{ lnL(μ,σ2)\}=−2σ^2n\+2σ^41∑i=1n(xi−μ)2=0解得： \{ μ ^ 极大 = X ˉ σ ^ 极大 2 = B 2 \\begin\{cases\} \\hat\\mu\_\{\\text\{极大\}\}=\\bar X \\\\ \\hat\\sigma^2\_\{\\text\{极大\}\}=B\_2 \\end\{cases\} \{ μ^极大=Xˉσ^极大2=B2故 σ ^ 极 大 = σ ^ 2 = B 2 \\hat\\sigma\_\{极大\}=\\sqrt\{\\hat\\sigma^2\}=\\sqrt\{B\_2\} σ^极大=σ^2=B2

*  若  L ( θ ) L(\\theta) L(θ) 关于某个参数  θ i \\theta\_i θi 是单调增（减）函数，则求导数无解， θ i \\theta\_i θi 的极大似然估计为  θ i \\theta\_i θi 的最大（小）值（顺序统计量）。

> **例10：** 总体  X ∼ U ( a , b ) X\\sim U(a, b) X∼U(a,b)， X 1 , ⋯   , X n X\_1, \\cdots, X\_n X1,⋯,Xn 是样本，  
> （1）求  a , b a, b a,b 的极大似然估计量。  
> （2）求  E X EX EX 的极大似然估计量。  
> （3）若已获得  n = 5 n=5 n=5 的样本值： 0.31 , 0.42 , 0.61 , 0.83 , 0.02 0.31, 0.42, 0.61, 0.83, 0.02 0.31,0.42,0.61,0.83,0.02，求  a , b , E X a, b, EX a,b,EX 的极大似然估计值。
> 
> --------------------
> 
> **解：（1）**  
>  L ( a , b ) = ∏ i = 1 n 1 b − a = ( b − a ) − n L(a, b)=\\prod\_\{i=1\}^n\\frac 1\{b-a\}=(b-a)^\{-n\} L(a,b)=i=1∏nb−a1=(b−a)−n令 ∂ L ( a , b ) ∂ a = 0 ; ∂ L ( a , b ) ∂ b = 0 \\frac\{\\partial L(a, b)\}\{\\partial a\}=0;\\qquad \\frac\{\\partial L(a, b)\}\{\\partial b\}=0 ∂a∂L(a,b)=0;∂b∂L(a,b)=0此时，我们发现这样的方程组**无解或者参数消失**。  
> 极大似然估计的原理是似然函数取最大值：  
> 本题中，若要  L ( a , b ) L(a, b) L(a,b) 取极大值，则  b − a b-a b−a 要取极小值。由于： a ≤ ( X 1 , X 2 , ⋯   , X n ) ≤ b ⇒ a ≤ X ( 1 ) ≤ X ( 2 ) ≤ ⋯ ≤ X ( n ) ≤ b a\\leq(X\_1, X\_2, \\cdots, X\_n)\\leq b\\quad \\Rightarrow \\quad a\\leq X\_\{(1)\} \\leq X\_\{(2)\} \\leq\\cdots\\leq X\_\{(n)\} \\leq b a≤(X1,X2,⋯,Xn)≤b⇒a≤X(1)≤X(2)≤⋯≤X(n)≤b故 a ^ 极大 = X ( 1 ) , b ^ 极大 = X ( n ) \\hat a\_\{\\text\{极大\}\}=X\_\{(1)\}, \\qquad \\hat b\_\{\\text\{极大\}\}=X\_\{(n)\} a^极大=X(1),b^极大=X(n)**（2）**  
> 由于  E X = a + b 2 EX=\\frac\{a+b\}2 EX=2a\+b故  
>  E ( X ) ^ = a ^ + b ^ 2 = X ( 1 ) + X ( 2 ) 2 \\hat \{E(X)\}=\\frac\{\\hat a+\\hat b\}2=\\frac\{X\_\{(1)\}+X\_\{(2)\}\}2 E(X)^=2a^\+b^=2X(1)\+X(2)**（3）**  
>  \{ a ^ = x ( 1 ) = 0.02 b ^ = x ( 5 ) = 0.83 E ( X ) ^ = x ( 1 ) + x ( 5 ) 2 = 0.02 + 0.83 2 = 0.425 \\begin\{cases\} \\hat a=x\_\{(1)\}=0.02 \\\\ \\hat b=x\_\{(5)\}=0.83 \\\\ \\hat\{E(X)\}=\\frac\{x\_\{(1)\}+x\_\{(5)\}\}2=\\frac\{0.02+0.83\}2=0.425 \\end\{cases\} ⎩⎪⎨⎪⎧a^=x(1)=0.02b^=x(5)=0.83E(X)^=2x(1)\+x(5)=20.02\+0.83=0.425

[下一篇：【数理统计】学习笔记04：点估计的优良性及其评选标准][04]

[Link 1]: https://blog.csdn.net/weixin_45800258/article/details/127036809
[04]: https://blog.csdn.net/weixin_45800258/article/details/127383581?spm=1001.2014.3001.5501