概率论基础 - 7 - 特征函数

朴灿烈づ我的快乐病毒、 2022-09-07 00:08 361阅读 0赞

> 特征函数是随机变量的分布的不同表示形式。

### 概述 ###

> 一般而言，对于随机变量 X X X的分布，大家习惯用概率密度函数来描述，虽然概率密度函数理解起来很直观，但是确实随机变量的分布还有另外的描述方式，比如特征函数。

*  特征函数的本质是概率密度函数的泰勒展开
 *  每一个级数表示原始概率密度函数的一个特征
 *  如果两个分布的所有特征都相同，那我们就认为这是两个相同的分布
 *  `矩`是描述概率分布的重要特征，期望、方差等概念都是矩的特殊形态
 *  直觉上可以简单理解为：
    
     *  各阶矩相等 → 各个特征相等 → 分布相同

### 定义 ###

*  随机变量 X X X 的特征函数定义为：

φ X ( t ) = E \[ e i t X \] \\varphi\_\{X\}(t)=E\\left\[e^\{i t X\}\\right\] φX(t)=E\[eitX\]

*  针对概率密度函数为 f ( x ) f(x) f(x)的连续随机变量 x x x，特征函数写作：

\{%raw%\}  
 φ x ( t ) = ∫ − ∞ ∞ e i t x f ( x ) ⋅ d x \\varphi\_x(t)=\\int\_\{-\\infty\}^\{\\infty\} e^\{i t x\} f(x) \\cdot d x φx(t)=∫−∞∞eitxf(x)⋅dx  
\{%endraw%\}

*  为什么这么定义呢? 首先,  e i t X e^\{i t X\} eitX 的泰勒级数为:

e i t X = 1 + i t X 1 − t 2 X 2 2 ! + ⋯ + ( i t ) n X n n ! e^\{i t X\}=1+\\frac\{i t X\}\{1\}-\\frac\{t^\{2\} X^\{2\}\}\{2 !\}+\\cdots+\\frac\{(i t)^\{n\} X^\{n\}\}\{n !\} eitX=1\+1itX−2!t2X2\+⋯\+n!(it)nXn

*  代入可以推出：

φ X ( t ) = E \[ e i t X \] = E ( 1 + i t X 1 − t 2 X 2 2 ! + ⋯ + ( i t ) n X n n ! ) = E ( 1 ) + E ( i t X 1 ) − E ( t 2 X 2 2 ! ) + ⋯ + E ( ( i t ) n X n n ! ) = 1 + i t E \[ X \] ⏞ 一阶矩  1 − t 2 E \[ X 2 \] ⏞ 二阶矩  2 ! + ⋯ + ( i t ) n E \[ X n \] ⏞ n阶矩  n ! \\begin\{aligned\} \\varphi\_\{X\}(t) &=E\\left\[e^\{i t X\}\\right\] \\\\ &=E\\left(1+\\frac\{i t X\}\{1\}-\\frac\{t^\{2\} X^\{2\}\}\{2 !\}+\\cdots+\\frac\{(i t)^\{n\} X^\{n\}\}\{n !\}\\right) \\\\ &=E(1)+E\\left(\\frac\{i t X\}\{1\}\\right)-E\\left(\\frac\{t^\{2\} X^\{2\}\}\{2 !\}\\right)+\\cdots+E\\left(\\frac\{(i t)^\{n\} X^\{n\}\}\{n !\}\\right) \\\\ &=1+\\frac\{i t \\overbrace\{E\[X\]\}^\{\\text \{一阶矩 \}\}\}\{1\}-\\frac\{t^\{2\} \\overbrace\{E\\left\[X^\{2\}\\right\]\}^\{\\text \{二阶矩 \}\}\}\{2 !\}+\\cdots+\\frac\{(i t)^\{n\} \\overbrace\{E\\left\[X^\{n\}\\right\]\}^\{\\text \{n阶矩 \}\}\}\{n !\} \\end\{aligned\} φX(t)=E\[eitX\]=E(1\+1itX−2!t2X2\+⋯\+n!(it)nXn)=E(1)\+E(1itX)−E(2!t2X2)\+⋯\+E(n!(it)nXn)=1\+1itE\[X\]一阶矩 −2!t2E\[X2\]二阶矩 \+⋯\+n!(it)nE\[Xn\]n阶矩

*  也就是说特征函数包含了分布函数的所有`矩`，可以理解为包含了分布的所有特征
 *  之前的结论可以进一步理解为：
    
     *  $\\varphi\_\{X\}(t) $相等 → 各阶矩相等 → 各个特征相等 → 分布相同
 *  所以，特征函数其实是随机变量 X X X的分布的另外一种描述方式

### 一些推论 ###

*  设随机变量 X X X的概率密度函数为 f ( x ) f(x) f(x) ，其特征函数为：

φ x ( t ) = ∫ − ∞ ∞ e i t x f ( x ) ⋅ d x \\varphi\_x(t)=\\int\_\{-\\infty\}^\{\\infty\} e^\{i t x\} f(x) \\cdot d x φx(t)=∫−∞∞eitxf(x)⋅dx

#### 独立变量和的特征函数 ####

*  $Y=X\_1+X\_2  ， 其 中 ，其中 ，其中X\_1,X\_2$相互独立，特征函数：

φ y ( t ) = φ x 1 + x 2 ( t ) = ∬ − ∞ ∞ e i t ( x 1 + x 2 ) ⋅ f ( x 1 ) ⋅ g ( x 2 ) ⋅ d x 1 d x 2 = ∫ − ∞ ∞ e i t x 1 f ( x 1 ) d x 1 ⋅ ∫ − ∞ ∞ e i t x 2 g ( x 2 ) d x 2 = φ x 1 ( t ) ⋅ φ x 2 ( t ) \\begin\{array\}\{l\} \\varphi\_\{y\}(t)&=\\varphi\_\{x\_\{1\}+x\_\{2\}\}(t) \\\\ &=\\iint\_\{-\\infty\}^\{\\infty\} e^\{i t\\left(x\_\{1\}+x\_\{2\}\\right)\} \\cdot f\\left(x\_\{1\}\\right) \\cdot g\\left(x\_\{2\}\\right) \\cdot d x\_\{1\} d x\_\{2\} \\\\ &=\\int\_\{-\\infty\}^\{\\infty\} e^\{i t x\_\{1\}\} f\\left(x\_\{1\}\\right) d x\_\{1\} \\cdot \\int\_\{-\\infty\}^\{\\infty\} e^\{i t x\_\{2\}\} g\\left(x\_\{2\}\\right) d x\_\{2\} \\\\ &=\\varphi\_\{x\_\{1\}\}(t) \\cdot \\varphi\_\{x\_\{2\}\}(t) \\end\{array\} φy(t)=φx1\+x2(t)=∬−∞∞eit(x1\+x2)⋅f(x1)⋅g(x2)⋅dx1dx2=∫−∞∞eitx1f(x1)dx1⋅∫−∞∞eitx2g(x2)dx2=φx1(t)⋅φx2(t)

#### 常数线性变换的特征函数 ####

*   Y = a X + b Y=aX+b Y=aX\+b 的特征函数：

φ y ( t ) = φ a x + b ( t ) = ∫ − ∞ ∞ e i t ( a x + b ) f ( x ) d x = e i t b ∫ − ∞ ∞ e i ( a t ) x f ( x ) d x = e i t b ⋅ φ x ( a t ) \\begin\{array\}\{l\} \\varphi\_\{y\}(t)&=\\varphi\_\{a x+b\}(t)=\\int\_\{-\\infty\}^\{\\infty\} e^\{i t(a x+b)\} f(x) d x \\\\ &=e^\{i t b\} \\int\_\{-\\infty\}^\{\\infty\} e^\{i(a t) x\} f(x) d x \\\\ &=e^\{i t b\} \\cdot \\varphi\_\{x\}(a t) \\end\{array\} φy(t)=φax\+b(t)=∫−∞∞eit(ax\+b)f(x)dx=eitb∫−∞∞ei(at)xf(x)dx=eitb⋅φx(at)

#### 标准正态分布的特征函数 ####

*  设  X ∼ N ( 0 , 1 ) X \\sim N(0,1) X∼N(0,1)则其概率密度函数为：

f ( x ) = 1 2 π e − x 2 2 f(x)=\\frac\{1\}\{\\sqrt\{2 \\pi\}\} e^\{-\\frac\{x^\{2\}\}\{2\}\} f(x)=2π1e−2x2  
\{%endraw%\}

*  特征函数为：

φ ( t ) = ∫ − ∞ ∞ e i t x ⋅ 1 2 π e − x 2 2 ⋅ d x = e − t 2 2 ∫ − ∞ ∞ 1 2 π e − ( x − i t ) 2 2 d ( x − i t ) = e − t 2 2 \\begin\{array\}\{l\} \\varphi(t)&=\\int\_\{-\\infty\}^\{\\infty\} e^\{i t x\} \\cdot \\frac\{1\}\{\\sqrt\{2 \\pi\}\} e^\{-\\frac\{x^\{2\}\}\{2\}\} \\cdot d x \\\\ &=e^\{-\\frac\{t^\{2\}\}\{2\}\} \\int\_\{-\\infty\}^\{\\infty\} \\frac\{1\}\{\\sqrt\{2 \\pi\}\} e^\{-\\frac\{(x-i t)^\{2\}\}\{2\}\} d(x-i t) \\\\ &=e^\{-\\frac\{t^\{2\}\}\{2\}\} \\end\{array\} φ(t)=∫−∞∞eitx⋅2π1e−2x2⋅dx=e−2t2∫−∞∞2π1e−2(x−it)2d(x−it)=e−2t2  
\{%endraw%\}

### 特征函数是共轭傅立叶变换 ###

*  假设某连续随机变量 X X X的概率密度函数为 f ( x ) f(x) f(x)，那么可知：

E ( X ) = ∫ − ∞ + ∞ x f ( x ) d x \{\\rm\{E(X) = \}\}\\int\\limits\_\{ - \\infty \}^\{ + \\infty \} \{xf(x)dx\} E(X)=−∞∫\+∞xf(x)dx

*  特征函数为：

\{%raw%\}  
 φ X ( t ) = E \[ e i t X \] = ∫ − ∞ + ∞ e i t X f ( x ) d x \\begin\{array\}\{l\} \{\\varphi \_X\}(t) &= E\[\{e^\{itX\}\}\]\\\\ &= \\int\\limits\_\{ - \\infty \}^\{ + \\infty \} \{ \{e^\{itX\}\}f(x)dx\} \\end\{array\} φX(t)=E\[eitX\]=−∞∫\+∞eitXf(x)dx

\{%endraw%\}

*  而 f ( x ) f(x) f(x)的傅立叶变换为：

F ( X ) = ∫ − ∞ + ∞ f ( x ) e − i t x d x \{\\rm\{F(X) = \}\}\\int\\limits\_\{ - \\infty \}^\{ + \\infty \} \{f(x)e^\{-itx\}dx\} F(X)=−∞∫\+∞f(x)e−itxdx

*  二者是共轭关系：

φ X ( t ) = F ( t ) ‾ \{\\varphi \_X\}(t) = \\overline \{F(t)\} φX(t)=F(t)

### 参考资料 ###

*  https://www.zhihu.com/question/23686709/answer/376439033
 *  https://www.zhihu.com/question/25956080/answer/1375064657