LDA 主题模型的几种概率分布

╰+哭是因爲堅強的太久メ 2022-08-05 08:41 201阅读 0赞

学习机器学习模型的时候才发现概率知识缺很多啊啊啊……，还好重新捡起来比学习新东西还是简单很多  
把LDA里面的几个基础概率分布简单总结一下。

## 概率密度函数和概率分布函数 ##

概率密度函数和概率分布函数分别是什么，区别是什么，你还记得吗？嗯，先试着回想一下。以前看到总觉得很简单，就在眼前一闪而过，真正用到的时候就用的很不顺手啊。

### 概率密度函数 ###

PDF – Probability Density Function  
机器学习里面的朴素贝叶斯、EM算法、混合高斯模型、sampling 等都要用到这个东东。  
它表述的意义是在某个确定的点（附近）事件发生的可能性。  
对离散型随机变量：

fX(x)=p(X=x)

对连续型随机变量，存在  fX(x) , 满足  
1.  fX(x)>0  
2.  ∫\+∞−∞fX(x)=1  
3.  p(a<X<b)=∫bafX(x)

### 分布函数 ###

CDF – Cumulative Distribution Function  
表示随机变量小于等于某一取值 x 的概率。

FX(x)=p(X≤x)

对连续型随机变量

FX(x)=∫x−∞fX(x)

--------------------

## 伯努利分布 ##

X∼Bernoulli(p)  
这个应该是我们学的最简单的分布函数  
就是对单次抛硬币进行建模

f(x)=px(1−p)1−xx=\{ 0,1\}

直观点就是：

f(x)=\{ px=11−px=0

## 二项式分布 ##

X∼Binomial(p,n)  
二项分布就是重复n 次的伯努利实验模型。n 次实验中，一种情况出现k 次， 另一种情况出现 n−k 次，这样的实验结果出现的概率是多少。

f(k)=P(X=k|p,n)=Cknpk(1−p)(n−k)=n!k!(n−k)!pk(1−p)(n−k)

## 多项式分布 ##

X∼Multinormal(p⃗ ,n)  
抛硬币只有两种情况发生，如果一件事可能出此案多种结果，比如说掷筛子，那么可以用多项式分布进行建模  
设p⃗ =(p1,p2,......,pk)， pi 是第i 种情况发生的概率

f(x)=P(x1......xk|p⃗ ,n)=(nx1...xk)px11...pxkk=n!∏ki=1xi!∏i=1kpxii

## beta分布 ##

X∼Beta(α,β)  
给定参数 α>0、β>0，随机变量 x∈\[0,1\] 的概率密度函数为：

f(x|α,β)=1B(α,β)xα−1(1−x)β−1

这里的  B(α,β) 可以用gamma函数  Γ(x) 来表示：

B(α,β)=Γ(α)Γ(β)Γ(α\+β)

当变量是离散的时：

Γ(n)=(n−1)!B(α,β)=(α−1)!(β−1)!(α\+β−2)!

此时再回头看一下Beta分布的表达式，是不是就是二项分布啊？确实他们属于同一分布簇，当  α ，  β 是连续变量时就是二项分布在实数域的推广啦  
当变量是连续的时：

Γ(x)=∫∞0tx−1e−tdtB(α,β)=∫10tα−1(1−t)β−1dt

--------------------

## 二项分布和Beta分布的关系探讨 ##

对二项分布我们一般是已知事件发生的概率 θ (为了避免符号冲突，这里用θ 表示)然后求采样实验发生的概率，但是如果θ是未知的，已知事件 X 的发生的情况下（假设事件 X 是掷硬币5次有3次正面朝上），估计θ 的值。有两种求解方法：

1.  简单粗暴地完全根据θ来估计 
    
    maxθ3(1−θ)2
    
    求得θ=0.6 但是这种估计在采样不足或者小概率事件发生的情况下，结果会和真实情况相差很大。
2.  如果知道了 θ 的先验概率p(θ), 正如我们一般都知道硬币正面朝上的概率就是0.5，那么就可以用贝叶斯公式 
    
    p(θ|X)=p(X|θ)p(θ)p(X)
    
    这样就可以根据**先验概率**和**观察结果**得到更加可靠的参数估计。（想一下p(X)应该怎么求）。  
    在前面的概率分布函数中可以看到二项分布要求 p∈\[0,1\] ，Beta分布也要求x∈\[0,1\]  
    假设已知某二项分布的参数 θ∼Beta(α,β) ,即**先验概率**p(θ)为  
    
    
    p(θ)=p(θ|α,β)=1B(α,β)θα−1(1−θ)β−1
    
      
    那么**似然概率** P(X|θ)  
    
    
    P(X|θ)=P(X=k|θ,n)=n!k!(n−k)!θk(1−θ)(n−k)
    
      
    可以轻松的求得**边缘概率**p(X)（marginal probability，也是贝叶斯公式的Normalizer）  
    
    
    p(X)=∫10p(X|θ)p(θ)dθ
    
      
    那么求θ的后验概率了(θ|X)也就很容易了  
    
    
    p(θ|X)=似然概率∗先验概率边缘概率
    
      
    
    
    P(θ|X)==1B(α\+k,β\+n−k)θα\+k−1(1−θ)β\+n\+k−1

这里还有个知识点**共轭先验 Conjugate Prior**,在进行贝叶斯公式的计算时，为了使计算后验概率更加方便，一般倾向于选择共轭先验  
如果随机变量θ的先验概率p(θ)和后验概率(θ|X)属于同一个分布簇，那么则称先验概率p(θ)是似然概率 $P(X|\\theta)的共轭先验。一定要看清\*和\*共轭，\*是\*的共轭先验，嗯，对，后面还会用到的。

--------------------

## Dirichlet 分布 ##

X∼Dirichlet(n⃗ )  
Dirichlet 分布和多项式分布的形式特别想，而且Dirichlet 分布和和多项式分布的关系，就如同二项分布和Beta分布的关系。  
可以这样假设设n⃗ =(n1,n2,......,nk)， ni 是第i 种情况发生的次数，x⃗ =(x1,x2,......,xk)， xi 是第i 种情况发生的概率。

f(x⃗ )=p(x1,x2,......,xk|n1,n2,......,nk)=1B(n⃗ )∏xni−1i

其中

B(n⃗ )=Γ(n1)Γ(n2)...Γ(nk)Γ(n1\+n2\+...\+nk)=∏Γ(ni)Γ(∑ni)

∑xi=1

--------------------

## 多项式分布和Dirichlet 分布的关系探讨 ##

用二项式和Beta分布的关系来类比Dirichlet 分布和多项式分布的关系。  
再来看共轭，参数θ⃗ 服从Dirichlet 分布θ⃗ ∼Dirichlet(n⃗ ), 它是多项式分布X∼Multinormal(θ⃗ ,n)的共轭先验.  
先验分布：

p(θ1,θ2,...,θk)=p(θ1,θ2,......,θk|n1,n2,......,nk)=1B(n⃗ )∏i=1kθni−1i

似然概率：

p(x1,x2...xk|θ1,θ2,...,θk)=p(x1......xk|θ⃗ ,n)=(nx1...xk)θx11...θxkk=n!∏ki=1xi!∏i=1kθxii

可以得到后验概率：

p(θ1,θ2,...,θk|x1,x2...xk)=1Z∏i=1kθxi\+ni−1i