机器学习之EM算法的原理推导及相关知识总结

快来打我* 2022-05-12 12:06 476阅读 0赞

### 文章目录 ###

*  1、知道先验概率和后验概率
 *  2、了解高斯混合模型GMM
 *  3、通过最大似然估计推导EM算法的过程的实例
 *  4、EM算法
 *  5、知道pLSA模型

# 1、知道先验概率和后验概率 #

先验概率（prior probability）是指根据以往经验和分析得到的概率（理解为自定义概率）。而后验概率是在考虑了一个事实之后的条件概率。

# 2、了解高斯混合模型GMM #

EM是K-means的推广  
以下的两个问题都是属于无监督学习（**对于不知道样本数的问题，采用EM算法**）  
![EM算法场景][EM]  
高斯混合模型GMM：随机变量x由k个高斯分布混合而成。  
GMM参数估计的理解（相当于由变量x的一部分样本进而去估计对应的x发生的概率以及均值μ和方差 ）  
![在这里插入图片描述][70]  
![在这里插入图片描述][70 1]

# 3、通过最大似然估计推导EM算法的过程的实例 #

![在这里插入图片描述][70 2]  
![在这里插入图片描述][70 3]

首先知道最大似然估计：多个事件同事发生的概率。  
**由身高体重推测男女的例子（参考下图理解）**  
1、先对给定的一组数据Xi假设初始自定义的**均值μ和方差σ**，以及对应的**分类概率**（即使男性、女性的概率是多大）  
2、代入对应的高斯密度函数得到对应的**概率密度值**  
3、由对应的概率密度值以及对应的分类概率求的**条件概率**（即如1.88是男性的概率是多少）  
4、重复以上步骤**求其他组对应的条件概率的值**。（高斯混合分布）  
5、将所有组得到的数据做条件概率的值乘以数据的操作（如1.88乘以0.67）得到整个样本对应的均值μ和方差σ（注意计算均值时对应的除数N代表的是条件概率0.67等的加和）  
6、将计算得到的均值和方差不断的迭代，直到稳定为止。

![在这里插入图片描述][70 4]  
![在这里插入图片描述][70 5]  
**不断迭代最终直到μ和σ达到稳定值**  
![在这里插入图片描述][70 6]  
下图中所说的概率的加和代表的是0.67+0.4+…即对应身高是男性的概率得到最终的N男  
![在这里插入图片描述][70 7]  
**掌握每个组份的参数公式对应的含义**  
![在这里插入图片描述][70 8]

# 4、EM算法 #

**x对应的是数据，z代表的是隐变量如类别（男、女性）。**  
![在这里插入图片描述][70 9]  
θ代表未知变量如π、μ、σ  
除了想估计x还想估计z（这个z代表的是隐随机变量，p代表估计1.88是男性的概率；x代表的是1.88，男性代表的z）  
![在这里插入图片描述][70 10]  
整个过程其实就由求f(θ)转化为求r函数（**下界函数**）的极值（减小了参数个数），直到r函数极值等于f函数的值。  
当θ0处两个函数相等，这时候求r函数的极值处θ1，这时候若r函数小，则再固定z选取一条新的函数r1函数在θ1处等于p函数，接着再求r1函数的极值…以此类推。（固定θ找z，再固定z找θ依次类推直到找到稳定的值）  
![在这里插入图片描述][70 11]  
E步骤：Q对应于实例已知θ求1.88条件下是男性的条件概率的值。  
M步骤：θ代表的加权后求得的均值μ和方差σ。  
整个过程就相当于固定θ（初始给定的值）求Q（Q代表对应的1.88条件下是男性的概率），固定Q（知道这组数据对应的条件概率的值）求θ（求的对应的μ和σ2）…不断重复直到结果稳定（Q可以看做是对应的下界函数）  
![在这里插入图片描述][70 12]

# 5、知道pLSA模型 #

![在这里插入图片描述][70 13]  
![在这里插入图片描述][70 14]  
![在这里插入图片描述][70 15]  
![在这里插入图片描述][70 16]  
![在这里插入图片描述][70 17]  
![在这里插入图片描述][70 18]  
![在这里插入图片描述][70 19]

[EM]: /images/20220512/99e9094267b949b9b83c3fb3ae1b09b0.png
[70]: /images/20220512/78063c043e6b496093befb95d5da530f.png
[70 1]: /images/20220512/ad7d568a8ced428cbec4c6fdecf83d15.png
[70 2]: /images/20220512/3c089aadedbd49d0b8604d0946e36afc.png
[70 3]: /images/20220512/70b08bcbe4de450b8816a2972b5f1203.png
[70 4]: /images/20220512/e2419ef61235460999aa53e69f1840e1.png
[70 5]: /images/20220512/eeb4df34b32748ee92273c4e011dec3c.png
[70 6]: /images/20220512/4851e9ef40c34506860ebcbb63f3b209.png
[70 7]: /images/20220512/bb58db1da1df4c39a115093ab5895758.png
[70 8]: /images/20220512/0a85297b31d84b25a3175462050fa14e.png
[70 9]: /images/20220512/26beaf9b96e74a108df4975a6a2f7a67.png
[70 10]: /images/20220512/7261a47cfa1a4d74aece2d2e65bb1fc8.png
[70 11]: /images/20220512/912fe28eabd14a2a9068d5a64ec66091.png
[70 12]: /images/20220512/1ca2bb09285b4de693e5efe3083524d7.png
[70 13]: /images/20220512/780b1d1bff0841d29dc011feca6a9e6e.png
[70 14]: /images/20220512/7943875406ef4874bda0464c0cb808a1.png
[70 15]: /images/20220512/428e430b0fd24130a01f7453a4bf0c2b.png
[70 16]: /images/20220512/401877add6ea4a17993e35febf419a8c.png
[70 17]: /images/20220512/7d3c8399bacb4d7ba4f421ce1e7848c1.png
[70 18]: /images/20220512/c29339db5c4744699b84b91d153c9007.png
[70 19]: /images/20220512/16db4f7818ea408dbcfa9b694a9d7d38.png