指数分布族(Exponential Family)相关公式推导及在变分推断中的应用

「爱情、让人受尽委屈。」 2022-03-20 19:10 1177阅读 0赞

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。  
**未经本人允许禁止转载**。

### 文章目录 ###

*  指数分布族的概念
 *  典型分布转化
 *   *  Bernoulli分布
     *  Poisson分布
     *  Gaussian分布
 *  多元Gaussian分布
 *   *  Multinomial分布
 *  变分推断应用
 *   *  LDA模型
 *  参考内容

# 指数分布族的概念 #

指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正太分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多项式分布(multivariate)等。  
指数分布族中的分布以及指数分布族的性质，经常用于机器学习(machine learning)模型的参数假设以及参数推理中。较为典型的模型是生成模型，例如主题模型(Topic Models)中经常使用到的共轭分布(multivariate和Dirichlet分布、Bernoulli和Beta分布、Poisson和gamma分布等)。指数分布族中的共轭经常用于参数推理、另外其统计特性经常用于变分推理。例如，有兴趣的可以详细阅读下面几篇文章：

*  Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation\[J\]. Journal of machine Learning research, 2003, 3(Jan): 993-1022.
 *  Teh Y W, Newman D, Welling M. A collapsed variational Bayesian inference algorithm for latent Dirichlet allocation\[C\]//Advances in neural information processing systems. 2007: 1353-1360.
 *  Blei D M, Kucukelbir A, McAuliffe J D. Variational inference: A review for statisticians\[J\]. Journal of the American Statistical Association, 2017, 112(518): 859-877. 【变分推断的综述性文章–案例代码为：[https://blog.csdn.net/qy20115549/article/details/86694325】][https_blog.csdn.net_qy20115549_article_details_86694325]
 *  Su J. Variational Inference: A Unified Framework of Generative Models and Some Revelations\[J\]. arXiv preprint arXiv:1807.05936, 2018. 【变分自编码器VAE、生成对抗网络GAN】
 *  Wainwright M J, Jordan M I. Graphical models, exponential families, and variational inference\[J\]. Foundations and Trends® in Machine Learning, 2008, 1(1–2): 1-305. 【**一本书**】

**指数分布族中的分布于都写成下面的形式：**  
![在这里插入图片描述][20190214085454173.png_pic_center]  
其中：

*   η \\eta η为自然参数(natural parameter)，可以是向量形式
 *   T ( x ) T(x) T(x)为充分统计量(sufficient statistic)
 *   A ( η ) A(\\eta) A(η)为累计函数(cumulant function)，作用是确保概率和为1
 *   h ( x ) h(x) h(x)为underlying measure

# 典型分布转化 #

## Bernoulli分布 ##

以下是Bernoulli分布的转化：  
![在这里插入图片描述][20190214091117481.png_pic_center]  
对比上面的形式，可以得到：  
![在这里插入图片描述][20190214091216981.png_pic_center]

## Poisson分布 ##

泊松分布的标准形式为：  
![在这里插入图片描述][2019021409150780.png_pic_center]  
写成指数形式为：  
![在这里插入图片描述][20190214091550900.png_pic_center]  
因此泊松分布也属于指数分布族，其相关参数为：  
![在这里插入图片描述][20190214091737350.png_pic_center]

## Gaussian分布 ##

正太分布的形式为：  
![在这里插入图片描述][20190214091848412.png_pic_center]  
写成指数形式为：  
![在这里插入图片描述][20190214091913334.png_pic_center]  
因此，也满足指数组分布：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center]  
高斯分布有两个参数，因此自然参数以及充分统计量都有两个。

# 多元Gaussian分布 #

标准形式为：  
![在这里插入图片描述][20190214100756669.png_pic_center]  
写成指数族形式：  
![在这里插入图片描述][20190214100659905.png_pic_center]  
对比：  
![在这里插入图片描述][20190214085454173.png_pic_center]  
可以得到：  
![在这里插入图片描述][20190214101021397.png_pic_center]  
自然参数为：  
![在这里插入图片描述][20190214101434843.png_pic_center]  
cumulant function为：  
![在这里插入图片描述][20190214101518180.png_pic_center]

## Multinomial分布 ##

多项式分布的形式为：  
![在这里插入图片描述][20190214093310911.png_pic_center]  
重写为：  
![在这里插入图片描述][20190214093357767.png_pic_center]  
从这里发现，累计函数 A ( η ) A(\\eta) A(η)为0了，实际上并不为0。继续转化有：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 1]  
这里有：  
![在这里插入图片描述][20190214095224279.png_pic_center]  
因此，可以得到：  
![在这里插入图片描述][20190214095250531.png_pic_center]  
由这个式子可以转化得到 π k \\pi\_\{k\} πk，即：  
![在这里插入图片描述][20190214095446438.png_pic_center]  
可以看出这个式子是softmax函数。  
另外，我们也可以获得：  
![在这里插入图片描述][20190214095546857.png_pic_center]

# 变分推断应用 #

在变分推理中，经常使用到的是 A ( η ) A(\\eta) A(η)性质，即 A ( η ) A(\\eta) A(η)对 ( η (\\eta (η的一阶偏导数：  
![在这里插入图片描述][20190214103805276.png_pic_center]  
上面这个公式，可以由最原始的公式得到。继续计算有：  
![在这里插入图片描述][2019021410550288.png_pic_center]  
例如，对二项分布而言：  
![在这里插入图片描述][20190214111211416.png_pic_center]  
对正太分布而言：  
![在这里插入图片描述][20190214111310641.png_pic_center]  
在变分推理中，经常要计算期望，通过这个性质，便可以将期望计算转化成求导计算。例如，

## LDA模型 ##

LDA的概率图表示如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 2]  
主题分布 θ \\theta θ服从先验为 α \\alpha α的Dirichlet分布，即：  
![在这里插入图片描述][20190214144213856.png_pic_center]  
其中：  
![在这里插入图片描述][20190214144249556.png_pic_center]  
对 θ \\theta θ的分布进行转化有：  
![在这里插入图片描述][20190214144705237.png_pic_center]  
因此，可以看出Dirichlet分布也属指数分布，由上面的公式得到：  
自然参数 η i \\eta \_\{i\} ηi:  
![在这里插入图片描述][20190214145007254.png_pic_center]  
sufficient statistic为：  
![在这里插入图片描述][20190214145124151.png_pic_center]  
log normalizer或cumulant function为：  
![在这里插入图片描述][20190214145235551.png_pic_center]  
基于上面这三个公式有：  
![在这里插入图片描述][20190214145331652.png_pic_center]  
在LDA的变分推理中，需要将下界ELOB转化为多项期望，如下面所示：  
![在这里插入图片描述][20190214145547196.png_pic_center]  
此公式中，包含多个期望，在计算时，每个期望都需要推导出公式。由于前面已经分析参数 θ \\theta θ，下面只例举 E q \[ l o g p ( θ j ∣ α ) \] E\_q\[logp(\\theta\_j|\\alpha)\] Eq\[logp(θj∣α)\]:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 3]  
在上面公式标红的部分，便可转化成偏导的计算，这里 θ \\theta θ对应的变分参数为 γ \\gamma γ，即：  
![在这里插入图片描述][20190214150442689.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 4]  
这里的log normalizer或cumulant function为：  
![在这里插入图片描述][20190214150650451.png_pic_center]  
进而可以计算公式标红的期望：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 5]  
其中， Ψ ( ⋅ ) \\Psi(\\cdot) Ψ(⋅)**为digamma函数，及Gamma函数对数的一阶偏导数**。因此有：  
![在这里插入图片描述][20190214153455264.png_pic_center]  
关于其他期望的求法与这个类似，这里不作过多赘述，有兴趣的可以学习这篇文章：  
Inference Methods for Latent Dirichlet Allocation

# 参考内容 #

[https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter8.pdf][https_people.eecs.berkeley.edu_jordan_courses_260-spring10_other-readings_chapter8.pdf]  
[http://www.cs.columbia.edu/~jebara/4771/tutorials/lecture12.pdf][http_www.cs.columbia.edu_jebara_4771_tutorials_lecture12.pdf]  
[https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter9.pdf][https_people.eecs.berkeley.edu_jordan_courses_260-spring10_other-readings_chapter9.pdf]  
[http://times.cs.uiuc.edu/course/598f16/notes/lda-survey.pdf][http_times.cs.uiuc.edu_course_598f16_notes_lda-survey.pdf] \[lda推理\]

[https_blog.csdn.net_qy20115549_article_details_86694325]: https://blog.csdn.net/qy20115549/article/details/86694325%E3%80%91
[20190214085454173.png_pic_center]: /images/20220320/ba11a12469fc4fbb81711489fbc94a76.png
[20190214091117481.png_pic_center]: /images/20220320/9164f507b24d4a1bb44d166ea26d85c2.png
[20190214091216981.png_pic_center]: /images/20220320/1f54ecc77ae245b4a373dd1e1c712a54.png
[2019021409150780.png_pic_center]: /images/20220320/1fda331c52884f00b88996a42e98f3a4.png
[20190214091550900.png_pic_center]: /images/20220320/f6bd3f47b8e2439695d353f75606e807.png
[20190214091737350.png_pic_center]: /images/20220320/045746452fa24e14b994ab764ffd95cc.png
[20190214091848412.png_pic_center]: /images/20220320/c07ec5d45cda4288885faafc80f6f760.png
[20190214091913334.png_pic_center]: /images/20220320/4eed8ac863b047748072fe2541a696cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center]: /images/20220320/567bca7a4bf14549941bcf566adba65e.png
[20190214100756669.png_pic_center]: /images/20220320/7e1314c004594f5fbb380d2173ed128f.png
[20190214100659905.png_pic_center]: /images/20220320/247e310d137a4bddbc50b62234335f2d.png
[20190214101021397.png_pic_center]: /images/20220320/495dac20e82d43a2962e2c7b57143513.png
[20190214101434843.png_pic_center]: /images/20220320/84ee4deb0a09416682f9ae542138e237.png
[20190214101518180.png_pic_center]: /images/20220320/4d9e26e764dd4c40b60f7d9b1adadd93.png
[20190214093310911.png_pic_center]: /images/20220320/b15b18dd07784efeb606a7f1c32ce76f.png
[20190214093357767.png_pic_center]: /images/20220320/38750d17094645ddaa009cc911faf27d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220320/ebc8776aacc64ac096b0c445f53f5478.png
[20190214095224279.png_pic_center]: /images/20220320/ee1feaa06bf84c24a72949a07c156d97.png
[20190214095250531.png_pic_center]: /images/20220320/63d6780e63504a2ca63f15c7c4bc8868.png
[20190214095446438.png_pic_center]: /images/20220320/ed5261534bc347bb9db5c8cb716dd0f9.png
[20190214095546857.png_pic_center]: /images/20220320/0679f97da90a40a19ea114811460d983.png
[20190214103805276.png_pic_center]: /images/20220320/25bfa5de037b44228d488d7100e90b00.png
[2019021410550288.png_pic_center]: /images/20220320/eac6ebedd2e04fae82aba6823d508c96.png
[20190214111211416.png_pic_center]: /images/20220320/9429c270e5214e46807f37d1892649c5.png
[20190214111310641.png_pic_center]: /images/20220320/b57ce425903e456f8d4c5852724c6e18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220320/58ab653aa0ff43a68f3a26dadcc0f672.png
[20190214144213856.png_pic_center]: /images/20220320/61f88cdeb57345e3adc3a3a428e0630c.png
[20190214144249556.png_pic_center]: /images/20220320/1aebeb3f2cc94468992c2d028b691072.png
[20190214144705237.png_pic_center]: /images/20220320/ca02b9c959d249a2ae7e8c3cec33df0e.png
[20190214145007254.png_pic_center]: /images/20220320/86546cbebd2d4f2496d043acabd8f7ad.png
[20190214145124151.png_pic_center]: /images/20220320/d5d4f145033d41e98073aa23e782e02d.png
[20190214145235551.png_pic_center]: /images/20220320/9599064c391d434095daa190c7141a68.png
[20190214145331652.png_pic_center]: /images/20220320/6c47d67452c3430fb35f6870809ebd0d.png
[20190214145547196.png_pic_center]: /images/20220320/b219675a8e174313862f0a047167b407.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220320/d9b6b3dd3f1a4d518342c2443889becf.png
[20190214150442689.png_pic_center]: /images/20220320/2298d42d0f614f6ba6f5e2ffe5b74d5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20220320/cef9faf4864e41119709e3d4c761fc35.png
[20190214150650451.png_pic_center]: /images/20220320/1edd7dd1cc8d46eebc40a9eddcfc1d18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20220320/dd80eb254f694086a36989e65116b525.png
[20190214153455264.png_pic_center]: /images/20220320/6d9a04171ba948c9bdf4beaddc7bc1d2.png
[https_people.eecs.berkeley.edu_jordan_courses_260-spring10_other-readings_chapter8.pdf]: https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter8.pdf
[http_www.cs.columbia.edu_jebara_4771_tutorials_lecture12.pdf]: http://www.cs.columbia.edu/~jebara/4771/tutorials/lecture12.pdf
[https_people.eecs.berkeley.edu_jordan_courses_260-spring10_other-readings_chapter9.pdf]: https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter9.pdf
[http_times.cs.uiuc.edu_course_598f16_notes_lda-survey.pdf]: http://times.cs.uiuc.edu/course/598f16/notes/lda-survey.pdf