采样方法（二）MCMC相关算法介绍及代码实现

浅浅的花香味﹌ 2023-06-04 02:52 34阅读 0赞

# 采样方法（二）MCMC相关算法介绍及代码实现 #

2017-12-30 15:32:14 [Dark\_Scope][Dark_Scope] 阅读数 10509更多

分类专栏： [机器学习][Link 1]

本文链接： [https://blog.csdn.net/Dark\_Scope/article/details/78937731][https_blog.csdn.net_Dark_Scope_article_details_78937731]

## 0.引子 ##

书接前文，在[采样方法（一）][Link 2]中我们讲到了拒绝采样、重要性采样一系列的蒙特卡洛采样方法，但这些方法在高维空间时都会遇到一些问题，因为很难找到非常合适的可采样Q分布，同时保证采样效率以及精准度。  
本文将会介绍采样方法中最重要的一族算法，MCMC（Markov Chain Monte Carlo），在之前我们的蒙特卡洛模拟都是按照如下公式进行的：  
E\[f(x)\]≈1m∑mi=1f(xi).  xi∼p.iid\{E\}\[f(x)\] \\approx \\frac\{1\}\{m\}\\sum\_\{i=1\}^m\{f(x\_i)\}.\\ \\ x\_i \\sim p.iidE\[f(x)\]≈m1i=1∑mf(xi).  xi∼p.iid  
我们的x都是独立采样出来的，而在MCMC中，它变成了  
E\[f(x)\]≈1m∑mi=1f(xi).  (x0,x1,...,xm)∼MC(p)\{E\}\[f(x)\] \\approx \\frac\{1\}\{m\}\\sum\_\{i=1\}^m\{f(x\_i)\}.\\ \\ (x\_0,x\_1,...,x\_m)\\sim MC(p)E\[f(x)\]≈m1i=1∑mf(xi).  (x0,x1,...,x

转载于:https://www.cnblogs.com/think90/p/11612293.html

[Dark_Scope]: https://me.csdn.net/Dark_Scope
[Link 1]: https://blog.csdn.net/dark_scope/article/category/1277457
[CC 4.0 BY-SA]: http://creativecommons.org/licenses/by-sa/4.0/
[https_blog.csdn.net_Dark_Scope_article_details_78937731]: https://blog.csdn.net/Dark_Scope/article/details/78937731
[Link 2]: http://blog.csdn.net/Dark_Scope/article/details/70992266