贝叶斯优化 Bayesian Optimization

刺骨的言语ヽ痛彻心扉 2023-06-04 02:50 28阅读 0赞

# 贝叶斯优化 Bayesian Optimization #

2018年07月02日 22:28:06 [余生最年轻][Link 1] 阅读数 4821更多

分类专栏： [机器学习][Link 2]

本文链接： [https://blog.csdn.net/qq\_40597317/article/details/80888837][https_blog.csdn.net_qq_40597317_article_details_80888837]

关键字：提取函数aquisition function，熵，响应曲面

简介：所谓优化，实际上就是一个求极值的过程，数据科学的很多时候就是求极值的问题。那么怎么求极值呢？很显然，很容易想到求导数，这是一个好方法，但是求导即基于梯度的优化的条件是函数形式已知才能求出导数，并且函数要是凸函数才可以。然而实际上很多时候是不满足这两个条件的，所以不能用梯度优化，贝叶斯优化应运而生了。

贝叶斯优化常原来解决反演问题，

（反演问题是指由结果及某些一般原理（或模型）出发去确定表征问题特征的参数（或模型参数））

贝叶斯优化的好处在于只需要不断取样，来推测函数的最大值。并且采样的点也不多。

一、贝叶斯优化的适用条件

不知道函数的具体形态即表达式

但是如果给定一个x，可以计算y。这里的计算方法可以使用之前的GPR，如果(x,y)够多了，那么就基本知道函数图像的走势了。

适用于小于20维的空间上优化

二、目的

找出函数的最值，这是最主要的目的。因为很多时候数据科学的一大部分问题都是做非线性函数f(x)的在范围A内的优化，或者简     单的说，求最大值/最小值。比如需要确定拟合的参数，可以求出关于参数的代价函数，求得该代价函数的最小值就可以确定    对应的最优参数了。那么求这个最小值就需要贝叶斯优化了。

大致知道函数长什么样子：与响应曲面相比，贝叶斯只知道最后函数大概什么走向，但是不知道自变量与因变量的关系。可以大致理解为构建响应曲面（虽然响应曲面努力拟合自变量与因变量的关系，下面是关于响应曲面）

响应曲面设计是利用合理的试验设计方法并通过实验得到一定数据，采用多元二次回归方程来拟合与响应值之间的函数关系，通过对回归方程的分析来寻求最优工艺参数，解决多变量问题的一种统计方法。

将响应看作是因素的函数，使用图形技术体现这种函数。一般假设指标和因素之间的关系可以用线性模型表示，即使用多元线性回归的方法。考虑m个因素和n个结果之间的关系，经常使用[最小二乘法][Link 3]（就是我们数学上的曲线拟合。注意网页的线性最小二乘法的那一项，很重要。）

对于超定方程组，引入残差平方和函数![70][]，最优解为![70 1][]

三、思路

1.因为GP可以得到在一个新的点x的后验概率P(f(x)|x,D)，这里的D为数据集，所以如果想求得极值，可以从GP计算出的x点的均值和方差考虑。可以根据该后验概率的一些指标确定下一个我应该取哪一个点，才有较大的概率尽快的达到极值。

2.如何选取下一个点：求提取函数u达到极值对应的x。这就是上一条的所谓指标。

3.基本算法

![70 2][]

可以看出，这里就是不断的求max(AF)对应的点Xt，计算Xt的Yt，即取样，加到数据集。周而复始的循环。

原谅我写的X,Y都是大写，否则x和t一样大了，强迫症发作

![70 3][]

关于D，D中的数据周围的方差都较小，也就是我们对他们周围的点了解较多，所以只要有足够多的数据到D里面，那么就会收敛到f(x)

4.Xt的选取

![70 4][]

![70 5][]是x点的均值，![70 6][]是x点的方差，他们都是很容易求出来的。![70 7][]是一个参数

[关于如何求出，移驾传送门][Link 4]

5.优化方向

explore 探索未知的空间，尽可能的探索未知的空间，这样对f(x)的后验概率才会更接近f(x)

exploit，强化已有的结果，在现有最大值的附近进行探索，保证找到的f(x)会更大

6.常用的AF

6.1 probability of improvement(POI)

目的：新的采样能提升最大值的概率最大

表达式为：MPI（maximum probability of improvement)，或P算法

![70 8][]

Φ(·) 表示的是正态累计分布函数

改进：这里的参数为trade-off系数，可以控制倾向explore还是exploit

![70 9][]

这里倾向于局部搜索

6.2 Expected improvement(EI)

可以在explore和explot之间平衡，explore时选择均值大的点,exploit选择方差大的点

![70 10][]

参数通常选0.01

6.3 Upper confidence bound

直接比较置信区间的最大值，效果非常好

![70 11][]

参考：http://blog.sina.com.cn/s/blog\_76d02ce90102xqs6.html

转载于:https://www.cnblogs.com/think90/p/11515254.html

[Link 1]: https://me.csdn.net/qq_40597317
[Link 2]: https://blog.csdn.net/qq_40597317/article/category/7765053
[CC 4.0 BY-SA]: http://creativecommons.org/licenses/by-sa/4.0/
[https_blog.csdn.net_qq_40597317_article_details_80888837]: https://blog.csdn.net/qq_40597317/article/details/80888837
[Link 3]: https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95/2522346?fr=aladdin
[70]: https://img-blog.csdn.net/20180711204432701?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTk3MzE3/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: /images/20230601/fc2554b62f224818a2029e4d53618287.png
[70 2]: /images/20230601/77183165f2c143f3ac27ad51e89079ce.png
[70 3]: /images/20230601/dd9e2bd63d5b429f8d673b7c9c25476c.png
[70 4]: /images/20230601/c5d02b4e6b6b497899ea5e3ad3b92765.png
[70 5]: https://img-blog.csdn.net/20180702195553283?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTk3MzE3/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 6]: https://img-blog.csdn.net/20180702195615526?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTk3MzE3/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 7]: /images/20230601/3d2fe9debbd64343a9c9b3333cb7fd4c.png
[Link 4]: https://blog.csdn.net/qq_40597317/article/details/80889114
[70 8]: /images/20230601/c0fc7ede42d34683b8d1e85672c92bbb.png
[70 9]: /images/20230601/f34b942753c0457baff0a467c93e4260.png
[70 10]: /images/20230601/8a7aaa9b0621462a930fbc114f65921e.png
[70 11]: /images/20230601/350ef84b60244763ac8a1b6215164044.png