机器学习模型求解算法

女爷i 2022-10-29 06:23 172阅读 0赞

## 1. 梯度下降算法 ##

**梯度下降**（gradient descent）是一种常用的一阶优化方法，是求解无约束优化问题最简单、最经典的方法之一

**梯度方向**：函数变化增长最快的方向（变量沿此方向变化时函数增长最快）

**负梯度方向**：函数变化减少最快的方向（变量沿此方向变化时函数减少最快）

**损失函数是系数的函数**，那么如果系数沿着损失函数的负梯度方向变化，此时损失函数减少最快，能够以最快速度下降到极小值沿着负梯度方向迭代，迭代后的 θ 使损失函数 J(θ) 更小：  
![在这里插入图片描述][20210208235934944.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]  
比如我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去，一直走到觉得我们已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山谷处。

从上面的解释可以看出，梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解

如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解

## 2. 牛顿法和拟牛顿法 ##

牛顿法（Newton method）

迭代公式：  
![在这里插入图片描述][20210209000020900.png]

其中 ![在这里插入图片描述][20210209000027603.png]是 f(x) 的梯度向量在 x(k) 的值，  
![在这里插入图片描述][20210209000050851.png] 是 f(x) 的海塞矩阵在 x(k) 的值![在这里插入图片描述][20210209000113933.png]

梯度下降法只考虑了一阶导数，而牛顿法考虑了二阶导数，因此收敛速度更快

**拟牛顿法（quasi Newton method）**

牛顿法需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂

拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵，从而大大简化了计算过程

[20210208235934944.png]: /images/20221024/eb365b84528a45d688c3f3fff2845ac0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221024/da8faab4ec5c4c3bb413f1bc8ac8f62d.png
[20210209000020900.png]: /images/20221024/057aa977125244a98262c0f771af0c54.png
[20210209000027603.png]: /images/20221024/28541b7bf194409a8d3bf1666a74b680.png
[20210209000050851.png]: https://img-blog.csdnimg.cn/20210209000050851.png
[20210209000113933.png]: /images/20221024/4876ae9f770d4d65b4eb63fedaa7334d.png