机器学习最优化算法之梯度下降

待我称王封你为后i 2022-09-15 05:41 511阅读 0赞

**目录**

定义解释

为什么使用梯度下降的原因

公式

学习率及其设置的学问

学习率是不是越大越好

全局最优解的解释

梯度下降法流程

问题总结

批量梯度下降BGD(Batch Gradient Descent)

随机梯度下降SGD(Stochastic Gradient Descent)

缺点：

解决方案：

随机梯度下降收敛图如下：

小批量梯度下降MBGD(Mini-Batch Gradient Descent)

BGD、SGD、MBGD总结

--------------------

# 定义解释 #

梯度下降法（英语：Gradient descent ）是一个一阶最优化算法，通常也称为最速下降法。 梯度下降法是一种求局部最优解的方法，对于F(x)，在a点的梯度是F(x)增长最快的方向，那么它的相反方向则是该点下降最快的方向，原理上可以将函数比作一座山，站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快；

用梯度下降法的 **目的就是以最快的速度 求出 局部 最优解。**

# 为什么使用梯度下降的原因 #

在上一篇文章中[机器学习算法之线性回归\_RayChiu757374816的博客-CSDN博客][RayChiu757374816_-CSDN]，我们通过公式推导，利用θ的解析解公式求解出来的解，我们上来就直接说是这是最优解，原因是因为MSE这个损失函数是凸函数。但是如果我们机器学习的损失函数是非凸函数的话，设置梯度为0会得到很多个极值，甚至是极大值都有可能。

而且在上一篇文章最后我们知道了解析解方式求解的复杂度是随着特征数量翻倍而增大的，所以其实之前一步求出最优解并不是机器学习甚至深度学习常用的手段，如下图，之前我们是设置梯度为0，反过来求解最低点的时候θ是多少，而梯度下降法是一点点去逼近最优解！

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16][]

# 公式 #

上一篇我们说到目标函数是这样：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16][]

hθ是每条样本中每个特征维度对应的参数，那么theta更新的公式为

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16][]

也可以写成：

![20211009172425503.png][]

这里梯度下降法的公式就是一个式子指导计算机迭代过程中如何去调整θ，不需要推导和证明，就是总结出来的，Wj就是θ中的某一个j=0…n，这里的η就是上图里的learning step，很多时候也叫学习率learning rate，很多时候也用α表示，这个学习率我们可以看作是下山迈的步子的大小，步子迈的大下山就快。

那么对应到样本数据中，梯度 gradient**j**推导过程为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16][]

计算的梯度结果就是 xj 这一个特征维度对应的梯度。

# 学习率及其设置的学问 #

学习率一般都是正数，那么在山左侧梯度是负的，那么这个负号就会把W往大了调，如果在山右侧梯度就是正的，那么负号就会把W往小了调。每次Wj调整的幅度就是η\*gradient，就是横轴上移动的距离。

如果特征或维度越多，那么这个公式用的次数就越多，也就是每次迭代要应用的这个式子n+1次，所以其实上面的图不是特别准，因为θ对应的是很多维度，应该每一个维度都可以画一个这样的图，或者是一个多维空间的图。

![a08d0adbeb659b61ab212962553e00b1.gif][]

所以我们可以发现不是某一个维度找到最小值就是最优解，而是所有维度一起找到最小值的时候才是最优解。

## 学习率是不是越大越好 ##

设置学习率的问题是设置太大会产生震荡，太小会比较缓慢，而且容易陷入局部最优。

因此学习率绝对值不是越大越好，设置小的学习率Wj每次调整的幅度就小，然而如果步子迈的太大上边也说了同样会有问题（如下图）

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16][]

## 全局最优解的解释 ##

下图可以看出如果损失函数是非凸函数，梯度下降法是有可能落到局部最小值的，所以其实步长不能设置的太小太稳健，那样就很容易落入局部最优解，虽说局部最小值也没大问题，因为模型只要是堪用的就好嘛，但是我们肯定还是尽量要奔着全局最优解去。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16][]

## 梯度下降法流程 ##

梯度下降法几步流程就是猜正确答案的过程：

a. 瞎蒙，Random随机θ，随机一组数值W0…Wn

b. 求梯度，为什么是梯度？因为梯度代表曲线某点上的切线的斜率，沿着切线往下下降就相当于沿着坡度最陡峭的方向下降

c. if g<0, theta变大，if g>0, theta变小

d. 判断是否收敛convergence，如果收敛跳出迭代，如果没有达到收敛，回第2步继续

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1][]

## 问题总结 ##

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16][]

# 批量梯度下降BGD(Batch Gradient Descent) #

对所有数据点，上述损失函数的偏导（累和）为

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16][]

在最小化损失函数的过程中，需要不断反复的更新参数weights 使得误差函数减小，更新过程如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2][]

每一次的参数更新都用到了所有的训练数据，所以BGD 算法会非常耗时

批梯度下降的收敛图：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1][]

从图中，可以得到BGD迭代的次数相对较少。

还有一点强调一下一般为了**更容易正确的收敛到最优解**会在梯度下降前加归一化操作，归一化和不归一化区别：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16][]

# **随机梯度下降SGD(**Stochastic Gradient Descent**)** #

由于批梯度下降每跟新一个参数的时候，要用到所有的样 本数，所以训练速度会随着样本数量的增加而变得非常缓 慢。随机梯度下降正是为了解决这个办法而提出的。它是 利用每个样本的损失函数对θ求偏导得到对应的梯度，来 更新θ：

![20211011102708990.png][]

### 缺点： ###

SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每 次迭代都向着整体最优化方向。

### 解决方案： ###

1. 动态更改学习速率a的大小，可以增大或者减小

2. 随机选样本进行学习

### 随机梯度下降收敛图如下： ###

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2][]

从图中看出SGD迭代的次数较多，在解空间的搜索过程看起 来很盲目。但是大体上是往着最优值方向移动。

# **小批量梯度下降MBGD(**Mini-Batch Gradient Descent**)** #

小批量梯度下降设计初衷是为了解决BGD和SGD的缺点，使得算法的训练过程比较快，而且也 要保证最终参数训练的准确率

# BGD、SGD、MBGD总结 #

批量梯度下降每次更新使用了所有的训练数据，最小化损失函数，如果只有一个极小值，那么批量梯度下降是考虑了训练集所有数据，是朝着最小值迭代运动的，但是缺点是如果样本值很大的话，更新速度会很慢。  
随机梯度下降在每次更新的时候，只考虑了一个样本点，这样会大大加快训练数据，也恰好是批梯度下降的缺点，但是有可能由于训练数据的噪声点较多，那么每一次利用噪声点进行更新的过程中，就不一定是朝着极小值方向更新，但是由于更新多轮， 整体方向还是大致朝着极小值方向更新，又提高了 速度。  
小批量梯度下降法是为了解决批梯度下降法的训练速度慢，以及随机梯度下降法的准确性综合而来，但是这里注意，不同问题的batch是不一样的，nlp的 parser训练部分batch一般就设置为10000，那么为什么是10000呢，我觉得这就和每一个问题中神经网络需要设置多少层，没有一个人能够准确答出，只能 通过实验结果来进行超参数的调整。

[RayChiu757374816_-CSDN]: https://blog.csdn.net/RayChiu757374816/article/details/120530288
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c0e0d29780ff4402b4d6ff5093b8d7e4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a9744bd5ecf34f4388db6ed3b9621a15.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/08cc6702a8814d86ac0a6c2ba160d918.png
[20211009172425503.png]: /images/20220828/fa323ae80e864b41bc4e216225d2f6ba.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/9c54292383ef41d0a93e78c77ff4ff13.png
[a08d0adbeb659b61ab212962553e00b1.gif]: /images/20220828/e35623a6daec40239a176d5b480dba2e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/8a8e78ee69c64a07a3f52c1cc94430f8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/dc1e637d2ab84458b1f7b868035df8e9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/11e3234b59274c2b8c5a9ed7dc485156.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/1b6b2d826e644500813ff84fdcc8fdce.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/17362c0c54ed49bda67e5b1b25c397fc.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/7ffceef249114facacce5184a866611f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/95951d4c4c6f469386b9237f8510cc9e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/1d65fc83cc6c49fa98fea245d3423eeb.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/e720e241088f4363b691b0260292bbec.png
[20211011102708990.png]: /images/20220828/3853e4de76f04fce9cb048da18ba3cda.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/ac0707d4e4314cc7b58c620f12f25406.png