深度学习常用知识梯度下降学习率和反向传播

雨点打透心脏的1/2处 2024-03-31 15:51 90阅读 0赞

#### 目录 ####

*  1 梯度下降
 *  2 学习率
 *  3 反向传播

--------------------

## 1 梯度下降 ##

梯度下降法主要用于单个参数的取值。假如损失函数是一座山，我们从山上一个任意点开始往山下走，山坡的坡度越大，我们的垂直高度下降的越快。当我们到达某一个点是，我们往任意方向前进多都会升高使，我们就到达了最低点。准确来说是局部最低点。但是如果损失函数是个凸函数，那么这个局部最优解就是整体最优解。

![在这里插入图片描述][c916965698354f999140de2c539a1c87.png]

梯度下降

说到这我们就要提到微分方程了。对损失函数求导，导数就是我们所谓的梯度：

![在这里插入图片描述][345c43ea94a74609aed4adc626eb6e9a.png]  
此处的是数据集的数目。符号![figure-0114-0139.jpg][]代表对所有训练数据集中的特征和标签进行处理并求和，这是已经推导出来的求梯度的具体步骤。如果不熟悉导数（也就是对损失函数的微分）的演算也没有什么影响。因为梯度的计算过程都已经封装在各种机器学习框架中，并不用我们自己写代码实现。我们的目的是不断更新参数以使得损失函数最小化。

那这里的α是什么？α是我们给参数的变化加上一个权重，也即是学习率。我们以此来控制参数的变化速度。为什么我们要使用学习率呢？

## 2 学习率 ##

从上面的公式我们不难发现，我们加入学习率就是希望在参数更新缓慢的时候加快它的更新，在参数跟新跨度太大使减弱它的更新。那么如何选择合适的学习率呢？

![img][]

小学习率和大学习率的影响

![在这里插入图片描述][7f6e4b03dd754c78a740612f5db37205.png]

如图左所示，如果学习率太小，那么我们每次训练之后得到的效果都太小，这无疑增大了我们的无谓的时间成本。如果如图右所示，学习率太大，那我们有可能直接跳过最优解，进入无限的训练中。所以解决的方法就是，学习率也需要随着训练的进行而变化。  
Tensorflow提供了一种灵活的学习率设置—指数衰减法。先从一个较大的学习率开始快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率：

current_learning_rate = \
    learning_rate * decay_rate ^ (global_step / decay_steps)

**current\_learning\_rate**： 当前使用的学习率  
**learning\_rate**： 初始学习率  
**decay\_rate**： 衰减系数  
**decay\_steps**： 衰减步幅  
**global\_step**： 训练总步数

--------------------

## 3 反向传播 ##

反向传播法是神经网络训练中非常重要的算法，可以帮助我们在所有参数上使用梯度下降法，通过反向传播更新参数，从而使损失函数更小。

![img][img 1]

前向传播与反向传播

x和y作为输入经过训练变成输出z传给下一层，我们计算得到误差函数L，并对x和y求导，得出x和y对于误差的影响，然后据此更新x和y。在实际应用中我们计算参数对于误差的影响，然后反向更新参数。

[c916965698354f999140de2c539a1c87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/ca6dc629aa8d421ba4a0233eab859394.png
[345c43ea94a74609aed4adc626eb6e9a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/da1aa2b31ac64c45b353d4dd36fad36f.png
[figure-0114-0139.jpg]: http://csdn-ebook-resources.oss-cn-beijing.aliyuncs.com/images/b88b00f6ad14402ea66695d6809614da/figure-0114-0139.jpg
[img]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/e3322b5b9ddb42789b12788b869f5690.png
[7f6e4b03dd754c78a740612f5db37205.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/6ff91681009e412cbc67b1444b56b786.png
[img 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/dbf5f2e811f346efac4cc56fa640225d.png