降低损失 (Reducing Loss)：梯度下降法

谁践踏了优雅 2022-02-27 15:24 275阅读 0赞

## 降低损失 (Reducing Loss)：梯度下降法 ##

[外网原文及视频教程链接][Link 1][https://developers.google.com/machine-learning/crash-course/reducing-loss/gradient-descent?hl=zh-cn][Link 1]

降低损失 (Reducing Loss)：梯度下降法  
预计用时：10 分钟  
迭代方法图（[图 1][1]）包含一个标题为“计算参数更新”的华而不实的绿框。现在，我们将用更实质的方法代替这种华而不实的算法。

假设我们有时间和计算资源来计算 w1 的所有可能值的损失。对于我们一直在研究的回归问题，所产生的损失与 w1 的图形始终是凸形。换言之，图形始终是碗状图，如下所示：

![U 形曲线上的第二个点，这个点更接近最低点。][U]  
**图 2. 回归问题产生的损失与权重图为凸形。**

凸形问题只有一个最低点；即只存在一个斜率正好为 0 的位置。这个最小值就是损失函数收敛之处。

通过计算整个数据集中 w1 每个可能值的损失函数来找到收敛点这种方法效率太低。我们来研究一种更好的机制，这种机制在机器学习领域非常热门，称为**梯度下降法**。

梯度下降法的第一个阶段是为 w1 选择一个起始值（起点）。起点并不重要；因此很多算法就直接将 w1 设为 0 或随机选择一个值。下图显示的是我们选择了一个稍大于 0 的起点：

![U 形曲线上的第二个点，这个点更接近最低点。][U 1]  
**图 3. 梯度下降法的起点。**

然后，梯度下降法算法会计算损失曲线在起点处的梯度。简而言之，**梯度**是偏导数的矢量；它可以让您了解哪个方向距离目标“更近”或“更远”。请注意，损失相对于单个权重的梯度（如图 3 所示）就等于导数。

▸**详细了解偏导数和梯度。**

请注意，梯度是一个矢量，因此具有以下两个特征：

*  方向
 *  大小

梯度始终指向损失函数中增长最为迅猛的方向。梯度下降法算法会沿着负梯度的方向走一步，以便尽快降低损失。

![U 形曲线上的第二个点，这个点更接近最低点。][U 2]  
**图 4. 梯度下降法依赖于负梯度。**

为了确定损失函数曲线上的下一个点，梯度下降法算法会将梯度大小的一部分与起点相加，如下图所示：

![U 形曲线上的第二个点，这个点更接近最低点。][U 3]  
**图 5. 一个梯度步长将我们移动到损失曲线上的下一个点。**

然后，梯度下降法会重复此过程，逐渐接近最低点。

关键字词  
[梯度下降法][Link 2]  
[步][Link 3]

[Link 1]: https://developers.google.com/machine-learning/crash-course/reducing-loss/gradient-descent?hl=zh-cn
[1]: https://developers.google.com/machine-learning/crash-course/reducing-loss/an-iterative-approach?hl=zh-cn#ml-block-diagram
[U]: /images/20220227/ce890727d8f240f68e047d18d2027727.png
[U 1]: /images/20220227/965273e52ff948e88e9a8b5e3e173405.png
[U 2]: /images/20220227/c1aa9582a9e24a3ba21a63c742c8a8fc.png
[U 3]: /images/20220227/4603e8ca60d44f0680b6ffe95adac32c.png
[Link 2]: https://developers.google.com/machine-learning/crash-course/glossary?hl=zh-cn#gradient_descent
[Link 3]: https://developers.google.com/machine-learning/crash-course/glossary?hl=zh-cn#step