什么是梯度下降法？

梦里梦外; 2023-01-04 14:37 95阅读 0赞

梯度下降是通过迭代搜索一个函数极小值的优化算法。使用梯度下降,寻找一个函数的局部极小值的过程起始于一个随机点,并向该函数在当前点梯度(或近似梯度)的反方向移动。

在线性和对数几率回归中,梯度下降可以用于搜索最优参数。至于SVM和神经网络,我们之后才考虑。在很多模型中,比如对率回归或者SVM,优化标准是凸形的。凸形函数只有一个极小值,即全局最小值。相比之下,神经网络中的优化标准是非凸形的。不过,即使只找到局部最小值,在很多实际问题中也足够了。

让我们来了解一下梯度下降是怎样工作的。

## 梯度下降 ##

在本节中,我们具体说明利用梯度下降如何求解一个线性回归问题[\[1\]][1]。我们用Python代码配合说明我们的描述,同时也用图表表示几个梯度下降迭代后解的变化。这里,我们用的数据集只有单一特征。即便这样,优化标准仍会有两个参数:*w*和*b*。扩展到多维度训练数据很简单:二维数据的时候我们有*w*(1),*w*(2)和*b*,三维数据则有*w*(1),*w*(2),*w*(3)和*b*,以此类推。

举一个更具体的例子,这里使用一个现实数据集(可在本书的维基中找到)。数据包括以下两列:每年各个公司用于广播广告的开销,以及它们每年销售的单位数量。我们想要构建一个回归模型,可基于公司在广播广告上的开销预测单位销售量。数据集中的每一行代表一个具体的公司。

我们有200个公司的数据,也就有200个训练样本,具体形式为(*xi*,*yi*)=(开销,销售)。全部样本可以表示在图4.1中的图表中。

![5f4f75caacf2b2d0464f353aac6802d6.png][]

图4.1　原数据

注:*y*轴对应销售单位(我们想要预测的量),*x*轴对应我们的特征,即在广播广告上的开销(百万美元)。

![37ab3e4759e9ac681835ca083951eba2.png][]

我们回顾一下,线性回归模型的形式是:*f*(*x*)=***wx***\+*b*。我们并不知道*w*和*b*的最优值,需要从数据中学习。具体地说,我们要找使均方误差最小化的*w*和*b*值:

![fcc0f3e59d45e7702ca6044f212b858e.png][]

梯度下降从计算每个参数的偏导数开始:

![1450b730c67a7a838f03ff4165ca2d69.png][]

(4.1)

为求(*yi*\-(*wx*\+*b*))2对*w*的偏导数,我们需要使用链式法则。这里,*f*=*f*2(*f*1)是复合函数。其中,*f*1=*yi*\-(*wx*\+*b*),且

![82dcf3f43b17f444cd073bbae6873d78.png][]

。要求*f*对*w*的偏导数,需要先求*f*对*f*2的偏导数,等于2(*yi*\-(*wx*\+*b*))(线性代数中,我们已知导数

![b1398254b38edb1da14dde321f46c6b1.png][]

)。接着,乘以*yi*\-(*wx*\+*b*)对*w*的偏导数-*x*。组合在一起,有

![0062e58b091aad0a87300bd2c1fe1591.png][]

。如法炮制,求*l*对*b*的偏导数

![2ac0f92e9118b906f1f2b81f14b3ed5c.png][]

。

梯度下降分周期(epoch)进行。每个周期使用整个训练集更新每个参数。在第一个周期,我们初始化[\[2\]][2]参数*w*←0和*b*←0。偏导函数

![d8aafb3a59c2989f43754890739ff2b9.png][]

和

![8be7a5de8035a8fa64ebce8830e41fef.png][]

分别等于

![a9c7c722e47c65ed72e444d1e64a87bb.png][]

和

![5725100b69bd666f9876a75c33332e67.png][]

。在每个周期,我们用偏导数更新*w*和*b*。更新的幅度由学习速率*α*控制。

![1ce88fd598ab97fbac8a2e5d8628e237.png][]

(4.2)

我们从参数值中减去(而不是加)偏导数,因为导数是一个函数增速的指标。如果导数在某一点[\[3\]][3]为正,那么该函数在这一点是增长的。因为我们想要最小化目标函数,所以当导数为正值时,参数应向反方向移动(坐标轴的左侧)。当导数为负值时(函数在下降),参数继续向右移动,从而使函数继续减小。

在下一个周期,我们用式4.1和新的*w*、*b*值重新计算偏导数;重复该步骤,直到收敛。一般情况是,我们需要很多周期才能观察到*w*、*b*值在每个周期后不再有大的变化,这时便可以停止了。

很难想象有完全不喜欢使用Python编程语言的机器学习工程师。因此,如果读者还在等待时机开始学习这门语言,现在就再恰当不过了。下面我们看一下在Python语言中如何实现梯度下降。

在每个周期中,更新参数*w*和*b*的函数如下所示。

![90f4a9ccdaed691043c8cb08cca3304c.png][]

![f464d1af8cc9bba9d2b5c04bdf849768.png][]

以一个for循环重复多个周期的函数如下所示。

![d7d06c99fec6678727b52b98580c2918.png][]

上面train函数中的avg\_loss函数用于计算平均平方误差,具体定义如下:

![3af647adc677116c649f75f96a14fecf.png][]

如果我们预设函数*α*=0*.*001、*w*=0*.*0、*b*=0*.*0,并以周期为1 500运行train函数,我们将看到以下输出(只显示部分输出)。

![3eb3738ca36e31e04278a095164852a8.png][]

我们可以看到,随着train函数循环地运行每个周期,平均损失随之下降。回归线随着训练周期的变化如图4.2所示。

![f01fa82699ed50bc914363aebcb1e269.png][]

图4.2　回归线随着梯度下降周期变化而改变

最后,一旦我们找到参数*w*和*b*的最优值,就只需要一个进行预测的函数:

![e848ba667ebe025bc84d4eb4e78bcaa6.png][]

试着运行以下代码。

![c2706173578d70e1eeb0ad3a74fa20bf.png][]

输出结果应该是13.97。

梯度下降对学习速率*α*的选择较敏感。同时,在大数据集上的训练速度较慢。庆幸的是,计算机科学家们已经在原算法基础上提出了一些重要的改进。

小批次随机梯度下降(minibatch Stochastic Gradient Descent,minibatch SGD)就是其中一个改良的版本,通过使用小批量训练样本(子集)估算梯度,从而使计算加速。SGD本身也有诸多“升级”。比如,Adagrad就是其中一个升级版,可通过历史梯度调整每个参数的学习速率*α*:当梯度非常大时*α*减小,反之增大。**动量**(Momentum)是一种加速SGD的方法,它指定梯度下降方向为相关方向并减少摇摆。在训练神经网络时,也常用到SGD的变形,如RMSprop和Adam。

需要注意的是,梯度下降和其变形并不是机器学习算法。它们仅是最小化问题的求解程序,前提是被最小化的函数有一个梯度(在定义域的大多数点上)。

**本文摘自**[《机器学习精讲》][Link 1]

![2ecc7eef9ed52922edfd18f9406d9294.png][]

本书用简短的篇幅、精炼的语言，讲授机器学习领域必备的知识和技能。全书共11章和一个术语表，依次介绍了机器学习的基本概念、符号和定义、算法、基本实践方法、神经网络和深度学习、问题与解决方案、进阶操作、非监督学习以及其他学习方式等，涵盖了监督学习和非监督学习、支持向量机、神经网络、集成学习、梯度下降、聚类分析、维度降低、自编码器、迁移学习、强化学习、特征工程、超参数调试等众多核心概念和方法。全书最后给出了一个较为详尽的术语表。

本书能够帮助读者了解机器学习是如何工作的，为进一步理解该领域的复杂问题和进行深入研究打好基础。本书适合想要学习和掌握机器学习的软件从业人员、想要运用机器学习技术的数据科学家阅读，也适合想要了解机器学习的一般读者参考。

[1]: https://link.zhihu.com/?target=http%3A//write.epubit.com%3A9000/article/72022%23anchor041
[5f4f75caacf2b2d0464f353aac6802d6.png]: /images/20221119/db5adca8d9564aeea92f9a83e2d58745.png
[37ab3e4759e9ac681835ca083951eba2.png]: /images/20221119/8ebd3347898d4cb8945505b114da8ff5.png
[fcc0f3e59d45e7702ca6044f212b858e.png]: /images/20221119/89ede1d07dfe436e9ae63f26c37d4bbc.png
[1450b730c67a7a838f03ff4165ca2d69.png]: /images/20221119/0a3f3a7767494b7eacfd27a00e4c13a4.png
[82dcf3f43b17f444cd073bbae6873d78.png]: https://img-blog.csdnimg.cn/img_convert/82dcf3f43b17f444cd073bbae6873d78.png
[b1398254b38edb1da14dde321f46c6b1.png]: https://img-blog.csdnimg.cn/img_convert/b1398254b38edb1da14dde321f46c6b1.png
[0062e58b091aad0a87300bd2c1fe1591.png]: https://img-blog.csdnimg.cn/img_convert/0062e58b091aad0a87300bd2c1fe1591.png
[2ac0f92e9118b906f1f2b81f14b3ed5c.png]: https://img-blog.csdnimg.cn/img_convert/2ac0f92e9118b906f1f2b81f14b3ed5c.png
[2]: https://link.zhihu.com/?target=http%3A//write.epubit.com%3A9000/article/72022%23anchor042
[d8aafb3a59c2989f43754890739ff2b9.png]: https://img-blog.csdnimg.cn/img_convert/d8aafb3a59c2989f43754890739ff2b9.png
[8be7a5de8035a8fa64ebce8830e41fef.png]: https://img-blog.csdnimg.cn/img_convert/8be7a5de8035a8fa64ebce8830e41fef.png
[a9c7c722e47c65ed72e444d1e64a87bb.png]: https://img-blog.csdnimg.cn/img_convert/a9c7c722e47c65ed72e444d1e64a87bb.png
[5725100b69bd666f9876a75c33332e67.png]: https://img-blog.csdnimg.cn/img_convert/5725100b69bd666f9876a75c33332e67.png
[1ce88fd598ab97fbac8a2e5d8628e237.png]: https://img-blog.csdnimg.cn/img_convert/1ce88fd598ab97fbac8a2e5d8628e237.png
[3]: https://link.zhihu.com/?target=http%3A//write.epubit.com%3A9000/article/72022%23anchor043
[90f4a9ccdaed691043c8cb08cca3304c.png]: https://img-blog.csdnimg.cn/img_convert/90f4a9ccdaed691043c8cb08cca3304c.png
[f464d1af8cc9bba9d2b5c04bdf849768.png]: https://img-blog.csdnimg.cn/img_convert/f464d1af8cc9bba9d2b5c04bdf849768.png
[d7d06c99fec6678727b52b98580c2918.png]: https://img-blog.csdnimg.cn/img_convert/d7d06c99fec6678727b52b98580c2918.png
[3af647adc677116c649f75f96a14fecf.png]: https://img-blog.csdnimg.cn/img_convert/3af647adc677116c649f75f96a14fecf.png
[3eb3738ca36e31e04278a095164852a8.png]: https://img-blog.csdnimg.cn/img_convert/3eb3738ca36e31e04278a095164852a8.png
[f01fa82699ed50bc914363aebcb1e269.png]: https://img-blog.csdnimg.cn/img_convert/f01fa82699ed50bc914363aebcb1e269.png
[e848ba667ebe025bc84d4eb4e78bcaa6.png]: https://img-blog.csdnimg.cn/img_convert/e848ba667ebe025bc84d4eb4e78bcaa6.png
[c2706173578d70e1eeb0ad3a74fa20bf.png]: https://img-blog.csdnimg.cn/img_convert/c2706173578d70e1eeb0ad3a74fa20bf.png
[Link 1]: https://link.zhihu.com/?target=https%3A//item.jd.com/12604859.html
[2ecc7eef9ed52922edfd18f9406d9294.png]: https://img-blog.csdnimg.cn/img_convert/2ecc7eef9ed52922edfd18f9406d9294.png