梯度下降法总结

刺骨的言语ヽ痛彻心扉 2022-05-28 05:19 306阅读 0赞

前言：网上查了大量写梯度下降法的文章，但是总是发现文章中存在很多问题，所以这里总结一下，更正错误。不然理解起来真的很困难。

参考博文：https://blog.csdn.net/qiang\_GG2017/article/details/72667596

针对问题：最优化问题，迭代求最小偏差模型。

例子：对线性模型![20180330090944610][]。

已知：大量的（X,y）样本数据，X为m阶向量。

求：系数β

思想：以梯度为方向，找到最优参数组合，使得损失函数下降到极小值。

解法步骤：

1.通常将模型写为下面的模型

![20180330091844883][],     (i=0~n)

2.损失函数

![2018033009225231][]

其中的1/2是为了使数据整齐加上的。因为后面要求导，2刚好抵消。

这个损失函数的意义就是，让得到的模型的预测值与真实值的误差平方和最小。

i为第几组样本值，共n组样本。

3.迭代公式

![20180330093650715][]

(i=0~m;    j=1~n)

这里，偏导数为梯度值，决定迭代方向；

α为步长或称学习率，可以自己指定，但太大不收敛，太小收敛慢。推荐按照\[0.001,0.003,0.01,0.03……\]的顺序尝试设置。

PS：这个公式是参数更新公式，公式左边为当前代参数，公式右边为上一代的参数。

4.初值选取

初值可以任意指定，由于采用迭代方法，最终会收敛到一个极值点。但可能是局部极值。所以，有先验知识是最好，取在全局极值附近。

5.收敛条件

可以设定迭代代数，到这个代数就停止；

可以设定损失函数最小值，当损失函数到这个范围就停止迭代。

合理利用梯度下降法的经验：

1.随机的梯度下降(SGD)：每次随机的挑一个样本学习，直到收敛才停止更新

2.小批量的梯度下降（Mini-batch）:每次只学习一小部分，比如每次学习10个样本再更新

3.梯度下降（GD）：全部样本学习一次，然后更新下(少用，效率低)

4.也可以设置最大迭代次数，比如设为100，若在100次内收敛了，则收敛时停止，若100次还未收敛那么就停止迭代

[20180330090944610]: /images/20220528/393f1ea3aaa045098cb8f28ffd04620d.png
[20180330091844883]: /images/20220528/64c5548f3dd2457284ef47fabf320eed.png
[2018033009225231]: /images/20220528/a04623aaae604e3bb4d4a5b027bba66a.png
[20180330093650715]: /images/20220528/6a5be61937b147d98f7cbce81bdf625d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，306人围观）

还没有评论，来说两句吧...

相关阅读

相关什么是梯度下降法？

梯度下降是通过迭代搜索一个函数极小值的优化算法。使用梯度下降,寻找一个函数的局部极小值的过程起始于一个随机点,并向该函数在当前点梯度(或近似梯度)的反方向移动。在线性和对数

梦里梦外;/ 2023年01月04日 14:37/ 0 赞/ 95 阅读

相关机器学习——梯度下降法

Notation： m=number of training examples n=number of features x="input" variables /

Love The Way You Lie/ 2022年10月30日 13:29/ 0 赞/ 252 阅读

相关梯度下降法通俗解释

请看如下博客： [http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic\_in\_machine\_

忘是亡心i/ 2022年08月01日 11:27/ 0 赞/ 179 阅读

相关梯度下降法、牛顿法、拟牛顿法、共轭梯度

一、梯度下降法参考来源：[http://www.cnblogs.com/LeftNot ... .html][http_www.cnblogs.com_LeftNot ..

叁歲伎倆/ 2022年06月07日 07:15/ 0 赞/ 494 阅读

相关梯度下降法、坐标下降法、牛顿迭代法

1 梯度下降法 ![20161109160021419][] 2 坐标下降法 1.首先给定一个初始点，如 X\_0=(x1,x2,…,xn); 2.f

淡淡的烟草味﹌/ 2022年06月05日 08:00/ 0 赞/ 459 阅读

相关梯度下降法总结

前言：网上查了大量写梯度下降法的文章，但是总是发现文章中存在很多问题，所以这里总结一下，更正错误。不然理解起来真的很困难。参考博文：https://blog.cs

刺骨的言语ヽ痛彻心扉/ 2022年05月28日 05:19/ 0 赞/ 306 阅读

相关梯度下降，随机梯度下降

[梯度下降（Gradient Descent）完整篇][Gradient Descent]转载在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient

墨蓝/ 2022年05月19日 23:47/ 0 赞/ 324 阅读

相关 python实现线性回归之梯度下降法，梯度下降详解

线性回归的有关概念已在笔者[相关文章][Link 1]中进行介绍。本篇内容将介绍梯度下降(BGD)相关内容。 1.梯度下降梯度下降常用于机器学习中求解符合最小损失函数

ゝ一纸荒年。/ 2022年01月23日 15:45/ 0 赞/ 416 阅读

相关多元梯度下降法

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

待我称王封你为后i/ 2022年01月21日 06:21/ 0 赞/ 354 阅读

相关梯度下降法python实现

参考博客：[https://blog.csdn.net/huahuazhu/article/details/73385362][https_blog.csdn.net_huah

川长思鸟来/ 2021年09月26日 19:58/ 0 赞/ 438 阅读