深度学习: 学习率 (learning rate)

- 日理万妓 2024-02-19 18:51 84阅读 0赞

### Introduction ###

学习率 (learning rate)，控制 模型的 **学习进度** ：  
![这里写图片描述][SouthEast]

**lr** 即 **stride (步长)** ，即[反向传播算法][Link 1]中的 ηη ：

ωn←ωn−η∂L∂ωnωn←ωn−η∂L∂ωn

### 学习率大小 ###

<table> 
 <thead> 
  <tr> 
   <th align="center"></th> 
   <th align="center">学习率 大</th> 
   <th align="center">学习率 小</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">学习速度</td> 
   <td align="center">快</td> 
   <td align="center">慢</td> 
  </tr> 
  <tr> 
   <td align="center">使用时间点</td> 
   <td align="center">刚开始训练时</td> 
   <td align="center">一定轮数过后</td> 
  </tr> 
  <tr> 
   <td align="center">副作用</td> 
   <td align="center">1.易损失值爆炸；2.易振荡。</td> 
   <td align="center">1.易过拟合；2.收敛速度慢。</td> 
  </tr> 
 </tbody> 
</table>

### 学习率设置 ###

在训练过程中，一般根据训练轮数设置动态变化的学习率。

*  刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
 *  一定轮数过后：逐渐减缓。
 *  接近训练结束：学习速率的衰减应该在100倍以上。

**Note：**  
如果是 **迁移学习** ，由于模型已在原始数据上收敛，此时应设置较小学习率 (≤10−4≤10−4) 在[新数据][Link 2]上进行 **微调** 。

### 学习率减缓机制 ###

<table> 
 <thead> 
  <tr> 
   <th align="center"></th> 
   <th align="center">轮数减缓</th> 
   <th align="center">指数减缓</th> 
   <th align="center">分数减缓</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">英文名</td> 
   <td align="center">step decay</td> 
   <td align="center">exponential decay</td> 
   <td align="center"><span></span><span><span><span><span>1</span><span><span><span>/</span></span></span><span>t</span></span></span><span>1/t</span></span> 为训练轮数</td> 
  </tr> 
 </tbody> 
</table>

### 把脉 目标函数损失值 曲线 ###

理想情况下 **曲线** 应该是 **滑梯式下降** `[绿线]`：  
![这里写图片描述][SouthEast 1]

1.  曲线 **初始时 上扬** `[红线]`：  
    Solution：**初始** 学习率过大 导致 **振荡**，应减小学习率，并 **从头 开始训练** 。
2.  曲线 **初始时 强势下降 没多久 归于水平** `[紫线]`：  
    Solution：**后期** 学习率过大 导致 **无法拟合**，应减小学习率，并 **重新训练 后几轮** 。
3.  曲线 **全程缓慢** `[黄线]`：  
    Solution：**初始** 学习率过小 导致 **收敛慢**，应增大学习率，并 **从头 开始训练** 。

--------------------

[SouthEast]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/b2f2f5677907467cac2bdb3684120fdb.png
[Link 1]: https://blog.csdn.net/jningwei/article/details/78956190
[Link 2]: https://www.baidu.com/s?wd=%E6%96%B0%E6%95%B0%E6%8D%AE&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[SouthEast 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/4ecc0c776c7f46c1ad8610a80e26467f.png