梯度消失和梯度爆炸

朴灿烈づ我的快乐病毒、 2022-02-14 04:29 405阅读 0赞

# 产生原因 #

层数比较多的神经网络模型在使用梯度下降法对误差进行反向传播时会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显  
例如，对于图1所示的含有3个隐藏层的神经网络，梯度消失问题发生时，靠近输出层的hidden layer 3的权值更新相对正常，但是靠近输入层的hidden layer1的权值更新会变得很慢，导致靠近输入层的隐藏层权值几乎不变，扔接近于初始化的权值。这就导致hidden layer 1 相当于只是一个映射层，对所有的输入做了一个函数映射，这时此深度神经网络的学习就等价于只有后几层的隐藏层网络在学习。梯度爆炸的情况是：当初始的权值过大，靠近输入层的hidden layer 1的权值变化比靠近输出层的hidden layer 3的权值变化更快，就会引起梯度爆炸的问题

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70][]

假设每一层网络激活后的输出为 fi(x),其中 i 为第 i 层，x 代表第 i 层的输入，也就是第 i−1 层的输出，f 是激活函数，那么，可得出 fi+1=f(fi∗wi+1+bi+1)，简记为 fi+1=f(fi∗wi+1)。BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整，参数的更新为 w←w+Δw，给定学习率 α，得出 Δw=−α∂Loss∂w。如果要更新第二隐藏层的权值信息，根据链式求导法则，更新梯度信息：

Δw1=∂Loss∂w2=∂Loss∂f4∂f4∂f3∂f3∂f2∂f2∂w2

很容易看出来 ∂f4∂f3=w4f′(f3w4)，即对激活函数求导后与权重相乘

∂f2∂w2=f1f′(f1w2)，即第二隐层的输入与激活函数求导后相乘

如果激活函数求导后与权重相乘的积大于1，那么层数增多的时候，最终的求出的梯度更新信息将以指数形式增加，即发生**梯度爆炸**，如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了**梯度消失**

# 如何确定是否出现梯度爆炸 #

训练过程中出现梯度爆炸会伴随一些细微的信号，如：

*  模型无法从训练数据中获得更新（如低损失）。
 *  模型不稳定，导致更新过程中的损失出现显著变化。
 *  训练过程中，模型损失变成 NaN。

如果你发现这些问题，那么你需要仔细查看是否出现梯度爆炸问题。

以下是一些稍微明显一点的信号，有助于确认是否出现梯度爆炸问题。

*  训练过程中模型梯度快速变大。
 *  训练过程中模型权重变成 NaN 值。
 *  训练过程中，每个节点和层的误差梯度值持续超过 1.0。

# **梯度消失和梯度爆炸哪种经常出现** #

梯度消失更容易出现，因为对于激活函数的求导：

![729758-20180804123339599-1004853787.png][]

可以看到，当w越大，其wx+b很可能变的很大，而根据sigmoid导数的图像可以看到，wx+b越大，导数的值也会变的很小。因此，若要出现梯度爆炸，其w既要大还要保证激活函数的导数不要太小。

# 解决梯度消失和梯度爆炸 #

1.  使用 ReLU、LReLU、ELU、maxout 等激活函数  
    sigmoid函数的梯度随着x的增大或减小和消失，而ReLU不会
2.  使用LSTM等自循环和门控制机制，避免梯度消失
3.  对于RNN，可以通过梯度截断，避免梯度爆炸
4.  可以通过添加正则项，避免梯度爆炸

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70]: /images/20220214/17fc297ccef940a4ba41cc6f5a16a7a0.png
[729758-20180804123339599-1004853787.png]: /images/20220214/921fd1ca24ae4b979a29eaf757f4d01c.png