优化循环神经网络长期依赖问题 LSTM GRU 截断梯度渗透单元

痛定思痛。 2021-06-11 15:11 396阅读 0赞

## **长期依赖问题** ##

长期依赖问题在于经过许多阶段梯度传播后，梯度倾向于消失（多数）或者爆炸（少数）。循环神经网络涉及到多次相同函数的组合，这些组合导致极短的非线性。  
![这里写图片描述][SouthEast]

## **ESN回声状态网络：** ##

。。。

## **跳跃连接：** ##

从过去某个层输出，直接链接到未来层。引入d延时循环链接保证单元能够被前d个单元影响，减轻梯度爆炸和消失问题。导数的指数减小速度与T/d有关而不是T有关。如ResNet：  
![这里写图片描述][SouthEast 1]

## **渗透单元：** ##

设置自连接单元从而获得导数近似1。下图u(t-1)到u(t)是个自连接例子。  
![这里写图片描述][SouthEast 2]  
当alpha接近1时，模型能够记住遥远过去信息，当alpha接近0时，模型遗忘过去信息，着重当前新的信息。其实就是用alpha值大小来控制模型到底是看重当下还是过去。

## **删除连接：** ##

信息在较长的时间尺度上更容易长距离移动，将一些长度为1的连接使用更长的连接替换，迫使单元在长时间上运作。

## **门控LSTM：** ##

![这里写图片描述][SouthEast 3]  
lstm在h之间加入一个cell状态单元c，控制单元的长期和短期信息的遗忘。渗透单元中通常手动设置alpha的值。但这会导致一些问题。如果某些信息在使用后，模型想要遗忘掉，但由于alpha值固定，导致旧的信息一直存在。lstm就是使用模型来控制什么时候遗忘旧时信息。其中i为输入门，f为遗忘门，o为输出门。可以看到i和f分别控制单元c过去和当前信息的占据比例。

## **门控GRU：** ##

在lstm中加入一个单元c，且用i和f分别控制过去和当前信息的多少。是否有必要呢？结合渗透单元，GRU基于lstm产生另一种门控机制。  
![这里写图片描述][SouthEast 4]  
GRU中r为复位门，u为更新门。可以看到u的作用类似于f和i。而则用于控制新信息中就有信息h(t-1)的占据比例。

## **截断梯度：** ##

![这里写图片描述][SouthEast 5]  
高度非线性函数（循环神经网络）导致梯度非常大或非常小，这样导致参数更新时步伐较大，可能进入目标函数较大区域。如上左图，没有截断时，参数直接被推离到小峡谷之外。当使用梯度截断后，更新步长受到限制，对于这种大梯度的反应较为温和。  
一种方法是使用衰减速度的学习率，使得学习率能与学习阶段（目标函数不同的地形）符合。  
另一种是梯度截断：  
1、在参数更新时，小批量截断产生的参数梯度  
2、在参数更新时，选择截断梯度g的范数。v是范数上届，当g范数大于v时，就是用二者比值来缩小梯度。  
![这里写图片描述][SouthEast 6]  
梯度截断有助于处理梯度爆炸问题，但无助于梯度消失。

## **信息流的正则化：** ##

解决梯度消失和捕获长期依赖问题的想法是梯度乘积尽量为1，lstm和gru门控机制是一种方式。另一种方法就是使梯度向量在反向传播过程中尽量维持幅度。如下：  
![这里写图片描述][SouthEast 7]  
如果能够使h(t)/h(t-1)的导数尽量为1，那么梯度在传播过程中就能保持一定大小。因此构建正则项。通过与截断梯度连用，可以很好增强RNN学习长期依赖。但该方法在处理冗余数据（语言模型）时效果不如LSTM。

[SouthEast]: /images/20210520/0928506a273d402eb5d84637cb1746af.png
[SouthEast 1]: /images/20210520/ae5460da3c434afaa20a1a0ae807bf66.png
[SouthEast 2]: /images/20210520/0e10c33767424430aa040d2994549b91.png
[SouthEast 3]: /images/20210520/36ea34b6892840a7b08bb4f79c07b1be.png
[SouthEast 4]: /images/20210520/79045dc3df014a738b1660f5318db336.png
[SouthEast 5]: /images/20210520/9984512120004f9a8fb36836eb0d6ce1.png
[SouthEast 6]: /images/20210520/4eda46dd37904a0fa6dc4241c35f46b3.png
[SouthEast 7]: /images/20210520/213404f2209743dfa1d2a67f0e2ae744.png