时间序列的反向传播算法（BPTT）

梦里梦外; 2023-03-13 03:13 30阅读 0赞

### 时间序列的反向传播算法 ###

BPTT ： Back-Propagation Through Time  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]  
 ∂ L ∂ U = ∑ t ∂ L t ∂ U \\frac\{\\partial L\}\{\\partial U\} = \\sum\_t\\frac\{\\partial L\_t\}\{\\partial U\} ∂U∂L=∑t∂U∂Lt

例如t=4 时，

∂ L 4 ∂ U = ∂ L 4 ∂ y 4 ∂ y 4 ∂ h 4 ∂ h 4 ∂ U \\frac\{\\partial L\_4\}\{\\partial U\} =\\frac\{\\partial L\_4\}\{\\partial y\_4\} \\frac\{\\partial y\_4\}\{\\partial h\_4\} \\frac\{\\partial h\_4\}\{\\partial U\} ∂U∂L4=∂y4∂L4∂h4∂y4∂U∂h4

where  h 4 = t a n h ( W h 3 + U x 4 ) h\_4 = tanh(Wh\_3 + Ux\_4) h4=tanh(Wh3\+Ux4)

注意到 h3也依赖U  
 ∂ L t ∂ U = ∑ s = 0 t ∂ L t ∂ y t ∂ y t ∂ h t ∂ h t ∂ h s ∂ h s ∂ U \\frac\{\\partial L\_t\}\{\\partial U\} = \\sum\_\{s=0\}^t\\frac\{\\partial L\_t\}\{\\partial y\_t\} \\frac\{\\partial y\_t\}\{\\partial h\_t\} \\frac\{\\partial h\_t\}\{\\partial h\_s\}\\frac\{\\partial h\_s\}\{\\partial U\} ∂U∂Lt=∑s=0t∂yt∂Lt∂ht∂yt∂hs∂ht∂U∂hs

参数共享是双刃剑，网络预测时具有平稳性，但是梯度计算的时候会有依赖。

随着t和s的距离越来越大，梯度传播的计算，长时序的依赖不足。  
 ∂ h t ∂ h s = ∂ h t ∂ h t − 1 ∂ h t − 1 ∂ h t − 2 . . . ∂ h s + 1 ∂ h s \\frac\{\\partial h\_t\}\{\\partial h\_s\} = \\frac\{\\partial h\_t\}\{\\partial h\_\{t-1\}\} \\frac\{\\partial h\_\{t-1\}\}\{\\partial h\_\{t-2\}\} ... \\frac\{\\partial h\_\{s+1\}\}\{\\partial h\_\{s\}\} ∂hs∂ht=∂ht−1∂ht∂ht−2∂ht−1...∂hs∂hs\+1

#### Truncated BPTT ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 1]  
BPTT 只在子序列的内部去做反向传播，只关心内部的计算。在实际的计算中，很少有人用 full BPTT，一般是使用 Truncated BPTT。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]: /images/20230312/a55090a52e924666a0554b1d7094247c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 1]: /images/20230312/cc1336be43bb458d8cfc77f6eb880ed3.png