Attention in RNN

清疚 2022-04-08 14:57 223阅读 0赞

[https://zhuanlan.zhihu.com/p/42724582][https_zhuanlan.zhihu.com_p_42724582]

在传统的RNN Encoder-Decoder模型中，在编码的过程中，将 ![t-1][] 时的状态 ![h\_\{<t-1>\}][h_t-1] 和 ![t][]时刻的数据 ![x\_\{<t>\}][x_t] 输入到 ![t][] 时刻的RNN单元中，得到 ![t][] 时刻的状态 ![h\_\{<t>\}][h_t] ，经过 ![T][] 个时间片后，得到长度等于隐节点数量的特征向量 ![\\mathbf\{c\}][mathbf_c] 。在解码的过程中，将特征向量 ![\\mathbf\{c\}][mathbf_c] 和上个时间片预测的输出 ![y\_\{<t'-1>\}][y_t_-1] 输入到RNN的单元中，得到该时刻的输出 ![y\_\{<t'>\}][y_t]，经过 ![T'][T 1] 个时间片后得到输出结果。但在一些应用中，比如句子长度特别长的机器翻译场景中，传统的RNN Encoder-Decoder表现非常不理想。一个重要的原因是 ![t'][t 1] 时刻的输出可能更关心输入序列的某些部分是什么内容而和其它部分是什么关系并不大。例如在机器翻译中，当前时间片的输出可能仅更注重原句子的某几个单词而不是整个句子。

这篇论文率先提出了Attention的思想，通过Attention机制，模型可以同时学习原句子和目标句子的对齐关系和翻译关系。在编码过程中，将原句子编码成一组特征向量的一个集合，在翻译时，每个时间片会在该集合自行选择特征向量的一个子集用于产生输出结果。

## 详解 ##

在这篇论文中，作者也是使用的RNN Encoder-Decoder结构。不同于传统的方式，在编码过程中，作者使用的是双向RNN（bi-RNN），每个RNN单元使用的是GRU。在解码过程中，使用的是基于Attention的GRU结构。算法结构如图1：

![20181218173358816][]

图1：Attention in RNN

## Encoder ##

双向RNN含有正向和反向两个方向，对于含有 ![T][] 个时间片的源句子 ![X^T = \\\{x\_1, x\_2, ..., x\_T\\\}][X_T _ _x_1_ x_2_ ..._ x_T]，正向的输入数据是 ![x\_1 \\rightarrow x\_1 \\rightarrow ... \\rightarrow x\_T][x_1 _rightarrow x_1 _rightarrow ... _rightarrow x_T] ，第 ![t][] 个时间片的隐节点 ![\\vec\{h\}\_t][vec_h_t] 表示为

![\\vec\{h\}\_\{<t>\} = f(\\vec\{h\}\_\{<t-1>\}, x\_\{<t>\})\\tag\{1\}][vec_h_t_ _ f_vec_h_t-1_ x_t_tag_1]

反向数据的输入序列是 ![x\_T \\rightarrow x\_\{T-1\} \\rightarrow ... \\rightarrow x\_1][x_T _rightarrow x_T-1_ _rightarrow ... _rightarrow x_1] ，第 ![t][] 个时间片的隐节点 ![\\vec\{h\}'\_t][vec_h_t 1] 表示为

![\\vec\{h\}'\_\{<t>\} = f(\\vec\{h\}'\_\{<t+1>\}, x\_\{<t>\})\\tag\{2\}][vec_h_t_ _ f_vec_h_t_1_ x_t_tag_2]

其中 ![f][] 使用的是GRU的单元，详见上一篇论文的讲解。则第 ![t][] 个时间片的特征 ![h\_\{<t>\}][h_t] 是前向和后向两个特征向量拼接到一起。

![h\_\{<t>\} = \[\\vec\{h\}\_t; \\vec\{h\}'\_t\]^T\\tag\{3\}][h_t_ _ _vec_h_t_ _vec_h_t_T_tag_3]

## 1.2 Decoder ##

在解码的过程中，传统的RNN Encoder-Decoder的方式将整个句子的特征向量作为输入

![s\_\{<t>\} = f(s\_\{<t-1>\}, y\_\{<t-1>\}, c)\\tag\{4\}][s_t_ _ f_s_t-1_ y_t-1_ c_tag_4]

Attention模型是使用所有特征向量的加权和，通过对特征向量的权值的学习，我们可以使用对当前时间片最重要的特征向量的子集 ![c\_i][c_i] ，即

![s\_\{<t>\} = f(s\_\{<t-1>\}, y\_\{<t-1>\}, c\_i)\\tag\{5\}][s_t_ _ f_s_t-1_ y_t-1_ c_i_tag_5]

其中 ![c\_i][c_i] 是 ![h\_\{<t>\}][h_t] 的加权和

![c\_i = \\sum^\{T\}\_\{t=1\} \\alpha\_\{it\}h\_t\\tag\{6\}][c_i _ _sum_T_t_1_ _alpha_it_h_t_tag_6]

![\\alpha\_\{it\} = \\frac\{exp(e\_\{it\})\}\{\\sum\_\{k=1\}^Texp(e\_\{ik\})\}\\tag\{7\}][alpha_it_ _ _frac_exp_e_it_sum_k_1_Texp_e_ik_tag_7]

![e\_\{it\} = a(s\_\{<i-1>\}, h\_t)\\tag\{8\}][e_it_ _ a_s_i-1_ h_t_tag_8]

其中 ![e\_\{it\}][e_it] 是输出序列第 ![i][] 个时间片的对齐模型，表示的是该时刻和输入数据每个时间片的相关程度。使用前一时刻的状态 ![s\_\{<i-1>\}][s_i-1] 和第 ![t][] 个输入数据 ![h\_t][h_t 1] 计算得到，在作者的实验中， ![a][] 是使用的反正切 ![tanh][] 激活函数。

## 1.3 实验数据可视化 ##

下图是通过可视化四组平行语料的 ![\\alpha][alpha] 值得到的图， ![\\alpha][alpha] 值越大，表示两个数据相关性越强，图中的颜色越浅。

![20181218173358860][]

图2：Attention模型的可视化

## 参考文献 ##

\[1\] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate\[J\]. arXiv preprint arXiv:1409.0473, 2014.

[https_zhuanlan.zhihu.com_p_42724582]: https://zhuanlan.zhihu.com/p/42724582
[t-1]: http://www.zhihu.com/equation?tex=t-1
[h_t-1]: http://www.zhihu.com/equation?tex=h_%7B%3Ct-1%3E%7D
[t]: http://www.zhihu.com/equation?tex=t
[x_t]: http://www.zhihu.com/equation?tex=x_%7B%3Ct%3E%7D
[h_t]: /images/20220404/4dc78a9245ca4fad8b99fa5d4ecd1d8f.png
[T]: http://www.zhihu.com/equation?tex=T
[mathbf_c]: http://www.zhihu.com/equation?tex=%5Cmathbf%7Bc%7D
[y_t_-1]: http://www.zhihu.com/equation?tex=y_%7B%3Ct%27-1%3E%7D
[y_t]: http://www.zhihu.com/equation?tex=y_%7B%3Ct%27%3E%7D
[T 1]: http://www.zhihu.com/equation?tex=T%27
[t 1]: http://www.zhihu.com/equation?tex=t%27
[20181218173358816]: /images/20220404/2788cdff8bc840bd8bceb17ed79dc051.png
[X_T _ _x_1_ x_2_ ..._ x_T]: http://www.zhihu.com/equation?tex=X%5ET+%3D+%5C%7Bx_1%2C+x_2%2C+...%2C+x_T%5C%7D
[x_1 _rightarrow x_1 _rightarrow ... _rightarrow x_T]: http://www.zhihu.com/equation?tex=x_1+%5Crightarrow+x_1+%5Crightarrow+...+%5Crightarrow+x_T
[vec_h_t]: http://www.zhihu.com/equation?tex=%5Cvec%7Bh%7D_t
[vec_h_t_ _ f_vec_h_t-1_ x_t_tag_1]: http://www.zhihu.com/equation?tex=%5Cvec%7Bh%7D_%7B%3Ct%3E%7D+%3D+f%28%5Cvec%7Bh%7D_%7B%3Ct-1%3E%7D%2C+x_%7B%3Ct%3E%7D%29%5Ctag%7B1%7D
[x_T _rightarrow x_T-1_ _rightarrow ... _rightarrow x_1]: http://www.zhihu.com/equation?tex=x_T+%5Crightarrow+x_%7BT-1%7D+%5Crightarrow+...+%5Crightarrow+x_1
[vec_h_t 1]: http://www.zhihu.com/equation?tex=%5Cvec%7Bh%7D%27_t
[vec_h_t_ _ f_vec_h_t_1_ x_t_tag_2]: http://www.zhihu.com/equation?tex=%5Cvec%7Bh%7D%27_%7B%3Ct%3E%7D+%3D+f%28%5Cvec%7Bh%7D%27_%7B%3Ct%2B1%3E%7D%2C+x_%7B%3Ct%3E%7D%29%5Ctag%7B2%7D
[f]: http://www.zhihu.com/equation?tex=f
[h_t_ _ _vec_h_t_ _vec_h_t_T_tag_3]: /images/20220404/4dc78a9245ca4fad8b99fa5d4ecd1d8f.png+%3D+%5B%5Cvec%7Bh%7D_t%3B+%5Cvec%7Bh%7D%27_t%5D%5ET%5Ctag%7B3%7D
[s_t_ _ f_s_t-1_ y_t-1_ c_tag_4]: http://www.zhihu.com/equation?tex=s_%7B%3Ct%3E%7D+%3D+f%28s_%7B%3Ct-1%3E%7D%2C+y_%7B%3Ct-1%3E%7D%2C+c%29%5Ctag%7B4%7D
[c_i]: /images/20220404/0105722c48e14f08967f9bf5a830f03d.png
[s_t_ _ f_s_t-1_ y_t-1_ c_i_tag_5]: http://www.zhihu.com/equation?tex=s_%7B%3Ct%3E%7D+%3D+f%28s_%7B%3Ct-1%3E%7D%2C+y_%7B%3Ct-1%3E%7D%2C+c_i%29%5Ctag%7B5%7D
[c_i _ _sum_T_t_1_ _alpha_it_h_t_tag_6]: /images/20220404/0105722c48e14f08967f9bf5a830f03d.png+%3D+%5Csum%5E%7BT%7D_%7Bt%3D1%7D+%5Calpha_%7Bit%7Dh_t%5Ctag%7B6%7D
[alpha_it_ _ _frac_exp_e_it_sum_k_1_Texp_e_ik_tag_7]: /images/20220404/f86cb34ade194d7d85df2c788096e9e6.png_%7Bit%7D+%3D+%5Cfrac%7Bexp%28e_%7Bit%7D%29%7D%7B%5Csum_%7Bk%3D1%7D%5ETexp%28e_%7Bik%7D%29%7D%5Ctag%7B7%7D
[e_it_ _ a_s_i-1_ h_t_tag_8]: http://www.zhihu.com/equation?tex=e_%7Bit%7D+%3D+a%28s_%7B%3Ci-1%3E%7D%2C+h_t%29%5Ctag%7B8%7D
[e_it]: http://www.zhihu.com/equation?tex=e_%7Bit%7D
[i]: http://www.zhihu.com/equation?tex=i
[s_i-1]: http://www.zhihu.com/equation?tex=s_%7B%3Ci-1%3E%7D
[h_t 1]: http://www.zhihu.com/equation?tex=h_t
[a]: http://www.zhihu.com/equation?tex=a
[tanh]: /images/20220404/8826fa92d9fc4e0aaa38ca99bb344560.png
[alpha]: /images/20220404/f86cb34ade194d7d85df2c788096e9e6.png
[20181218173358860]: /images/20220404/e1cec3a9bb0f4ea4b3ff54e1a520c956.png