注意力机制笔记

迷南。 2022-03-15 14:10 300阅读 0赞

本文是对[深度学习中的注意力机制][Link 1]做的笔记，并附上注意力机制应用的部分例子。

首先，从其功能感受下注意力机制的作用。

注意力机制让神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分

从上述表达提取出两个关键字段：更多关注和相关部分，两者的实现直接对应着attention机制的权重如何进行分配。具体的，原文通过Encoder-Decoder模式的计算过程进行阐明。

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td> 
    <div style="text-align:center;">  
     <img alt="" height="100" src="https://img-blog.csdnimg.cn/20190303142600374.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3,size_16,color_FFFFFF,t_70">  Encoder-Decoder框架   
    </div> <p>&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td> 
    <div style="text-align:center;">  
     <img alt="" src="https://img-blog.csdnimg.cn/20190303142701268.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3,size_16,color_FFFFFF,t_70" width="300">  使用attention的Encoder-Decoder框架   
    </div> <p>&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">图片来自<a href="https://cloud.tencent.com/developer/article/1143127" rel="nofollow">这里</a></td> 
  </tr> 
 </tbody> 
</table>

上图展示了引入attention后框架的变化：由固定的语义编码C变为根据输出不断变化的![C\{i\}][C_i]。![C\{i\}][C_i]的计算公式如下，其中，![L\{x\}][L_x]表示输入原句子的长度，![a\{ij\}][a_ij]对应原句子中第j个单词的attention权重分配值，![h\{j\}][h_j]对应原句第j个单词的语义编码。

![20190303144606697.png][] 语意编码的计算公式

公式中![a\{ij\}][a_ij]的计算过程就是我们需要重点关注的注意力概率分配的处理逻辑， 下图直观展示了其计算过程：计算所有的输入语义编码![h\{j\}][h_j]和前一时刻隐节点状态![H\{i-1\}][H_i-1]的相似程度(图中![F(h\{j\}, H\{i-1\})][F_h_j_ H_i-1]函数的作用)，然后归一化后(图中的Softmax)即可获得每个输入单词的注意力概率分配值。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70][] attention概率值的计算过程

抽象为更一般的模型如下：相似度计算(阶段1)、相似度的归一化(阶段2)、计算attention值(阶段3)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 1][] attention机制的本质

由上可知，注意力机制的关键在于：计算的对象，对象间的相似度函数，归一化函数。

计算过程可查看[包学包会，这些动图和代码让你一次读懂「自注意力」][Link 2]

![20191213101153543.gif][] self-attention的处理逻辑

延伸阅读：[AI基础：图解Transformer][AI_Transformer]

最后，附上几个相关的实现教程

1.  [基于注意力机制，机器之心带你理解与训练机器翻译系统][Link 3]
2.  [Attention is all you need: A Pytorch Implementation][Attention is all you need_ A Pytorch Implementation]
3.  [基于Attention的图片生成、分类和字符识别][Attention]

参考文献：

1.  [深度学习中的注意力机制][Link 1]
2.  [神奇的神经机器翻译：从发展脉络到未来前景][Link 4]
3.  [基于注意力机制，机器之心带你理解与训练神经机器翻译系统][Link 3]
4.  [https://github.com/jadore801120/attention-is-all-you-need-pytorch][Attention is all you need_ A Pytorch Implementation]
5.  [包学包会，这些动图和代码让你一次读懂「自注意力」][Link 2]
6.  [AI基础：图解Transformer][AI_Transformer]

[Link 1]: https://cloud.tencent.com/developer/article/1143127
[C_i]: https://private.codecogs.com/gif.latex?C%7Bi%7D
[L_x]: https://private.codecogs.com/gif.latex?L%7Bx%7D
[a_ij]: https://private.codecogs.com/gif.latex?a%7Bij%7D
[h_j]: https://private.codecogs.com/gif.latex?h%7Bj%7D
[20190303144606697.png]: /images/20220315/472351994e9d4d519fc0df837f67447d.png
[H_i-1]: https://private.codecogs.com/gif.latex?H%7Bi-1%7D
[F_h_j_ H_i-1]: https://private.codecogs.com/gif.latex?F%28h%7Bj%7D%2C%20H%7Bi-1%7D%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70]: /images/20220315/82d964f39d5145e3bdfc46a91353b3d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 1]: /images/20220315/34b1d211b8b5444685732d36ba571ceb.png
[Link 2]: https://mp.weixin.qq.com/s/MuuOobNlvk-FAP9DRbuZEg
[20191213101153543.gif]: /images/20220315/b23be351f1714245984f8834d298897c.png
[AI_Transformer]: https://mp.weixin.qq.com/s/Stk37TdBYnF0eONXEI-6lQ
[Link 3]: https://www.jiqizhixin.com/articles/Synced-github-implement-project-machine-translation-by-transformer
[Attention is all you need_ A Pytorch Implementation]: https://github.com/jadore801120/attention-is-all-you-need-pytorch
[Attention]: http://www.cosmosshadow.com/ml/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/2016/03/08/Attention.html#_label1
[Link 4]: http://zhuanlan.51cto.com/art/201708/549268.htm