self-attention与Transformer补充

ゝ一世哀愁。 2022-09-03 07:21 154阅读 0赞

#### self-attention与Transformer ####

### 文章目录 ###

*   *   *   *  self-attention与Transformer
             *   *  参考
                 *  整体介绍
                 *  内部结构
                 *  multi-head self-attention
                 *  回过头来看Transformer
                 *   *  encoder部分
                     *  decoder部分

##### 参考 #####

*  [此前笔记:Tranformer][Tranformer]
 *  [李宏毅2021春机器学习课程:self-attention][2021_self-attention]
 *  [李宏毅2021春机器学习课程:Transformer][2021_Transformer]
 *  [双曲正切][Link 1]

##### 整体介绍 #####

*  之前有记过Transformer的笔记，但是属于一知半解的情况，现在看了李宏毅老师的课，对self- attention有了更深的理解，作为之前笔记的补充
 *  首先，self-attention在ML中一般是以这样的方式存在
    
     *  ![d83e1e471bde30eb997a40135121e9be.png][]

##### 内部结构 #####

*  而对于输出 b 1 − b 4 b\_1 - b\_4 b1−b4，self-attention会考虑每个输入 a 1 − a 4 a\_1 - a\_4 a1−a4
    
     *  ![da7978a1e4f1dff83c283a6ed895445b.png][]
 *  具体的方式是：寻找 a 1 − a 4 a\_1 - a\_4 a1−a4之间的相关性：
    
     *  ![0ee8dc9401670a5563c60c5672bd81fd.png][]
 *  相关性对计算方式如下
    
     *  任意两个输入 a i a j a\_i \\quad a\_j aiaj，对输出 b i b\_i bi会先取得 a i a\_i ai的q矩阵和 a j a\_j aj的k矩阵（ q = W q ∗ a i q=W\_q\*a\_i q=Wq∗ai和 k = W k ∗ a j k=W\_k \* a\_j k=Wk∗aj，其中W为训练出来的权重参数（就类似于CNN中Kernel中的参数一样））
        
         *  如果使用Dot- product方法，则对qk进行点积即可
         *  如果是additive方法，则计算 W ∗ t a n h ( q + k ) W\*tanh(q+k) W∗tanh(q\+k)，其中tanh作用是将范围限制在\[-1,1\]之间
            
             *  ![在这 里插入图片描述][efde42817d4e406ab45d654189cbf025.png]
     *  ![d272b34eace1dde84e0e0efe704d0cab.png][]
 *  根据这个方法我们可以得到（ a 1 a\_1 a1为例）关于a1的所有相关性的值，再对所有值做一个softmax就可以得到这些值的score
    
     *  ![997a7233a5c70a3f9ca340be5e6b4bbb.png][]
 *  接下来就可以计算b的值： b 1 = ∑ i a 1 , i ′ v i b^1= \\sum\_\{i\} a\_\{1,i\}^\{'\}v^i b1=∑ia1,i′vi其中 v i v^i vi= W v ∗ a i W^v\*a\_i Wv∗ai
    
     *  ![ac3f572b485e96a5ec7106ec264da033.png][]
 *  有一点需要注意的是： W q W k W v W^q \\quad W^k \\quad W^v WqWkWv三个矩阵是所有输入值共享的，一个self-attention结构共享一个
 *  因此，根据上面的式子，我们可以将输入的合并成一个矩阵计算，就可以实现一次计算得到所有的相关性矩阵A（ A ′ A^\{'\} A′是做了个softmax），以及输出矩阵O
    
     *  ![d6d31f5eeaae3c13e1f187011c99feec.png][]
     *  ![507c8dbcaa4cbbd5ce1e44c8b2fee3ab.png][]
     *  ![6944b5d6c5f993f04ac191f483daece4.png][]
 *  于是从外部看就有了以下的形式，也就符合这个公式： A t t e n t i o n ( Q , K , V ) = s o f t m a x ( Q K T d k ) V Attention(Q,K,V) = softmax(\\frac\{QK^T\}\{\\sqrt\{d\_k\}\})V Attention(Q,K,V)=softmax(dkQKT)V，公式中的矩阵顺序颠倒，但不影响理解，其中除以 d k \\sqrt d\_k dk是为了保证方差为1，有利于梯度下降
    
     *  ![8ed1cfc4ee52aa03f2ced53c1d7065b5.png][]

##### multi-head self-attention #####

*  其实就可以理解为同一套输入进入多套并行的self-attention模块里面去，对最后的结果进行cancat一下即可
    
     *   M u l t i H e a d ( Q , K , V ) = C o n c a t ( h e a d 1 , . . . . , h e a d h ) W o MultiHead(Q,K,V) = Concat(head\_1,....,head\_h)W^o MultiHead(Q,K,V)=Concat(head1,....,headh)Wo
     *   h e a d i = A t t e n t i o n ( Q W i Q , K W i K , V W i V ) head\_i = Attention(QW\_\{i\}^Q,KW\_\{i\}^K,VW\_\{i\}^V) headi=Attention(QWiQ,KWiK,VWiV)
     *  ![847099ac34d06723dfe22ce6057652fa.png][]

##### 回过头来看Transformer #####

*  回过头看看Transformer的结构，会发现豁然开朗
 *  ![image-20210607155256584][]

###### encoder部分 ######

*  首先对于encoder部分：
    
     *  ![image-20210607161853853][]
     *  我们对输入编码后加上位置信息编码（Positional Encoding）后就进入Multi- Head Attention（参考上面的理解），之后做了一个Add&NORM的操作，其中Add代表的是残差，参考RenNet中残差的作用，是防止网络退化的；而Norm则是做了这么一个操作（归一化，但不用考了batch，因此比Batch Norm来的简单）
     *  ![image-20210806105125604][]
     *  而在往下的Feed Forward实际上可以为FC层（当然别的也可以），然后再来一组残差+归一化，就是整个encoder的结构了

###### decoder部分 ######

*  ![image -20210806105720932][]
 *  对于decoder，首先对输出考虑Masked版本的多头注意力机制，其实就是在计算相关性的时候可以考虑上文（之前的）但不能考虑下文（之后的），然后再与encoder的输出汇合，再做一组多头注意力机制的前推，残差归一化+FC，就完成了decoder的计算
 *  这个跟encoder十分类似

[Tranformer]: https://blog.csdn.net/symuamua/article/details/117669019
[2021_self-attention]: https://www.bilibili.com/video/BV1Wv411h7kN?p=23
[2021_Transformer]: https://www.bilibili.com/video/BV1Wv411h7kN?p=34
[Link 1]: https://baike.baidu.com/item/%E5%8F%8C%E6%9B%B2%E6%AD%A3%E5%88%87/3194837?fromtitle=tanh&fromid=19711736&fr=aladdin
[d83e1e471bde30eb997a40135121e9be.png]: /images/20220829/c0a8900b90e047a686ba5efe1cd80268.png
[da7978a1e4f1dff83c283a6ed895445b.png]: /images/20220829/ecc75a29222e4b58833cd1cfbe6c3a13.png
[0ee8dc9401670a5563c60c5672bd81fd.png]: /images/20220829/d7e81b910408457a9a53bd483fc2d186.png
[efde42817d4e406ab45d654189cbf025.png]: /images/20220829/1913054687e84424a6ceba9c3eb1fe3e.png
[d272b34eace1dde84e0e0efe704d0cab.png]: /images/20220829/6465e0fad5ea4a38965ed8a0d3097ea7.png
[997a7233a5c70a3f9ca340be5e6b4bbb.png]: /images/20220829/408f3e0b2cc547c5b4783d22edfdd40a.png
[ac3f572b485e96a5ec7106ec264da033.png]: /images/20220829/1111e09fad234f35b59335ceca27fb64.png
[d6d31f5eeaae3c13e1f187011c99feec.png]: /images/20220829/8f96a8223c674be2b8acdf40179df87c.png
[507c8dbcaa4cbbd5ce1e44c8b2fee3ab.png]: /images/20220829/68d20a7191444c87a43d02c0ad43901c.png
[6944b5d6c5f993f04ac191f483daece4.png]: /images/20220829/c1ee1b98ba1d4572a1cf92aa772dda4a.png
[8ed1cfc4ee52aa03f2ced53c1d7065b5.png]: /images/20220829/f4d2867aa6b44e0f989888cfb7296a23.png
[847099ac34d06723dfe22ce6057652fa.png]: /images/20220829/cf86b6d13dfd46248f59d9fe62bf7881.png
[image-20210607155256584]: /images/20220829/d9075df1bf81469d822a996950ae617c.png
[image-20210607161853853]: /images/20220829/03342fd81a5843f0baa0c38e6cfe38f6.png
[image-20210806105125604]: /images/20220829/e7cae0d83ce04e8f98985bd59fd485bc.png
[image -20210806105720932]: /images/20220829/eef6f1a6c8a34033b44bd9dc4e1224f5.png