深度学习：注意力模型Attention Model

悠悠 2022-06-06 00:19 838阅读 0赞

Attention模型

注意机制最早由Bahdanau等人于2014年提出，该机制存在的目的是为了解决RNN中只支持固定长度输入的瓶颈（as sentences grow longer, the amount of information needing to be carried forward will also grow, and therefore a fixed size embedding may be insufficient）。在该机制环境下，Seq2Seq中的编码器被替换为一个双向循环网络（bidirectional RNN）。论文作者提出了一个用于翻译任务的结构。解码部分使用了attention模型，而在编码部分，则使用了BiRNN(bidirectional RNN,双向RNN)。\{实际上是cho e.t.进一步的改进，attention过程类似于统计机器翻译中的对齐过程(Bahdanau D et al. 2014)。\} Attention Mechanism目前非常流行，广泛应用于机器翻译、语音识别、图像标注（Image Caption）等很多领域，之所以它这么受欢迎，是因为Attention给模型赋予了区分辨别的能力，例如，在机器翻译、语音识别应用中，为句子中的每个词赋予不同的权重，使神经网络模型的学习变得更加灵活（soft），同时Attention本身可以做为一种对齐关系，解释翻译输入/输出句子之间的对齐关系，解释模型到底学到了什么知识，为我们打开深度学习的黑箱。

我们知道每一个隐节点hi都包含了对应的输入字符xi以及其对上下文的联系，这么做意义就在于现在模型可以突破固定长度输入的限制，根据不同的输入长度构建不同个数的隐节点，故不论我们输入的序列（比如待翻译的一段原文）长度如何，都可以得到模型输出结果。

在注意机制中，我们的源序列x＝(x1,x2,…,xt)分别被正向与反向地输入了模型中，进而得到了正反两层隐节点，语境向量c则由RNN中的隐节点h通过不同的权重a加权而成。简单的说，这种模型在产生输出的时候，还会产生一个“注意力范围”表示接下来输出的时候要重点关注输入序列中的哪些部分，然后根据关注的区域来产生下一个输出，如此往复。

### Attention模型示意图 ###

![此处输入图片的描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70]

相比于之前的encoder-decoder模型，attention模型最大的区别就在于它不在要求编码器将所有输入信息都编码进一个固定长度的向量之中。相反，此时编码器需要将输入编码成一个向量的序列，而在解码的时候，每一步都会选择性的从向量序列中挑选一个子集进行进一步处理。这样，在产生每一个输出的时候，都能够做到充分利用输入序列携带的信息。

\[[深度学习中Attention与全连接层的区别何在？][Attention]\]

### 主流的attention方法 ###

attention表示源端与目标单单词对齐程度。解码里面的函数a(s,h)的几种常见的对齐关系计算方式：

![03a2728adb854a90017401994a4a704e.png][]

\[[目前主流的attention方法都有哪些？][attention]\]

其它改进的attention方法参考\[[线性Attention的探索：Attention必须有个Softmax吗？][Attention_Attention_Softmax]\]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 1][]

\[[A Family of Attention Mechanisms][]\]

Note:

1 权值网络映射又称General或者双线性模型；加性模型又称concat。

2 d\_k大的时候，如果不进行缩放则加性模型表现更好；但dot-product的计算速度更快，进行缩放后可减少影响（由于softmax使梯度过小）。\[[https://blog.csdn.net/pipisorry/article/details/84946653][https_blog.csdn.net_pipisorry_article_details_84946653]\]

# 解码 #

先看解码。解码部分使用了attention模型。思想就是根据当前解码“状态”判断输入序列的权重分布。也就是说，*s**i*−1先跟每个*h*分别计算得到一个数值，然后使用softmax得到i时刻的输出在*T**x*个输入隐藏状态中的注意力分配向量。这个分配向量也就是计算*c**i*的权重。

我们可以将之前定义的条件概率写作

![2019061121513591.png][]

具体展开形式：

![4f6fd9cab2691b54bdf363d55a65e362.png][]

(ci连接到隐层，特定形式如![610497d47c6178211baa8239c609387a.png][])

or  （ci不连接到隐层![cea77198a2260bc33279faa7aba4616e.png][]）

![f25e20126903e8f3e6240dd5e63e12ce.png][]  or

![bf884d4d6e45f4010f9b6346787b8e5c.png][]![bf884d4d6e45f4010f9b6346787b8e5c.png][]

上式*s**i*表示解码器i时刻的隐藏状态。计算公式是

![20190611215211470.png][]

Note: f的具体形式可以是r-net中的门限注意力，即![20181229150749590.png][]等形式。

注意这里的条件概率与每个目标输出*y**i*相对应的内容向量*c**i*有关，而在传统的方式中，只有一个内容向量C。

内容向量*c**i*是由编码时的所有encoder中的（而不只是最后一个隐层了）隐藏向量序列(*h*1,…,*h**T**x*)按权重相加得到的：

![20181207172030186.png][]

由于编码使用了双向RNN，因此可以认为*h**i*中包含了输入序列中第i个词以及前后一些词的信息。将隐藏向量序列按权重相加，表示在生成第j个输出的时候的注意力分配是不同的。*α**i**j*的值越高，表示第i个输出在第j个输入上分配的注意力越多，在生成第i个输出的时候受第j个输入的影响也就越大。

*        α**i**j*又是怎么得到的呢？这个其实是由第i-1个输出隐藏状态*s**i*−1和输入中各个隐藏状态共同决定的。即

![20181207172109572.png][]

eij表示一个对齐模型，用于衡量encoder端的位置j个词，对于decoder端的位置i个词的对齐程度（影响程度），换句话说：decoder端生成位置i的词时，有多少程度受encoder端的位置j的词影响。

4 乘法注意力（Multiplicative attention，(Luong et al., 2015)）即dot-product 变型：scaled dot-product ![\\frac\{z\_\{0\}^\{T\} \\cdot h\}\{\\sqrt\{d\_\{k\}\}\}][frac_z_0_T_ _cdot h_sqrt_d_k]（其中d\_k为key/encoder隐向量的维度）。

5 concat即加性注意力additive attention（最经典的注意力机制 (Bahdanau et al., 2015)），在 d\_k 很小的时候和dot-product结果相似，d\_k大的时候，如果不进行缩放则表现更好，但dot-product的计算速度更快，进行缩放后可减少影响（因为如果d\_k太大，点乘的值太大，如果不做scaling，结果就没有加法注意力好。另外，点乘的结果过大，这使得经过softmax之后的梯度过小，不利于反向传播的进行，所以需要通过对点乘的结果进行尺度化。）。

\[如何用[深度学习做自然语言处理][Link 1]？这里有份最佳实践清单\]

### decoder公式汇总 ###

(解码器在第i个时间段内要做的事情)

![20181207172303650.png][]

Note: 对于解码O(m)的每一步：第1步中有O(n)次attention，第2步一次softmax，第3步O(n)次加和。

示意图：

![QQ截图20161015223332.jpg-20.6kB][QQ_20161015223332.jpg-20.6kB]

### attention模型的图解（也叫soft attention） ###

![2018121810342843][]

![2018121810342861][]

其中 alpha\_0^1 是 h\_0^1对应的权重，算出所有权重后会进行softmax和加权，得到 c^0 。Encoding和decoding阶段仍然是rnn，但是decoding阶使用attention的输出结果c^0,c^1作为rnn的输入。

### Attention机制的另一种表示 ###

如果把attention剥离出来去看的话，其实是以下的机制：

![2018121810342873][]

输入是query(Q), key(K), value(V)，输出是attention value。

如果与之前的模型对应起来的话，query就是decoder的隐层（如 zi或者si） ，key就是encoder的隐层（如 hi ），value也是encoder的隐层。模型通过Q和K的匹配计算出权重，再结合V得到输出。因此attention可由以下方式表示：

![20181229143555917.png][]

再深入理解下去，这种机制其实做的是寻址（addressing），也就是模仿中央处理器与存储交互的方式将存储的内容读出来，可以看一下[李宏毅老师的课程][Link 2]。

## **Attention Mechanism的变型** ##

### 3.1 Soft/Hard Attention ###

两种Attention Mechanism都有各自的优势，但目前更多的研究和应用还是更倾向于使用Soft Attention，因为其可以直接求导，进行梯度反向传播。

**alignment/soft\_align\_attention**

soft attention：传统attention，可被嵌入到模型中去进行训练并传播梯度。

local inference 之前需要将两句话进行 alignment，这里是使用 soft\_align\_attention。

怎么做呢，首先计算两个句子 word 之间的相似度，得到2维的相似度矩阵，这里会用到 torch.matmul。

![5df4fab1d226c15853d3f45387bf6be3.png][]

然后才进行两句话的 local inference。用之前得到的相似度矩阵，结合 a，b 两句话，互相生成彼此相似性加权后的句子，维度保持不变。这里有点绕，用下面的代码解释吧。

![52cc1a961875aa26d517f8c7bae49adf.png][]

fusion操作：在 local inference 之后，进行 Enhancement of local inference information。这里的 enhancement 就是计算 a 和 align 之后的 a 的差和点积， 体现了一种差异性吧，更利用后面的学习。

![9cd7ef2032d161126e7695d79145f705.png][]

\[[esim][]: local inference modeling\]

**hard attention**

hard attention：不计算所有输出，依据概率对encoder的输出采样，在反向传播时需采用蒙特卡洛进行梯度估计。具体地：Hard Attention是一个随机的过程。Hard Attention不会选择整个encoder的输出作为其输入，Hard Attention会依概率Si来采样输入端的隐状态一部分来进行计算，而不是整个encoder的隐状态。为了实现梯度的反向传播，需要采用蒙特卡洛采样的方法来估计模块的梯度。

关键词提取的硬自注意力机制：取N个权重最高的词并按权重大小排序，把每一个词的embedding表示拼接输入一个全链接层后得到句子的表示。

\[[Keyword-Attentive Deep Semantic Matching][]\]

\[[意图识别/场景识别/知识定位与识别][Link 3]\]

### 3.2 Global/Local Attention ###

global attention：传统attention，对所有encoder输出进行计算

local attention：介于soft和hard之间，会预测一个位置并选取一个窗口进行计算

具体地：

**Global Attention：**传统的Attention model一样。所有的hidden state都被用于计算Context vector 的权重，即变长的对齐向量at，其长度等于encoder端输入句子的长度。结构如图5所示。

![84068f2ed33d2f3da698dd8d952d6511.png][]

图5 Global Attention模型示意图

在t时刻，首先基于decoder的隐状态ht和源端的隐状态hs，计算一个变长的隐对齐权值向量at，其计算公式如下：

![ca99b773b2ca0b2090531689ac3c4266.png][]

其中，score是一个用于评价ht与hs之间关系的函数，即对齐函数，一般有三种计算方式，我们在上文中已经提到了。公式如下：

得到对齐向量at之后，就可以通过加权平均的方式，得到上下文向量ct。

**Local Attention：**Global Attention有一个明显的缺点就是，每一次，encoder端的所有hidden state都要参与计算，这样做计算开销会比较大，特别是当encoder的句子偏长，比如，一段话或者一篇文章，效率偏低。因此，为了提高效率，Local Attention应运而生。

Local Attention是一种介于Kelvin Xu所提出的Soft Attention和Hard Attention之间的一种Attention方式，即把两种方式结合起来。其结构如图6所示。

![37a695d89040e146424783235572c964.png][]

图6 Local Attention模型示意图

Local Attention首先会为decoder端当前的词，预测一个source端对齐位置（aligned position）pt，然后基于pt选择一个窗口，用于计算背景向量ct。Position pt的计算公式如下：

![48647d3957e44dd40bc87e65e7d51b46.png][]

其中，S是encoder端句子长度，vp和wp是模型参数。此时，对齐向量at的计算公式如下：

![3de20c81e89baf7890751cad288520bb.png][]

总之，Global Attention和Local Attention各有优劣，在实际应用中，Global Attention应用更普遍，因为local Attention需要预测一个位置向量p，这就带来两个问题：1、当encoder句子不是很长时，相对Global Attention，计算量并没有明显减小。2、位置向量pt的预测并不非常准确，这就直接计算的到的local Attention的准确率。

### 3.3 Self Attention ###

传统attention是计算Q和K之间的依赖关系，而self attention则分别计算Q和K自身的依赖关系。

Self Attention与传统的Attention机制非常的不同：传统的Attention是基于source端和target端的隐变量（hidden state）计算Attention的，得到的结果是源端的每个词与目标端每个词之间的依赖关系。但Self Attention不同，它分别在source端和target端进行，仅与source input或者target input自身相关的Self Attention，捕捉source端或target端自身的词与词之间的依赖关系；然后再把source端的得到的self Attention加入到target端得到的Attention中，捕捉source端和target端词与词之间的依赖关系。因此，self Attention Attention比传统的Attention mechanism效果要好，主要原因之一是，传统的Attention机制忽略了源端或目标端句子中词与词之间的依赖关系，相对比，self Attention可以不仅可以得到源端与目标端词与词之间的依赖关系，同时还可以有效获取源端或目标端自身词与词之间的依赖关系，如图7所示。

![ab47821eb7e621f3ebc02c66972930ac.png][]

图7 self attention可视化实例，图片摘自《深度学习中的注意力机制》，张俊林

**方法1：transformer里面的self-attention。**

![20210308175421786.png][]

这里Q=K=V = Wq\*Q=Wk\*K=Wv\*V=都是一样的，可参考\[[深度学习：transformer模型][https_blog.csdn.net_pipisorry_article_details_84946653]\]

\[[Self-Attention，Q&A和源码深挖][Self-Attention_Q_A]\]

**方法2：A Structured Self-Attentive Sentence Embedding**  
同Induction Network中提到的self-attention mechanism

self-attention mechanism, which takes the whole LSTM hidden states H = (h1, h2, ..., hT ). as input, and outputs a vector of weights a:

![20210309161618303.png][]

![2021030916163311.png][]

![20210407145937153.png][]

Note: a的维度\[1, d\_a\] \* (\[d\_a,2u\] \* \[2u, T\]) = \[1, T\]，这里1如果换成r，结果就是一个矩阵，捕捉句子多个成分；另外，这不就是一个mlp吗\[[EMPIRICAL ANALYSIS OF UNLABELED ENTITY PROBLEM][]...\]

The final representation e of the text is the weighted sum of H:

![20210309161644928.png][]

\[[A Structured Self-Attentive Sentence Embedding][]\]

\[[Induction Networks for Few-Shot Text Classification][]\]\[论文原文[Induction Networks for Few-Shot Text Classification][Induction Networks for Few-Shot Text Classification 1]\]

### **2.4 Hierarchical Attention** ###

Zichao Yang等人在论文《Hierarchical Attention Networks for Document Classification》提出了Hierarchical Attention用于文档分类。Hierarchical Attention构建了两个层次的Attention Mechanism，第一个层次是对句子中每个词的attention，即word attention；第二个层次是针对文档中每个句子的attention，即sentence attention。网络结构如图10所示。

![de09cef192bf2bf0ee28a6dace727459.png][]

图10 Hierarchical Attention结构示意图

整个网络结构由四个部分组成：一个由双向RNN（GRU）构成的word sequence encoder，然后是一个关于词的word-level的attention layer；基于word attention layar之上，是一个由双向RNN构成的sentence encoder，最后的输出层是一个sentence-level的attention layer。

### **2.5 Attention over Attention** ###

Yiming Cui与2017年在论文《Attention-over-Attention Neural Networks for Reading Comprehension》中提出了Attention Over Attention的Attention机制，结构如图11所示。

![709b63cab488b09cc394dcdfd40f9cae.png][]

图11 Attention over Attention结构示意图

两个输入，一个Document和一个Query，分别用一个双向的RNN进行特征抽取，得到各自的隐状态h（doc）和h（query），然后基于query和doc的隐状态进行dot product，得到query和doc的attention关联矩阵。然后按列（colum）方向进行softmax操作，得到query-to-document的attention 值a（t）；按照行（row）方向进行softmax操作，得到document-to-query的attention值b（t），再按照列方向进行累加求平均得到平均后的attention值b（t）。最后再基于上一步attention操作得到a（t）和b（t），再进行attention操作，即attention over attention得到最终query与document的关联矩阵。

### **2.6 Multi-step Attention：**ConvS2S ###

2017年，FaceBook 人工智能实验室的Jonas Gehring等人在论文《Convolutional Sequence to Sequence Learning》提出了完全基于CNN来构建Seq2Seq模型，除了这一最大的特色之外，论文中还采用了多层Attention Mechanism，来获取encoder和decoder中输入句子之间的关系，结构如图12所示。

![37bef995a1582df1814fef428d15a7bb.png][]

图12 Multi-step Attention结构示意图

完全基于CNN的Seq2Seq模型需要通过层叠多层来获取输入句子中词与词之间的依赖关系，特别是当句子非常长的时候，我曾经实验证明，层叠的层数往往达到10层以上才能取得比较理想的结果。针对每一个卷记得step（输入一个词）都对encoder的hidden state和decoder的hidden state进行dot product计算得到最终的Attention 矩阵，并且基于最终的attention矩阵去指导decoder的解码操作。

**1、Position Embeddings**

加入位置向量，给予模型正在处理哪一位置的信息，

![20210302204129308.png][]

\[[Convolutional Sequence to Sequence Learning][]\]

\[[《Convolutional Sequence to Sequence Learning》阅读笔记][Convolutional Sequence to Sequence Learning 1]\]

### **2.7 Multi-dimensional Attention** ###

传统的Attention往往是一维的，如下图所示（a）所示。《Coupled Multi-Layer Attentions for Co-Extraction of Aspect and Opinion Terms》提出了Multi-dimensional attention把一维的Attention扩展到多维，如下图（b）所示。

![b6399373f43afe3a54014ad3dee8280b.png][]

多维Attention可以捕捉输入多个维度重要性，具有更强的描述能力。如上图所示，输入序列“Fish burger is the best dish it tastes fresh”，每个输入token的Attention由两个部分concat而成，比如，计算h8（tastes）关于Aspect的Attention时，Attention分为Aspect的Attention u（t~a）和Opinion的Attention u（t~p），计算公式如下：

![9383ec1a613ac2e56c9d44f0ad6707ea.png][]

当m=a时，m-=p，当m=p时，m-=a。Attention同时考虑了输入token作为Aspect和Opinion的重要程度。Multi-dimension Attention捕捉多维度的Attention，为了避免Attention过于集中，对Attention加入F范数约束：

![f424b399309915beec61e9f2a19c82c2.png][]

使Attention集中序列的不同部分。

### **2.8 Memory-based Attention** ###

Memory机制在NLP中应用也比较广泛，比如对话系统中。Memory-based Attention借用了这一思想，假设输入为q，Memory中以（k，v）形式存储着我们需要的上下文。基于Attention的计算公式，得出Memory-based Attention的计算公式如下：

![66a2b90fbc741a9fce3e0885df7085c0.png][]

![534ac2932320ed713679e431b4813cd5.png][]

例如在QA问题中，Memory-based Attention可以通过不停地迭代地更新Memory来将注意力转移到答案所在的位置，如下图所示：

![192770a1522ceb589d729685b3276cdc.png][]

初始q为问题question，然后计算a与memory中k的Attention关系，得到此时最相关的C，将q与c拼接到一起作为新的q，再次计算C，不停地迭代，直到得到最终的答案。

\[模型汇总24 - 深度学习中Attention Mechanism详细介绍：[原理、分类及应用][Link 4]\]

[某小皮][Link 5]

# 编码 #

编码就比较普通了，只是传统的单向的RNN中，数据是按顺序输入的，因此第j个隐藏状态*h*→*j*只能携带第j个单词本身以及之前的一些信息；而如果逆序输入，则*h*←*j*包含第j个单词及之后的一些信息。如果把这两个结合起来，*h**j*=\[*h*→*j*,*h*←*j*\]就包含了第j个输入和前后的信息。

\[[Encoder-Decoder模型和Attention模型][Encoder-Decoder_Attention]\]

from: [https://blog.csdn.net/pipisorry][https_blog.csdn.net_pipisorry]

ref: \[[【NLP】Attention原理和源码解析][NLP_Attention]\]\*\*

\[[Tensorflow源码解读（一）：Attention Seq2Seq模型][Tensorflow_Attention Seq2Seq]\]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70]: /images/20220606/72c7d68baf10476fb990795c26e748ea.png
[Attention]: https://www.zhihu.com/question/320174043
[03a2728adb854a90017401994a4a704e.png]: /images/20220606/6dd411d7aad84fe0b0a7bdb59ae9a5db.png
[attention]: https://www.zhihu.com/question/68482809
[Attention_Attention_Softmax]: https://kexue.fm/archives/7546
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 1]: /images/20220606/5a3c33b802fe4b1592ff1d884703e3dc.png
[A Family of Attention Mechanisms]: https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html
[https_blog.csdn.net_pipisorry_article_details_84946653]: https://blog.csdn.net/pipisorry/article/details/84946653
[2019061121513591.png]: /images/20220606/7f4582642fc548d1b40b8fe44ce93ae7.png
[4f6fd9cab2691b54bdf363d55a65e362.png]: /images/20220606/90608b50aa4d4ba39676104ac139badc.png
[610497d47c6178211baa8239c609387a.png]: /images/20220606/7dfb59a87bcc4375b921c16484cfdd47.png
[cea77198a2260bc33279faa7aba4616e.png]: /images/20220606/c1c1c2e8a35643179a8d686627496330.png
[f25e20126903e8f3e6240dd5e63e12ce.png]: /images/20220606/d6fd0cf6425c4bae9591ab2e392fa03e.png
[bf884d4d6e45f4010f9b6346787b8e5c.png]: /images/20220606/de86c097d36e4dccb32cc59c9c029f6c.png
[20190611215211470.png]: /images/20220606/411f0f3f454c4bb5bc044c2e2b20fb4c.png
[20181229150749590.png]: /images/20220606/db8939edf7104e72bac9d8991c1fce22.png
[20181207172030186.png]: /images/20220606/de255c8c44314c4bbe0e4e8dc65f7d17.png
[20181207172109572.png]: /images/20220606/2ac6a3ac503f4817b1cf0ee5e4684b56.png
[frac_z_0_T_ _cdot h_sqrt_d_k]: /images/20220606/92f6ca8d963d4c4f8502082275ffb453.png
[Link 1]: https://www.jiqizhixin.com/articles/2017-07-26-5
[20181207172303650.png]: /images/20220606/1f085023b89d4ad2a86e7395975c628b.png
[QQ_20161015223332.jpg-20.6kB]: /images/20220606/f8602a9bdb8f49d9a453efe96bf7154d.png
[2018121810342843]: /images/20220606/3d2ba724b4754c97808e404f06ea0ab9.png
[2018121810342861]: /images/20220606/af6d10f4b04a4ff7bc7f01d7c8d41ce4.png
[2018121810342873]: /images/20220606/2eb537b5d17a4d7f820cbd6a3fcc621d.png
[20181229143555917.png]: /images/20220606/27172ade0f1e46678116e65a99808a4c.png
[Link 2]: http://link.zhihu.com/?target=http%3A//speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html
[5df4fab1d226c15853d3f45387bf6be3.png]: /images/20220606/445f6c46a8b84ea2af2fd7226cd42bc4.png
[52cc1a961875aa26d517f8c7bae49adf.png]: /images/20220606/77a37d95069041cda1b42107ef6e2f9d.png
[9cd7ef2032d161126e7695d79145f705.png]: /images/20220606/bee83e797638441087ec92dbb8d5785f.png
[esim]: https://zhuanlan.zhihu.com/p/47580077
[Keyword-Attentive Deep Semantic Matching]: https://arxiv.org/ftp/arxiv/papers/2003/2003.11516.pdf
[Link 3]: https://youzipi.blog.csdn.net/article/details/117664568
[84068f2ed33d2f3da698dd8d952d6511.png]: /images/20220606/50b38b9828da415f9bc5c103d398cd28.png
[ca99b773b2ca0b2090531689ac3c4266.png]: /images/20220606/67410f62a8d24443890d8f36b9e236f9.png
[37a695d89040e146424783235572c964.png]: /images/20220606/8bce3d94feba4b85b0bbeca29262fcd7.png
[48647d3957e44dd40bc87e65e7d51b46.png]: /images/20220606/85cdc8efc61d4a4d937269a1436ae358.png
[3de20c81e89baf7890751cad288520bb.png]: /images/20220606/30c5890b6e1f4a5b9dcc6df12c79fc78.png
[ab47821eb7e621f3ebc02c66972930ac.png]: /images/20220606/b5d5e0ed64cb47519510db3cb1852f2e.png
[20210308175421786.png]: /images/20220606/8ab32adf51ac43ce9e1cf0e78821083a.png
[Self-Attention_Q_A]: https://www.zhihu.com/question/68482809/answer/1574319286
[20210309161618303.png]: /images/20220606/7bc57750881746fc863b638d8e9a528c.png
[2021030916163311.png]: /images/20220606/dae44ec461ac41718da627de54373832.png
[20210407145937153.png]: /images/20220606/13b7505e21a047a09328f8de85833248.png
[EMPIRICAL ANALYSIS OF UNLABELED ENTITY PROBLEM]: https://arxiv.org/pdf/2012.05426.pdf
[20210309161644928.png]: /images/20220606/cb158f99e3724b17a3b52f59b562e0c3.png
[A Structured Self-Attentive Sentence Embedding]: https://zhuanlan.zhihu.com/p/47226281
[Induction Networks for Few-Shot Text Classification]: https://www.zmonster.me/2019/12/08/few-shot-learning.html#org5691410
[Induction Networks for Few-Shot Text Classification 1]: https://arxiv.org/pdf/1902.10482.pdf
[de09cef192bf2bf0ee28a6dace727459.png]: /images/20220606/228ff799ec8d405b95059d18a4aa0dac.png
[709b63cab488b09cc394dcdfd40f9cae.png]: /images/20220606/8c92c2d76364425ba882942760e81706.png
[37bef995a1582df1814fef428d15a7bb.png]: /images/20220606/854f5b4712ad414c9be365a216746df0.png
[20210302204129308.png]: /images/20220606/933e3ec79ceb41ce8f86a4cd3ed5158a.png
[Convolutional Sequence to Sequence Learning]: https://zhuanlan.zhihu.com/p/56951183
[Convolutional Sequence to Sequence Learning 1]: https://zhuanlan.zhihu.com/p/26918935
[b6399373f43afe3a54014ad3dee8280b.png]: /images/20220606/75a55e816332449db4ee1d9be7bd925a.png
[9383ec1a613ac2e56c9d44f0ad6707ea.png]: /images/20220606/365c20d90606468e9e00c1be208702cc.png
[f424b399309915beec61e9f2a19c82c2.png]: /images/20220606/d58a8e6ea00c4c149a13907382c1e402.png
[66a2b90fbc741a9fce3e0885df7085c0.png]: /images/20220606/5d8559288e4648a5ae685d8968e20a42.png
[534ac2932320ed713679e431b4813cd5.png]: /images/20220606/a0275d40fb294d429c636770fde72c5f.png
[192770a1522ceb589d729685b3276cdc.png]: /images/20220606/244c8cce63054fa499f423b2e5ebd79d.png
[Link 4]: https://zhuanlan.zhihu.com/p/31547842
[Link 5]: http://my.csdn.net/
[Encoder-Decoder_Attention]: http://blog.csdn.net/u014595019/article/details/52826423
[https_blog.csdn.net_pipisorry]: https://blog.csdn.net/pipisorry
[NLP_Attention]: https://zhuanlan.zhihu.com/p/43493999
[Tensorflow_Attention Seq2Seq]: https://zhuanlan.zhihu.com/p/27769667