Transformer 的优点和关键优势

快来打我* 2023-02-27 10:55 1阅读 0赞

本文不是一篇全文解读，仅谈一谈该模型的关键优势，了解我们在构建深度学习模型时使用 Transformer 模型的适用条件是什么。

> 什么是 Transformer？
> 
> Transformer 是 Google 的研究者于 2017 年在《Attention Is All You Need》一文中提出的一种用于 seq2seq 任务的模型，它没有 RNN 的循环结构或 CNN 的卷积结构，在机器翻译等任务中取得了一定提升。

### 动机 ###

RNN、LSTM 和 GRU 网络已在序列模型、语言建模、机器翻译等应用中取得不错的效果。循环结构 (recurrent) 的语言模型和编码器 - 解码器体系结构取得了不错的进展。

但是，RNN 固有的顺序属性阻碍了训练样本间的**并行化**，对于长序列，内存限制将阻碍对训练样本的批量处理。

**注意力机制** (attention) 已经成为各类任务中序列建模 (sequencem modeling) 和转导模型 (transduction model) 中的组成部分，允许对输入输出序列的依赖项进行建模，而**无需考虑它们在序列中的距离**。但之前的注意力机制都与 RNN 结合使用。

本文提出的 Transformer，是一种避免循环 (recurrent) 的模型结构，完全依赖于注意力机制对输入输出的全局依赖关系进行建模。因为对依赖的建模完全依赖于注意力机制，Transformer 使用的注意力机制被称为自注意力(self-attention)。

### Transformer 为什么使用了自注意力 ###

探讨使用自注意力层构建 Transformer 的原因，就是将自注意力层与循环层或卷积层做比较。

*  每层总共的计算复杂度。
 *  可以并行化的计算量，以所需的最少序列操作数量衡量。
 *  网络中远程依赖关系之间的路径长度。 在许多序列转导任务中，学习远程依赖性是一项关键挑战。影响学习这种依赖性的能力的一个关键因素是网络中前向和后向信号必须经过的路径长度。输入和输出序列中位置的任意组合之间的这些路径越短，则越容易学习远程依赖性。 在 CNN 类的模型中，通过卷积计算两个位置之间的关联所需的操作次数是随距离增长的。而 Self-attention 计算两个位置之间的关联所需的操作次数是与距离无关的。

总结说来，个人认为 Transformer 的关键优势至少可以归结为三点：

*  突破了 RNN 模型不能并行计算的限制。
 *  相比 CNN，计算两个位置之间的关联所需的操作次数不随距离增长。
 *  自注意力可以产生更具可解释性的模型。我们可以从模型中检查注意力分布。各个注意头 (attention head) 可以学会执行不同的任务。

另外想提到一点，由于 self-attention 没有循环结构，Transformer 需要一种方式来表示序列中元素的相对或绝对位置关系。Position Embedding (PE) 就是该文提出的方案。但在一些研究中，模型加上 PE 和不加上 PE 并不见得有明显的差异。