注意力（Attention）机制的鸟瞰观，解读《心理学、神经科学和机器学习的关注》

我就是我 2022-09-12 10:46 223阅读 0赞

### 文章目录 ###

*  内容介绍
 *  注意力（Attention）机制
 *  机器学习中的注意事项
 *  自然语言处理中的注意事项
 *  计算机视觉中的注意事项

# 内容介绍 #

注意力（Attention）是一个多学科的科学研究的概念，包括心理学、神经科学和最近的机器学习。虽然所有学科都有自己的注意力定义，但有一个核心品质他们都能达成共识：注意力是使生物和人工神经系统更加灵活的一种机制。

阅读本文后，您将了解：对不同科学学科具有重要意义的注意概念。如何关注是革命性的机器学习，特别是在自然语言处理和计算机视觉领域。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]

# 注意力（Attention）机制 #

研究起源于心理学领域。

> 对注意力的科学研究开始于心理学，在这种情况下，仔细的行为实验可以精确地展示注意力在不同情况下的倾向和能力。

**《Attention in Psychology, Neuroscience, and Machine Learning, 2020》**

从这些研究中得出的观察可以帮助研究人员推断出这种行为模式背后的心理过程。心理学、神经科学和最近机器学习的不同领域都产生了自己的注意力定义，但有一个对所有人都有重大意义的核心素质：

> 注意力是对有限的计算资源的灵活控制。

考虑到这一点，下面几节将回顾注意在机器学习领域革命中的作用。

# 机器学习中的注意事项 #

机器学习中的注意概念是非常被人类大脑中注意力的心理机制所启发。

> 在人工神经网络中使用注意力机制–就像大脑中明显需要注意一样–作为一种使神经系统更加灵活的手段。

其思想是能够与人工神经网络一起工作，该神经网络能够很好地处理输入可能具有可变长度、大小或结构的任务，甚至可以处理多个不同的任务。正是本着这种精神，机器学习中的注意力机制被认为是从心理学中激励自己的，而不是因为它们复制了人类大脑的生物学。

> 在最初为 ANNs 开发的注意形式中，注意机制在编解码框架内工作，并且在序列模型…的上下文中工作。

任务编码器是生成输入的向量表示，而译码器就是将这个向量表示转换成一个输出。注意力机制将两者连接起来。

神经网络体系结构有不同的命题来实现注意力机制，这些机制也与它们所使用的特定应用程序相联系。自然语言处理(NLP)和计算机视觉是最流行的应用。

# 自然语言处理中的注意事项 #

NLP的早期应用是机器翻译，其目的是将输入句翻译成目标语言的输出句。在此背景下，编码器将生成一组语境向量，在源句中每个单词对应一个。另一方面，解码器将读取上下文向量，生成目标语言的输出语句，每次一个单词。

> 在传统的编解码框架中，编码器在解码过程中产生一个独立于输入和静态的长度或特征的固定长度矢量。

对于结构复杂的长序列或序列，用固定长度向量表示输入是特别困难的，因为它们表示的维数必须与较短或更简单的序列相同。

> 例如，在日语等一些语言中，最后一个词对预测第一个单词可能非常重要，而将英语翻译成法语可能更容易，因为句子的顺序(句子的排列方式)更相似。

这造成了一个瓶颈，因为解码器对输入提供的信息有有限的访问权限–在固定长度的编码向量中可用的信息。另一方面，在编码过程中保持输入序列的长度，可以使解码器灵活地利用其最相关的部分。

后者是注意力机制的运作方式。

> 注意有助于确定应该使用哪些向量来生成输出。由于输出序列是一次动态生成一个元素，因此注意可以在每个时间点动态突出显示不同的编码向量。这允许解码器灵活地利用输入序列中最相关的部分。

在机器翻译中，寻求解决由固定长度向量造成的瓶颈问题的最早的工作之一是Bahdanau等人(2014年)。在他们的工作中，Bahdanau等人。使用递归神经网络(Rnn)进行编码和解码任务：编码器使用双向rnn生成注解每个单词都包含前面和后续单词的摘要，并且可以映射到语境向量通过加权和；然后解码器根据这些注解和另一个RNN的隐藏状态生成输出。由于上下文向量由注释的加权和计算，那么Bahdanau等人的注意力机制就是软注意.

另一部最早的作品是Sutskever等人(2014年)或者，利用多层长时存储器(Lstm)对表示输入序列的向量进行编码，并利用另一个lstm将向量解码为目标序列。

Luong等人(2015年)介绍了全球对决本土化注意。在他们的工作中，他们描述了一个全局注意模型，在推导上下文向量时，它考虑了编码器的所有隐藏状态。因此，全局上下文向量的计算是基于全源序列中的单词。Luong等人请注意，这在计算上是昂贵的，可能会使全局注意力难以应用于长序列。针对这一问题，提出了局部关注的方法，将重点放在源序列中每一个目标词的一个较小的子集上。Luong等人解释一下当地的注意力交易软和硬注意模型徐等人(2016年)(我们将在下一节中再次参考本文)，它的计算成本比软注意力低，但训练起来比硬注意力容易。

最近，Vaswani等人(2017年)提出了一种完全不同的架构，将机器翻译领域引向了一个新的方向。以…的名字命名变压器，它们的体系结构完全消除了任何重复和卷积，但是实现了自我注意机制。源序列中的单词首先并行编码以生成密钥、查询和值表示。键和查询被组合在一起，生成注意力权重，捕捉每个单词如何与序列中的其他单词相关联。然后，这些注意力权重被用来衡量价值观，以保持对重要词汇的关注，并淹没那些不相关的词汇。

> 输出作为值的加权和计算，其中分配给每个值的权重由查询与相应键的兼容性函数计算。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]

当时，提出的变压器架构建立了一个新的最先进的英语到德语和英-法翻译任务，据报道也比基于递归或卷积层的架构训练更快。随后，名为Bert by的方法Devlin等人(2019年)在Vaswani等人的工作基础上，提出了一种多层双向结构。

正如我们将很快看到的，变压器体系结构的吸收不仅在NLP领域迅速，而且在计算机视觉领域也是如此。

# 计算机视觉中的注意事项 #

计算机视觉在图像分类、图像分割和图像字幕等领域有着广泛的应用。

如果我们必须将编码器-解码器模型重构为图像标题的任务，例如，编码器可以是一个卷积神经网络(CNN)，它捕捉图像中突出的视觉线索，而解码器可以是RNN或LSTM，将矢量表示转换为输出。

> 同样，在神经科学文献中，这些注意过程可以分为空间注意和基于特征的注意.

不同的空间位置被赋予不同的权重，但是这些相同的权重被保留在不同空间位置的所有特征通道上。

本文提出了一种基于空间注意力的图像字幕方法。徐等人(2016年)。他们的模型采用cnn作为编码器，提取一组特征向量(或注记)，每个矢量对应于图像的不同部分，以允许解码器选择性地聚焦于特定的图像部分。解码器是基于上下文向量、先前隐藏的状态和先前生成的单词生成标题的LSTM。徐等人调查使用硬注意作为替代软注意在计算它们的上下文向量时。在这里，软注意力放置重物。轻柔在源映像的所有补丁上，而硬注意只关注单个补丁，而忽略其他补丁。他们报告说，在他们的工作中，努力的注意力表现得更好。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]

特征比较而言，注意允许将个别特征图归为自己的权重值。其中一个同样适用于图像标题的例子是Chen等人(2018年)，它将空间和频道上的注意力集中在同一个CNN中。

与转换器如何迅速成为NLP任务的标准架构类似，它最近也被计算机视觉界所接受和适应。

最早这样做的工作是由Dosovitskiy等人(2020年)，谁应用了他们的视觉变压器(Vit)用于图像分类任务。他们认为，长期依赖CNN进行图像分类是不必要的，同样的任务也可以由一个纯变压器来完成。Dosovitskiy等人将输入图像重塑为一系列扁平的2D图像修补程序，然后通过可训练的线性投影将其嵌入以生成补丁嵌入。这些补丁嵌入以及它们的位置嵌入，为了保留位置信息，将其输入到变压器体系结构的编码器部分，其输出随后被输入多层感知器(MLP)进行分类。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]

在vit的启发下，以及基于注意力的体系结构是在视频中建立远程上下文关系的直观选择，我们开发了几种基于转换器的视频分类模型。

Arnab等人(2021年)随后将VIT模型扩展到Vivit，利用视频中包含的时空信息进行视频分类。他们的方法探索了提取时空数据的不同方法，例如独立采样和嵌入每个帧，或者提取不重叠的微管集(一个跨越多个图像帧的图像修补程序，创建一个管)并依次嵌入每一个。为了提高效率和可扩展性，他们还研究了对输入视频的空间和时间维度进行因式分解的不同方法。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 4]

除了第一次应用于图像分类之外，“视觉转换器”已经被应用于其他几个计算机视觉领域，例如动作定位, 凝视估计，和图像生成。计算机视觉从业人员的兴趣激增表明，不久的将来，我们将看到变压器体系结构的更多适应和应用。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/475d7869f71243d080c55f2d42f543f3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/3f6dc907605a4ffc8e6141fbf3195d09.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/194be93991dc469383485eee88555090.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/8af651f018a24380a9458fdc47806933.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/51ae0dfee934483fa3e6068d1d6ff696.png