第七周作业：注意力机制的学习

忘是亡心i 2022-09-17 01:55 370阅读 0赞

### 文章目录 ###

*   *  【BMVC2018】BAM: Bottleneck Attention Module
     *  【CVPR2019】Dual Attention Network for Scene Segmentation
     *  【CVPR2020】ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
     *  【CVPR2020】Improving Convolutional Networks with Self-Calibrated Convolutions
     *  【ARXIV2105】Pyramid Split Attention
     *  【ARXIV2105】ResT: An Efficient Transformer for Visual Recognition
     *  【ARXIV2105】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks.

## 【BMVC2018】BAM: Bottleneck Attention Module ##

论文: [https://arxiv.org/pdf/1807.06514.pdf][https_arxiv.org_pdf_1807.06514.pdf]  
PyTorch代码: [https://github.com/shanglianlm0525/PyTorch-Networks][https_github.com_shanglianlm0525_PyTorch-Networks]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16]  
将BAM放在了Resnet网络中每个stage之间。。BAM在每个stage之间消除了像背景语义特征这样的低层次特征，然后逐渐聚焦于高级的语义–明确的目标（比如图中的狗）。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
Feature map  F \{F\} F进行全局平均池化得到，得到一个通道向量 F c ∈ R C × 1 × 1 \\mathbf\{F\}\_\{\\mathbf\{c\}\} \\in\\mathbb\{R\}^\{C \\times 1 \\times 1\} Fc∈RC×1×1 ，然后使用了一个多层感知机(MLP)降维，再升维操作得到 C × 1 × 1 C×1×1 C×1×1。  
![在这里插入图片描述][8cc769e22a724149af96f720f8792bbe.png]

众所周知利用上下文信息是了解空间位置的关键，重要的是要有一个大的感受野范围来有效地利用上下文信息。利用空洞卷积来高效地扩大感受野，而且在扩大感受野的同时，还不会增加参数量。  
![在这里插入图片描述][ac4b90080c5747c99ea0ff5cfd1df8bf.png]  
其中: f 表示卷积运算，BN表示批量归一化运算，上标表示卷积滤波器大小。 通道缩减有两个1×1 卷积。中间 3×3 扩张卷积用于聚合具有较大感受野的上下文信息。  
![在这里插入图片描述][399f6906605e4ebfb16eee1d750a3112.png]

这里  σ σ σ代表sigmoid函数，两个分支的形状在加和之前都会被整形成 R C ∗ H ∗ W \\mathbb R^\{ C ∗ H ∗ W\} RC∗H∗W。通过[expand\_as][expand_as]函数。

[『论文笔记』BAM:Bottleneck Attention Module(注意力机制)][BAM_Bottleneck Attention Module]  
[【注意力机制】BAM: Bottleneck Attention Module论文理解][BAM_ Bottleneck Attention Module]  
[论文笔记（7）：BAM: Bottleneck Attention Module][7_BAM_ Bottleneck Attention Module]

## 【CVPR2019】Dual Attention Network for Scene Segmentation ##

论文: [https://arxiv.org/abs/1809.02983][https_arxiv.org_abs_1809.02983]  
代码: [https://github.com/junfu1115/DANet][https_github.com_junfu1115_DANet]

基础网络为dilated ResNet(与DeepLab相同)，最后得到的feature map大小为输入图像的1/8。之后是两个并行的attention module分别捕获spatial和channel的依赖性，最后整合两个attention module的输出得到更好的特征表达。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 2]

**Position attention module**：捕获特征图的**任意两个位置之间**的空间依赖，对于某个特定的特征，被所有位置上的特征加权和更新。权重为相应的两个位置之间的特征相似性。因此，**任何两个现有相似特征的位置可以相互贡献提升，而不管它们之间的距离**。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
具体地，对于网络输出的局部特征A(CxHxW)，首先利用三个卷积层后得到B,C,D三个特征map。  
然后，对B,C,D分别reshape到(CxN)，然后将B的转置与C相乘后，再通过softmax得到spatial attention map S(N,N)**（N=H×W，所以，其实就建模了空间间的位置关系，可以理解成，将H×W拉伸为一维向量，通过N×N就建模了每一个位置，与其他位置的关系，然后通过softmax，得到值越大，说明这两个位置依赖性越强）**，接着，将S的转置与D矩阵乘后，将结果reshape到(CxHxW)，乘以一个尺度因子后再加上原始输入图像得到最后的输出map E。

**Channel attention module**：捕获任意两个**通道**之间的相互依赖，利用所有通道的加权和更新某个通道的值。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
先对A进行reshape到(CxN)，然后A与A的转置进行矩阵乘，经过softmax后得到通道间的map X(CxC)**（C×C建模了通道之间的关系，在通过softmax，值越大，说明两个通道之间的依赖性越强）**，之后再乘以A(CxN)得到的输出乘以尺度因子β后与原图相加后获得最后的输出E。

[论文阅读-Dual Attention Network for Scene Segmentation][-Dual Attention Network for Scene Segmentation]  
[论文阅读 - Dual Attention Network for Scene Segmentation][- Dual Attention Network for Scene Segmentation]  
[Dual Attention Network for Scene Segmentation讲解][Dual Attention Network for Scene Segmentation]

## 【CVPR2020】ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks ##

论文: [https://arxiv.org/abs/1910.03151][https_arxiv.org_abs_1910.03151]

代码: [https://github.com/BangguWu/ECANet][https_github.com_BangguWu_ECANet]  
具体而言，给定输入特征，SE块首先为每个通道独立采用全局平均池化，然后使用两个全连接（FC）层以及非线性Sigmoid函数来生成通道权重。 两个FC层旨在捕获非线性跨通道交互，其中涉及降低维度以控制模型的复杂性。 尽管此策略在后续的通道注意力模块中被广泛使用，但我们的经验研究表明，**降维会给通道注意力预测带来副作用，并且捕获所有通道之间的依存关系效率不高且不必要**。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 5]

**在不降低维度的情况下进行逐通道全局平均池化之后，我们的ECA通过考虑每个通道及其k个近邻来捕获本地跨通道交互**。

[ECANet][]  
[2020-CVPR-通道注意力超强改进-ECANet][2020-CVPR-_-ECANet]  
[VPR2020论文阅读——超强通道注意力模块ECANet][VPR2020_ECANet]

## 【CVPR2020】Improving Convolutional Networks with Self-Calibrated Convolutions ##

论文地址：  
[http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf][http_mftp.mmcheng.net_Papers_20cvprSCNet.pdf]  
代码地址：  
[https://github.com/MCG-NKU/SCNet][https_github.com_MCG-NKU_SCNet]  
作者提出了一种**自校正卷积（多个卷积注意力组合的模块）**，替换基本的卷积结构，在不增加额外参数和计算量的情况下，该卷积可以通过特征的内在通信达到**扩增卷积感受野**的目的，进而增强输出特征的多样性。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 6]  
优点：  
1.它使每个空间位置能够自适应地编码来自远程区域的信息上下文，说白了就是自适应增加了感受野。  
2.SC模块通用性强，而且不会额外引入参数。  
[论文阅读：Improving Convolutional Networks with Self-calibrated Convolutions][Improving Convolutional Networks with Self-calibrated Convolutions]  
[Self-Calibrated Convolutions][]  
[CVPR2020 Improving Convolutional Networks with Self-Calibrated Convolutions论文详解 SC-Net 注意力机制][CVPR2020 Improving Convolutional Networks with Self-Calibrated Convolutions_ SC-Net]

## 【ARXIV2105】Pyramid Split Attention ##

论文：[https://arxiv.org/pdf/2105.14447v1.pdf][https_arxiv.org_pdf_2105.14447v1.pdf]

代码：[https://github.com/murufeng/EPSANet][https_github.com_murufeng_EPSANet]  
论文动机：

1.  SE仅仅考虑了通道注意力，忽略了空间注意力。
2.  BAM和CBAM考虑了通道注意力和空间注意力，但仍存在两个最重要的缺点：(1)没有捕获不同尺度的空间信息来丰富特征空间。(2)空间注意力仅仅考虑了局部区域的信息，而无法建立远距离的依赖。
3.  后续出现的PyConv，Res2Net和HS-ResNet都用于解决CBAM的这两个缺点，但计算量太大。

**PSA模块：**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 7]  
该模块分为以下四个步骤：

1.  多尺度的特征图通过SPC模块得到
2.  SEWeight通过提取不同尺度特征图的注意力得到通道间的注意力向量
3.  利用Softmax重新校准通道间的注意力向量
4.  校准后的注意力向量与特征图操作后生成输出

**SPC模块：**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 8]  
如上图所示，k0、k1、k2和k3是不同卷积核参数（以ESPANet-small为例，论文取3，5，7和9），G0、G1、G2和G3是分组卷积的参数（以ESPANet-small为例，论文默认取1,4,8和16）。整体可看做是模型采用不同卷积核提取多尺度目标特征，并采取Concat操作结合不同感受野下的多尺度特征。

[EPSANet: An Efficient Pyramid Split Attention Block on Convolutional Neural Network（阅读分享）][EPSANet_ An Efficient Pyramid Split Attention Block on Convolutional Neural Network]

[Epsanet: An efficient pyramid split attention block on convolutional neural network阅读笔记][Epsanet_ An efficient pyramid split attention block on convolutional neural network]  
[CVPR2021|一个高效的金字塔切分注意力模块PSA][CVPR2021_PSA]

## 【ARXIV2105】ResT: An Efficient Transformer for Visual Recognition ##

论文：[https://arxiv.org/pdf/2105.13677v3.pdf][https_arxiv.org_pdf_2105.13677v3.pdf]  
代码：[https://github.com/wofmanaf/ResT][https_github.com_wofmanaf_ResT]  
对于标准的Transformer，MSA有两个缺点：  
（1）MSA尺度的计算是根据输入维度 d m d\_m dm与 n n n的二次方计算的，**导致训练和推理的开销巨大**；  
（2）MSA中的每一个head**只负责输入的一个子集**，这可能会损害网络的性能，特别是当每个子集中的通道维度 d k d\_k dk太低时，使得Q和K的点积不能够构成一个信息匹配函数。

**EMSA高效的多头自注意力模块**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 9]  
偷懒一下，直接截图相关博客内的解释。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 10]  
ResT的总体结构与ResNet相似，都是有4个stage。每一个stage中有4部分组成，如下图所示。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 11]  
如上图所示，每个stage中的高效transformer模块在相同的尺度上运行(每个stage中都有不止一个Efficient Transformer Block，每个Block都在相同的尺度上运行)，在通道和空间维度上具有相同的分辨率。（\*例如第一个Stage特征图的大小始终是H/4 \* W/4 C）因此，**需要patch embed模块逐步扩展通道维度，同时降低整个网络的空间分辨率**。

[ResT：用于图像识别的高效Transformer][ResT_Transformer]  
[南京大学提出ResT：用于视觉识别的高效Transformer][ResT_Transformer 1]  
[ResT: An Efficient Transformer for Visual Recognition][ResT_ An Efficient Transformer for Visual Recognition]

## 【ARXIV2105】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks. ##

论文链接：[https://arxiv.org/abs/2105.02358][https_arxiv.org_abs_2105.02358]

代码：[https://github.com/MenghaoGuo/-EANet][https_github.com_MenghaoGuo_-EANet]

Self-attention自身存在两个缺点：

（1）计算量太大，计算复杂度与pixel的平方相关；

（2）没有考虑不同样本之间的潜在关联，只是单独处理每一个样本，在单个样本内去捕获这类长距离依赖。例如，属于同一类别但分布在不同样本中的特征应该得到一致的处理。

相比自注意力机制，外部注意力中的Key与Value被拿到了外部，不再由特征投射产生。这种结构使得外部的记忆单元可以习得整个数据集样本的统计特征。使用两个线性单元作为外部注意力的记忆单元则简化了运算复杂度。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 12]  
![在这里插入图片描述][a3f8a9bead1c4cb4ac8e968a61ac005a.png]

其中 M 是为一个与输入无关的可学习参数，作为数据集相关的记忆器。A是利用学习到的记忆推理出的attention map；在feature map和 M线性变换后要经过一个不太一样的Norm。在实际中，作者利用了两个这样的memory unit —— M k M\_k Mk 和  M v M\_v Mv，作为key和value，来增加网络的性能。

此时的计算复杂度为O(dSN)，其中d与S为超参数，实际发现S取值为64就可以得到不错的效果。该方法计算量与像素数量呈现**线性关系**，相比自注意力机制在输入尺寸较大时效率更高。

[外部注意力机制][Link 1]  
[《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》][Beyond Self-attention_ External Attention using Two Linear Layers for Visual Tasks]  
[Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks - 1 - 论文学习][Beyond Self-attention_ External Attention using Two Linear Layers for Visual Tasks - 1 -]

后续论文还在更新中

[https_arxiv.org_pdf_1807.06514.pdf]: https://arxiv.org/pdf/1807.06514.pdf
[https_github.com_shanglianlm0525_PyTorch-Networks]: https://github.com/shanglianlm0525/PyTorch-Networks
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/143a25b31a5a4c04b0ece21efc66fc98.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/daefd57430574d6cb93601f704110f9e.png
[8cc769e22a724149af96f720f8792bbe.png]: /images/20220828/1a60f5595b3d492b9d08634cecda7f77.png
[ac4b90080c5747c99ea0ff5cfd1df8bf.png]: /images/20220828/147f00c1c12141579f64bc23210c92be.png
[399f6906605e4ebfb16eee1d750a3112.png]: /images/20220828/bcd1fb9d76d348bdb5d61c3869e2da31.png
[expand_as]: https://blog.csdn.net/qq_33949900/article/details/103778860
[BAM_Bottleneck Attention Module]: https://blog.csdn.net/abc13526222160/article/details/103827418
[BAM_ Bottleneck Attention Module]: https://blog.csdn.net/qq_36926037/article/details/117884889
[7_BAM_ Bottleneck Attention Module]: https://blog.csdn.net/qq_41554005/article/details/111476529
[https_arxiv.org_abs_1809.02983]: https://arxiv.org/abs/1809.02983
[https_github.com_junfu1115_DANet]: https://github.com/junfu1115/DANet
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/397bc76ff8fe4fd8974dc448472f792d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/fe48811f4c5443cfb56e05c13831a0e3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/8e18c82a30044456bc624b5bd6400fb2.png
[-Dual Attention Network for Scene Segmentation]: https://zhuanlan.zhihu.com/p/48056789
[- Dual Attention Network for Scene Segmentation]: https://zhangbin0917.github.io/2018/09/13/Dual-Attention-Network-for-Scene-Segmentation/
[Dual Attention Network for Scene Segmentation]: https://blog.csdn.net/mieleizhi0522/article/details/83111183
[https_arxiv.org_abs_1910.03151]: https://arxiv.org/abs/1910.03151
[https_github.com_BangguWu_ECANet]: https://github.com/BangguWu/ECANet
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/7aa7d9ba87894ec781a3da16eb34f4a4.png
[ECANet]: https://zhuanlan.zhihu.com/p/268568609
[2020-CVPR-_-ECANet]: https://www.jianshu.com/p/69b1548974d5
[VPR2020_ECANet]: https://www.pianshen.com/article/50421548242/
[http_mftp.mmcheng.net_Papers_20cvprSCNet.pdf]: http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf
[https_github.com_MCG-NKU_SCNet]: https://github.com/MCG-NKU/SCNet
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/8305fc431ad54ef2a32003497cc99f9b.png
[Improving Convolutional Networks with Self-calibrated Convolutions]: https://www.jianshu.com/p/6ffe051f0c9c
[Self-Calibrated Convolutions]: https://zhuanlan.zhihu.com/p/138208546
[CVPR2020 Improving Convolutional Networks with Self-Calibrated Convolutions_ SC-Net]: https://cxyzjd.com/article/chanbo8205/110179999
[https_arxiv.org_pdf_2105.14447v1.pdf]: https://arxiv.org/pdf/2105.14447v1.pdf
[https_github.com_murufeng_EPSANet]: https://github.com/murufeng/EPSANet
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/e2fa962662194d92b0df673e68be04c7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220828/7d8bb888f93041f3abd65e86a85c2392.png
[EPSANet_ An Efficient Pyramid Split Attention Block on Convolutional Neural Network]: https://zhuanlan.zhihu.com/p/382703351
[Epsanet_ An efficient pyramid split attention block on convolutional neural network]: https://blog.csdn.net/qq_41684249/article/details/118443946
[CVPR2021_PSA]: http://www.phpheidong.com/blog/article/128782/73b578883e61c8200208/
[https_arxiv.org_pdf_2105.13677v3.pdf]: https://arxiv.org/pdf/2105.13677v3.pdf
[https_github.com_wofmanaf_ResT]: https://github.com/wofmanaf/ResT
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 9]: /images/20220828/9d3f5f1f328849189366e3b8e2e66199.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 10]: /images/20220828/4a9c1d5f8eb24f7a8f0c480b1b523531.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 11]: /images/20220828/04d03431857f4fc597b1f011a0690a6e.png
[ResT_Transformer]: https://blog.csdn.net/qq_36449741/article/details/118309006
[ResT_Transformer 1]: https://zhuanlan.zhihu.com/p/376845624
[ResT_ An Efficient Transformer for Visual Recognition]: https://blog.csdn.net/Acmer_future_victor/article/details/117695485
[https_arxiv.org_abs_2105.02358]: https://arxiv.org/abs/2105.02358
[https_github.com_MenghaoGuo_-EANet]: https://github.com/MenghaoGuo/-EANet
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUXh3MTAxMg_size_20_color_FFFFFF_t_70_g_se_x_16 12]: /images/20220828/ed13e0d668c44556ad39ccb65a6a966d.png
[a3f8a9bead1c4cb4ac8e968a61ac005a.png]: /images/20220828/d2463b30e7aa4c3ca9a83c036b254712.png
[Link 1]: https://yinguobing.com/external-attention-using-two-linear-layers-for-visual-tasks/
[Beyond Self-attention_ External Attention using Two Linear Layers for Visual Tasks]: https://zhuanlan.zhihu.com/p/382922616
[Beyond Self-attention_ External Attention using Two Linear Layers for Visual Tasks - 1 -]: https://www.cnblogs.com/wanghui-garcia/p/14851264.html