ICCV 2021 best paper-Swin Transformer：对各类SOTA的降维打击！

我就是我 2022-08-28 04:49 180阅读 0赞

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

![731b731cdb0ca094242aa63bf5fbf11d.png][]

作者丨陀飞轮@知乎（已授权）

来源丨https://zhuanlan.zhihu.com/p/360513527

编辑丨极市平台

**导读**

本文介绍了一种称为Swin Transformer的新型transformer，通过引入CNN中常用的层次化构建方式构建层次化Transformer以及引入locality思想解决transformer迁移至CV上的scale和分辨率的问题。该方法屠榜各大CV任务，代码已公布。

最近Transformer的文章眼花缭乱，但是精度和速度相较于CNN而言还是差点意思，直到Swin Transformer的出现，让人感觉到了一丝丝激动，Swin Transformer可能是CNN的完美替代方案。

作者分析表明，Transformer从NLP迁移到CV上没有大放异彩主要有两点原因：1. 两个领域涉及的scale不同，NLP的scale是标准固定的，而CV的scale变化范围非常大。2. CV比起NLP需要更大的分辨率，而且CV中使用Transformer的计算复杂度是图像尺度的平方，这会导致计算量过于庞大。为了解决这两个问题，Swin Transformer相比之前的ViT做了两个改进：1.引入CNN中常用的层次化构建方式构建层次化Transformer 2.引入locality思想，对无重合的window区域内进行self-attention计算。

![dd93bc38d704bcf9c0b3ddaa7d75821b.png][]

相比于ViT，Swin Transfomer计算复杂度大幅度降低，具有输入图像大小线性计算复杂度。Swin Transformer随着深度加深，逐渐合并图像块来构建层次化Transformer，可以作为通用的视觉骨干网络，应用于图像分类、目标检测和语义分割等任务。

## **Swin Transformer** ##

![eee26274e78977dbdb9f92323ee8c031.png][]

整个Swin Transformer架构，和CNN架构非常相似，构建了4个stage，每个stage中都是类似的重复单元。和ViT类似，通过patch partition将输入图片HxWx3划分为不重合的patch集合，其中每个patch尺寸为4x4，那么每个patch的特征维度为4x4x3=48，patch块的数量为H/4 x W/4；stage1部分，先通过一个linear embedding将输划分后的patch特征维度变成C，然后送入Swin Transformer Block；stage2-stage4操作相同，先通过一个patch merging，将输入按照2x2的相邻patches合并，这样子patch块的数量就变成了H/8 x W/8，特征维度就变成了4C，这个地方文章写的不清楚，猜测是跟stage1一样使用linear embedding将4C压缩成2C，然后送入Swin Transformer Block。

另外有一个细节，Swin Transformer和ViT划分patch的方式略有不同，ViT是先确定patch的数量，然后计算确定每个patch的尺寸，而Swin Transformer是先确定每个patch的大小，然后计算确定patch数量。这个设计猜测是为了方便Swin Transformer的层级构建。

![289a4053d5ab0c709af33819549e0aac.png][]

上图是两个连续的Swin Transformer Block。一个Swin Transformer Block由一个带两层MLP的shifted window based MSA组成。在每个MSA模块和每个MLP之前使用LayerNorm(LN)层，并在每个MSA和MLP之后使用残差连接。

## **Shifted Window based MSA** ##

![6476e520a638a4017147225b54b1623e.png][]

上图中红色区域是window，灰色区域是patch。W-MSA将输入图片划分成不重合的windows，然后在不同的window内进行self-attention计算。假设一个图片有hxw的patches，每个window包含MxM个patches，那么MSA和W-MSA的计算复杂度分别为：

由于window的patch数量远小于图片patch数量，W-MSA的计算复杂度和图像尺寸呈线性关系。

另外W-MSA虽然降低了计算复杂度，但是不重合的window之间缺乏信息交流，于是作者进一步引入shifted window partition来解决不同window的信息交流问题，在两个连续的Swin Transformer Block中交替使用W-MSA和SW-MSA。以上图为例，将前一层Swin Transformer Block的8x8尺寸feature map划分成2x2个patch，每个patch尺寸为4x4，然后将下一层Swin Transformer Block的window位置进行移动，得到3x3个不重合的patch。移动window的划分方式使上一层相邻的不重合window之间引入连接，大大的增加了感受野。

![e86998d8010820a875964f45d3ef16a4.png][]

但是shifted window划分方式还引入了另外一个问题，就是会产生更多的windows，并且其中一部分window小于普通的window，比如2x2个patch -> 3x3个patch，windows数量增加了一倍多。于是作者提出了通过沿着左上方向cyclic shift的方式来解决这个问题，移动后，一个batched window由几个特征不相邻的sub-windows组成，因此使用masking mechanism来限制self-attention在sub-window内进行计算。cyclic shift之后，batched window和regular window数量保持一致，极大提高了Swin Transformer的计算效率。这一部分比较抽象复杂，不好理解，等代码开源了再补上。

## **实验结果** ##

放一些实验结果，感受一下Swin Transformer对之前SOTA的降维打击。

![7c9aad73ebcbbf050cab1cefc87b23a3.png][]

图像分类碾压

![7330eed4fcd6992047ace978ba01a2e0.png][]

目标检测碾压

![f2d3f4846f0b9f83e54fe78496eaa037.png][]

语义分割碾压

**目标检测在COCO上刷到58.7 AP（目前第一）**

**实例分割在COCO上刷到51.1 Mask AP（目前第一）**

**语义分割在ADE20K上刷到53.5 mIoU（目前第一）**

paper: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

https://arxiv.org/abs/2103.14030

code: https://github.com/microsoft/Swin-Transformer

一作解读: 如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？

https://www.zhihu.com/question/437495132/answer/1800881612

## **总结** ##

陀飞轮：网络架构设计：CNN based和Transformer based

https://zhuanlan.zhihu.com/p/348403926

上一篇文章讨论了一下网络架构设计是以CNN为主好还是Transformer为主好的问题，Swin Transformer给出了答案。Swin Transformer 吸收了CNN的locality、translation invariance和hierarchical等优点，形成了对CNN的降维打击。

Swin Transformer改进思路还是源于CNN，Transformer站在巨人的肩膀上又迎来了一次巨大的飞跃，未来Transformer会接过CNN手中的接力棒，把locality、translation invariance和hierarchical等思想继续发扬光大。

本文仅做学术分享，如有侵权，请联系删文。

##  ##

**重磅！计算机视觉工坊****-学习****交流群****已成立**

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在**交流顶会、顶刊、SCI、EI等写作与投稿事宜。**

**同时**也可申请加入我们的细分方向交流群，目前主要有**ORB-SLAM系列源码学习、****3D视觉**、**CV&深度学习**、**SLAM**、**三维重建**、**点云后处理**、**自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流**等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。**原创投稿**也请联系。

![9eceb67943e2823dd9f4d65be6aabd10.png][]

▲长按加微信群或投稿

![dd923c0a29114ced7e4cee07895ff52f.png][]

▲长按关注公众号

##  ##

**3D视觉从入门到精通知识星球**：针对3D视觉领域的**视频课****程（**[**三维重建系列**][Link 1]**、**[**三维点云系列**][Link 2]**、**[**结构光系列**][Link 3]**、**[**手眼标定**][Link 4]**、**[**相机标定**][Link 5]**、激光/视觉SLAM、自动驾驶等****）、****知识点汇总、入门进阶学习路线、最新paper分享、疑问解答**五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

##  ##

![dd8a82d0c8634d53c077ce707685ab2e.png][]

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

**觉得有用，麻烦给个赞和在看~**

[731b731cdb0ca094242aa63bf5fbf11d.png]: /images/20220828/fc2474a546664506be3417e23e346433.png
[dd93bc38d704bcf9c0b3ddaa7d75821b.png]: /images/20220828/8b10dff8d88d41daa448b49fb872021f.png
[eee26274e78977dbdb9f92323ee8c031.png]: /images/20220828/d84223abdd2249339e0371cf48887a07.png
[289a4053d5ab0c709af33819549e0aac.png]: /images/20220828/afe70455160e46eebe599caa7868e2f5.png
[6476e520a638a4017147225b54b1623e.png]: /images/20220828/48dea4d9ced14f3ca4462e464be3d259.png
[e86998d8010820a875964f45d3ef16a4.png]: /images/20220828/e565c5c30085439c9cff26de4fe9f749.png
[7c9aad73ebcbbf050cab1cefc87b23a3.png]: /images/20220828/b3a0e8556dd64b00820c8f95ead01a00.png
[7330eed4fcd6992047ace978ba01a2e0.png]: /images/20220828/728710569fe14c56b33602f362c5729b.png
[f2d3f4846f0b9f83e54fe78496eaa037.png]: /images/20220828/c141e7e143394abba49a97633f0249cd.png
[9eceb67943e2823dd9f4d65be6aabd10.png]: /images/20220828/d69a932e21124c4eadfa100fb6c15042.png
[dd923c0a29114ced7e4cee07895ff52f.png]: /images/20220828/a1c5fc576c8f44f297bb1836c17ceb97.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247549738&idx=1&sn=88b4aa9e091077f107407bddc8da7acd&chksm=fbfc281ecc8ba10823e11ac0044b5a94920806c83d30d8cb90630a41ecb23ad458106b9b1f58&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247551625&idx=1&sn=4a914cfeb2d251ab25421e1e5de930c0&chksm=fbfc21bdcc8ba8abac371478a6b2b9d143a1b31fa799201c6682d9d0b6a4ed4a7da146b3c536&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247546284&idx=2&sn=d067a98047192a04f21489aca338a5d6&chksm=fbfc1e98cc8b978e5fb6b2afd1a473c89e2861374542421b9972f87a6fdfcd47eb50c443042e&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247554670&idx=2&sn=cf3323178d5d1960476208e6303a8479&chksm=fbfc3d5acc8bb44c184084dcf447a5981d297815d62bef699129338d99a0472c622f96ee71d8&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247486422&idx=1&sn=381ab793959aed0eb6f01019dea522d4&chksm=fbff20e2cc88a9f456b80e23d2482fb319b08e89da071b39597bc51942a6aa7b756a6749856c&scene=21#wechat_redirect
[dd8a82d0c8634d53c077ce707685ab2e.png]: /images/20220828/4bffcb03b80b45c882319a4e64350bdd.png