只有4页！ICLR爆款论文「Patches are all you need」

客官°小女子只卖身不卖艺 2022-09-16 14:29 116阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

转自：新智元

金秋十月，又到了ICLR截稿的季节！

一篇「Patches are all you need」横空出世。

堪称ICLR 2022的爆款论文，从国外一路火到国内。

![205bf47a569dbf784b22fc5b9559b894.png][]

509个赞，3269个转发

![1978473cd1cf5c6c6ed794d15b007ef1.png][]

知乎热搜

这篇标题里不仅有「划掉」还有「表情」的论文，正文只有4页！

![186f6b1df6ea7656322066d7815284a8.png][]

https://openreview.net/pdf?id=TVHS5Y4dNvM

此外，作者还特地在文末写了个100多字的小论文表示：「期待更多内容？并没有。我们提出了一个非常简单的架构和观点：patches在卷积架构中很好用。四页的篇幅已经足够了。」

![dfd44e0f51023b065d690f404aba26b7.png][]

这……莫非又是「xx is all you need」的噱头论文？

#  #

你只需要PATCHES

这个特立独行的论文在一开篇的时候，作者就发出了灵魂拷问：「ViT的性能是由于更强大的Transformer架构，还是因为使用了patch作为输入表征？」

众所周知，卷积网络架构常年来占据着CV的主流，不过最近ViT（Vision Transformer）架构则在许多任务中的表现出优于经典卷积网络的性能，尤其是在大型数据集上。

然而，Transformer中自注意力层的应用，将导致计算成本将与每张图像的像素数成二次方扩展。因此想要在CV任务中使用Transformer架构，则需要把图像分成多个patch，再将它们线性嵌入 ，最后把Transformer直接应用于patch集合。

在本文中作者提出了一个极其简单的模型：ConvMixer，其结构与ViT和更基本的MLP-Mixer相似，直接以patch作为输入，分离了空间和通道维度的混合，并在整个网络中保持同等大小和分辨率。不同的是，ConvMixer只使用标准的卷积来实现混合步骤。

作者表示，通过结果可以证明ConvMixer在类似的参数量和数据集大小方面优于ViT、MLP-Mixer和部分变种，此外还优于经典的视觉模型，如ResNet。

##  ##

**ConvMixer模型**

ConvMixer由一个patch嵌入层和一个简单的完全卷积块的重复应用组成。

![452d952e0e22ae9b10396b2dd3a7896c.png][]

大小为p和维度为h的patch嵌入可以实现输入通道为c、输出通道为h、核大小为p和跨度为p的卷积。

![1e1f984e4ad67aa7ae82a1daf7bc7b7e.png][]

ConvMixer模块包括depthwise卷积（组数等于通道数h的分组卷积）以及pointwise卷积（核大小为1×1）。每个卷积之后都有一个激活函数和激活后的BatchNorm：

![02a531e75bf2ac01d10a345cf4fc6c21.png][]

在多次应用ConvMixer模块后，执行全局池化可以得到一个大小为h的特征向量，并在之后将其传递给softmax分类器。

ConvMixer的实例化取决于四个参数：

1.  「宽度」或隐藏维度h（即patch嵌入的维度）
2.  「深度」或ConvMixer层的重复次数d
3.  控制模型内部分辨率的patch大小p
4.  深度卷积层的核大小k

作者将原始输入大小n除以patch大小p作为内部分辨率。此外，ConvMixers支持可变大小的输入。

##  ##

**实验结果**

在CIFAR-10上较小规模的实验表明，ConvMixers在只有0.7M参数的情况下达到了96%以上的准确率，证明了卷积归纳偏差的数据有效性。

不使用任何预训练或额外数据的情况下，在ImageNet-1k中评估对ConvMixers。将ConvMixer添加到timm框架中，并使用几乎标准的设置进行训练：默认的timm增强、RandAugment、mixup、CutMix、随机删除和梯度标准裁剪。此外，还使用了AdamW优化器和一个简单的triangular学习率时间表。

由于算力有限，模型没有在ImageNet上进行超参数调整，而且训练的epochs比竞争对手少。因此，作者表示，论文中提出的准确率可能低估了模型的能力。（是的没看错，原文就是underestimate）

结果表明，具有52M参数的ConvMixer-1536/20可以在ImageNet上达到81.4%的最高精确度，具有21M参数的ConvMixer-768/32可以达到80.2%。

此外，ConvMixer-768/32使用的参数仅为ResNet-152的三分之一，但其准确度与之类似。

![b7054154aa3d6a5a0157840545dcfec8.png][]

在224×224的ImageNet-1k上训练和评估

更宽的ConvMixer可以在更少的epochs下就实现收敛，但对内存和计算的要求更加苛刻。当ConvMixer的卷积核更大时，效果也更好。ConvMixer-1536/20在将核大小从k=9减少到k=3时，准确性下降了≈1%。

在实验中，拥有更小patch的ConvMixers的性能更好，作者表示这是因为较大的patch需要更深的ConvMixers。

ConvMixer-1536/20的性能优于ResNet-152和ResMLP-B24，而且参数要少得多，并且与DeiT-B的性能接近。

![20823c1f75cb225806454d0f8ff281e4.png][]

然而，ConvMixer的推理速度大大低于竞争对手，这可能是由于其较小的patch；超参数的调整和优化可以缩小这一差距。

![b7741f6027e23ddbf97af97fc2ac58d5.png][]

##  ##

**算法实现**

![71e6de677d120e8e9018394a3867a952.png][]

#  #

网友评论

对着标题玩梗肯定是少不了的。

Chinese philosophy is all you need

Money is all you need

![844281c52cc040ce3c1b6e85c2ea0324.png][]

对此，来自华科的网友@小小将认为这篇论文实在是「名不副实」。

![8c1a6965fd53818bbce8e0232998e8b1.png][]

一位网友疯狂拆穿，认为这篇论文「吹水」得过于明显了。

![3da6acbf60c4ac48cbd3c5fde5ac8cfe.png][]

甚至表示：「任何一个ViT、MLP、ResNet模型通过增大输入的patch分辨率，在把计算量提到这么大之后，性能都能比这更好。」

@陈小小表示，通篇只比参数量，不比计算量。与同精度的ResNet相比，吞吐量差得离谱。

![a870a01e32df5b439144ac38c9ec63a8.png][]

当然了，该论文提到的ConvMixer如此简洁优雅，还是有一队网友轮番夸赞的。

@殷卓文表示，这是一篇「漂亮得不讲道理」的论文，堪称完美。

结构是常规的结构，不用调参，效果又好，怎能不香呢？

![8bb8b440fec3191fc5c46daba7bd7546.png][]

此外，也回答了之前一位网友指出的问题：「这篇论文减小patchsize，相当于增大输入token size，与vit等方法是不公平的比较。同时这篇文章的方法实际运行速度慢（throughput）。」

![f27a66ab362ec411452995440106e1bc.png][]

特斯拉AI高级总监Andrej Karpathy也赞叹道：「我被新的 ConvMixer 架构震撼了。」

![0ed9ed159488817e938f17f45dffb278.png][]

对于网上这些争论，@陀飞轮表示，主要是「深度学习的控制变量都不是严格的控制变量」这个问题所造成的。

![62a802b75bc98f3e67c4a5aa9c7fba0f.png][]

参考资料：

https://www.zhihu.com/question/492712118

https://openreview.net/pdf?id=TVHS5Y4dNvM

**猜您喜欢：**

[**等你着陆！【GAN生成对抗网络】知识星球！**][GAN]

[**CVPR 2021专题1：GAN的改进**][CVPR 2021_1_GAN]

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][_ _100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![277da6e78d7d78da6054c942e12f0131.png][]

[205bf47a569dbf784b22fc5b9559b894.png]: /images/20220828/64f215cd9c754bbe98d5b6ef55d5b502.png
[1978473cd1cf5c6c6ed794d15b007ef1.png]: /images/20220828/381576b1ba3d4867996f9b9a3c2d109c.png
[186f6b1df6ea7656322066d7815284a8.png]: /images/20220828/3e93b94c52d94c808ac280ca6e7a2ce4.png
[dfd44e0f51023b065d690f404aba26b7.png]: /images/20220828/60d74df66f0449babab31394cb647a41.png
[452d952e0e22ae9b10396b2dd3a7896c.png]: /images/20220828/ff112537591e4450a484b1bb634b485d.png
[1e1f984e4ad67aa7ae82a1daf7bc7b7e.png]: /images/20220828/50c5f6b5f27946cdade09f7eaabc66eb.png
[02a531e75bf2ac01d10a345cf4fc6c21.png]: /images/20220828/5ec96227e81e4457a7725125806b6dfa.png
[b7054154aa3d6a5a0157840545dcfec8.png]: /images/20220828/c1c24a32328d437e92a1ef16f87df7c7.png
[20823c1f75cb225806454d0f8ff281e4.png]: /images/20220828/1d2fd6f160424b618415a0a3958b8344.png
[b7741f6027e23ddbf97af97fc2ac58d5.png]: /images/20220828/c3c3e213646744d5b5efce69e9680917.png
[71e6de677d120e8e9018394a3867a952.png]: /images/20220828/9cad8a20801749edae5c4a34b27a0ad1.png
[844281c52cc040ce3c1b6e85c2ea0324.png]: /images/20220828/fd5dee229cdf4e0988e2428d52a497b1.png
[8c1a6965fd53818bbce8e0232998e8b1.png]: /images/20220828/c29227f4baab43f5a2c6240be6016697.png
[3da6acbf60c4ac48cbd3c5fde5ac8cfe.png]: /images/20220828/652efcd1ebf044e0b6a8141daf9be596.png
[a870a01e32df5b439144ac38c9ec63a8.png]: /images/20220828/176a921f554b42338adf2eef8ac40dbd.png
[8bb8b440fec3191fc5c46daba7bd7546.png]: /images/20220828/277aac5476294157b79a1fb4d9d10249.png
[f27a66ab362ec411452995440106e1bc.png]: /images/20220828/db0af846865d45bdb374f68d8cc79d80.png
[0ed9ed159488817e938f17f45dffb278.png]: /images/20220828/0bedd1d8d573474db68c957c5cb8f8f1.png
[62a802b75bc98f3e67c4a5aa9c7fba0f.png]: /images/20220828/0db7ebff645048849005d5364531bec6.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493528&idx=1&sn=a6ad486ec02f36c97bc9a7c86f986765&chksm=fe2a4523c95dcc3526ebf62751f7a8f319082ed358f3a8c37e98188206f7d71daf2885028bf9&scene=21#wechat_redirect
[CVPR 2021_1_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493902&idx=1&sn=14c01f114bd69bd6a94adf79296009c8&chksm=fe2a4bb5c95dc2a3c7ea2f02e430cd72ee4a200552cc74e323c0a3b6eac891c923e9b10d14ba&scene=21#wechat_redirect
[CVPR 2021 _ GAN_3D]: https://blog.csdn.net/Yong_Qi2015/article/details/116810851
[CVPR 2021 _ _ _GAN]: https://blog.csdn.net/moxibingdao/article/details/115410691
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247491634&idx=1&sn=427cb6bfd6868662f2b5ae1ac37f6072&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&scene=21#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490911&idx=1&sn=671926492c3b36e3350db4963f7fcb16&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&scene=21#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490656&idx=2&sn=bbe156fef077f23263b57e506ad43314&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&scene=21#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490498&idx=1&sn=324cfbbde362a728aa5336f4b200f7a3&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&scene=21#wechat_redirect
[100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/107075585
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485709&idx=2&sn=55a51c98ab48f393ba305c082ba0e4fe&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&scene=21#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485091&idx=2&sn=f569d5d70c2e6c9cc567fbc5147787a4&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&scene=21#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485635&idx=2&sn=90608bce32fe353cf3c64b39e3406bc3&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&scene=21#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484959&idx=2&sn=563999cc8d48498beed00270844ceec4&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484929&idx=1&sn=523220858287ed3e6105919703c8e833&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&scene=21#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485195&idx=2&sn=e3387067db29d1759755c6c2ea96c870&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&scene=21#wechat_redirect
[_ _100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/114860515
[Link 2]: https://blog.csdn.net/Yong_Qi2015/article/details/111714078
[277da6e78d7d78da6054c942e12f0131.png]: /images/20220828/f506c7424447421b97f7d5dbb3077b32.png