TransGAN：纯粹而又强大

绝地灬酷狼 2023-01-18 13:22 17阅读 0赞

作者：知乎—wangj

地址：https://www.zhihu.com/people/qi-yue-wu-yi-51-6

近段时间来，Transformers不仅在NLP领域中大放异彩，而且在CV领域也不断有研究人员将其使用到各个任务上，比如分类，检测，分割，TransGAN论文作者就将Transformers结构作为GAN网络的主结构，完全抛弃CNN结构，通过使用数据增强和多任务训练，使得模型的最高性能几乎能匹敌目前最好的GAN模型。

**01**

**模型结构**

模型的结构并没有太大的创新，如下图所示，但是为了减少Generator的内存占用，使用了一些技巧，也就是图中左半部分的UpScaling模块，这个模块使用了上采样算法pixelshuffle，通过减少通道数，也就是图中的C,使得图片的H,W扩大，如图中的(8x8xC)变成(16x16xC/4).

以上都是generator部分，而对于discriminator部分，直接将图片切分成8x8大小的小图片，然后将图片拉平，则输入就变成了(batch\_size,HxW,C)，然后在首位加上\[CLS\]，在加上positional embedding，通过多个transformers encoder后，只需要将cls对应的输出作判断。

![c7771a0ba3eaa23eaf643f4e9696d4dc.png][]

**02**

**模型训练技巧**

通过将TransGAN和AutoGAN的生成器和判别器分别组合，得到了4组实验，结果如下图所示，其中IS值越大越好，FID值越小越好，发现Transformers作为生成器的效果并不差，而作为判别器的结果就不太行了，所以论文中认为Transformers作为判别器时不能得到充分的训练。

![40f97adb69c93c7485f3d9a58b9fe96f.png][]

Transformers模型的优势一般只有在数据量充分大的时候才能取得很好的结果，于是作者使用了第一个训练技巧：数据增强，通过DiffAug获得大量的数据，继续训练得到了更好的结果，如下图所示，模型的效果大大提升了，比起目前最好的模型来说当然还有一定的差距，但是相比于未使用数据增强之前，提升的效果相当明显。

![de17fcc14fb83dba6d2189d2e5dcee55.png][]

尽管提升效果明显，但是相比于最好的模型还是有不小的差距，在NLP中，多任务预训练使得模型效果更强，而且在GAN模型中，使用自监督的训练任务，比如角度预测，能使模型的训练更稳定，于是第二个技巧就是多任务共同训练，作者提出了一个自监督的任务来训练生成器，将真实图片通过下采样得到一个低分辨率的图片，然后将低分辨率的图片作为生成器的输入，将最后的输出和真实图片作比较，如下图所示，LR表示低分辨率的图片，SR表示模型最后输出的高分辨率的图片，使用的损失函数为MSE（均方误差），另外这部分损失还需要乘上一个相关系数λ，论文中将其设定为50

![d765763ac26965e0f433c86d567fcfc1.png][]

从下图的结果来看，这将模型的性能提升了一点，但是相比于数据增强，提升的效果并不是很大。

![7daf7c3cd5a7a9fd3e7456819e862d0c.png][]

上图中还有一个local init，这是另一个技巧，论文中称为Locality-Aware Initialization for Self-Attention，从名称中可以看出这是针对self-attention模块的操作，self-attention的本质就是每个“word”对其他所有“word”的相关性，论文中在一开始并没有让“word”和其他所有“word”进行计算得到相关性，而是只和周围的几个“word”进行交互，mask代码如下图所示，就是对于当前所在的“word”来说，只和左右两个方向的w个“word”进行相关性计算。

![0d20917778bcb3cccc9ecb6d90a70a4b.png][]

N代表的是HxW

**03**

**模型效果**

论文中给出了4种大小的模型，如如下图所示，depth指的是生成器部分三个部分的Transformers encoder的数量，其中效果最好的就是最大的模型，这也符合常理，在数据充分的情况下，模型越大能学到的东西就越多。

![fc8f59a662610b0340f495034ceba2b9.png][]

当然这只是模型自己的效果，还没和其他模型做对比，论文给出了在两个数据上和其他模型的结果对比，下图一是在CIFAR-10数据上的结果，下图二是在STL-10数据上的结果。

![d70e04acd3d8135e45170e04cf124873.png][] ![84fe047cbbd570405802f29b14129473.png][]

**04**

**结论**

从论文中的结果来看，纯粹采用Transformers作为GAN模型的主体效果在一定程度上还是不错的，当然这不是说基于Transformers的模型一定比基于CNN的模型有前途，只是作为一种选择。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

![6c63ea38accf95fac8bcd999f5fbb216.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![7ed46670064987c662083ddc56d8150c.png][]

[c7771a0ba3eaa23eaf643f4e9696d4dc.png]: /images/20221021/bb37350495254a699be1faab66c0ea17.png
[40f97adb69c93c7485f3d9a58b9fe96f.png]: /images/20221021/75887fca67b34454965b8abc1cb21dbe.png
[de17fcc14fb83dba6d2189d2e5dcee55.png]: /images/20221021/cc9885ff76da459391a32d10f80e4040.png
[d765763ac26965e0f433c86d567fcfc1.png]: /images/20221021/e4482938e62441db81372339162e05f6.png
[7daf7c3cd5a7a9fd3e7456819e862d0c.png]: /images/20221021/31ab0cf4573f444f952adf5c93eae584.png
[0d20917778bcb3cccc9ecb6d90a70a4b.png]: /images/20221021/d8b9438b835c4c4bb429ec02a04645dc.png
[fc8f59a662610b0340f495034ceba2b9.png]: /images/20221021/8701ca1716774a1ca6e8ff1dc71f0fdd.png
[d70e04acd3d8135e45170e04cf124873.png]: https://img-blog.csdnimg.cn/img_convert/d70e04acd3d8135e45170e04cf124873.png
[84fe047cbbd570405802f29b14129473.png]: /images/20221021/fe3daac8ccca48f7a096e80256a55f5e.png
[6c63ea38accf95fac8bcd999f5fbb216.png]: /images/20221021/e208ba5de9854a11af3729dd14617b6e.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[7ed46670064987c662083ddc56d8150c.png]: /images/20221021/c5dfd9b1114442ea999dc7a71b0a55be.png