图文模态交互 | CLIP + GAN = ？

太过爱你忘了你带给我的痛 2022-09-03 13:22 213阅读 0赞

### 点击上方“**机器学习与生成对抗网络**”，关注星标     获取有趣、好玩的前沿干货！  ![f5d083adcebb521839112cd654632ca7.png][]    ###

###  ###

新智元  来源：berkeley  编辑：好困

最近几个月，AI生成艺术领域的发展如同雨后春笋一般。

自从OpenAI开源了CLIP模型的权重和代码之后，网友们就开始利用它去创造各种有趣的视觉艺术。

而CLIP模型创造力是如此之强，仅根据这些短短的文字，就能以不可思议的抽象风格将它们呈现出来。

而你，并不会知道出现的会是什么：可能是迷幻的伪现实场景，或者是更加抽象的东西。

例如，输入 「夜晚的城市景观」，就会生成这种很酷、很抽象的画面。

![e23d0c72ed10ba040872f32e77b80db3.png][]

亦或是生成「吉卜力画风的场景」。

![db6f9917b01e96843eaf0d3ff4361acd.png][]

CLIP也可以用来生成短的动画，例如这个「星空」。

![a6484fd5eb87e917dcf36fdbcbd9abf2.gif][]

自然语言输入是一个完全开放的沙盒，如果能按照模型的喜好使用文字，你几乎可以创造任何东西。

在概念上，这种从文本描述生成图像的想法与OpenAI的DALL-E模型惊人地相似。但实际上却完全不同。

DALL-E是直接从语言中产生高质量的图像而进行的端到端训练，而CLIP则是使用语言来引导现有的无条件图像生成模型。

![88baf650dd265fa10376466ceb5bab0a.png][]

DALL-E文本到图像的端到端生成

![d483c87381db668f2e68286321c68597.gif][]

CLIP是如何生成艺术作品的

不过，这些基于CLIP的方法要相对拙略一些，所以输出的结果并不像DALL-E那样具有很高质量和精确度。相反，这些生成的图像是怪异、迷幻和抽象的。

正是这种怪异使这些基于CLIP的作品如此独特，让人在熟悉的事物上看到完全不同的结果。

![70a902367acf5f6b4d32c7a33f2efa74.png][]

「牛油果形状的扶手椅」：上图由DALL-E生成，下图由CLIP生成的

CLIP：一个意想不到的故事

2021年1月5日，OpenAI开源了CLIP：一个用来给图像进行标注的模型。

在数以亿计的图像中学习之后，CLIP不仅在给图像挑选最佳的标注方面变得相当熟练，而且在分类方面还展示出了比以往任何模型都更强大的鲁棒性。

除此以外，CLIP还学会了抽象的视觉表征，在某种程度上这还是第一次。

但很显然，没有任何迹象表明CLIP还能在生成艺术方面带来任何帮助。

然而，网友们只花了一天时间就发现，通过一个简单的技巧，CLIP就可以用来指导现有的图像生成模型（如GANs、Autoencoders或像SIREN这样的隐式神经表征），输出基于给定文字描述的图像。

其中，CLIP在生成模型的潜在空间进行搜索，从而找到与给定的文字描述相匹配的潜在图像。

然而，这种方法在早期生成的图像可以说十分诡异。

![f41b14ec1dabb20506ad1a4947512461.png][]

Big Sleep：一切的开始

不过，在短短的几周之后就有了突破性进展，advadnoun发布并开源了Big Sleep的代码：一种基于CLIP并使用Big GAN作为生成模型的文本到图像技术。

有趣的是，模型的名字起源于一部超现实主义的黑色电影The Big Sleep。

![f7be92bef92f9d545318eb90e60bef28.png][]

The Big Sleep以其独特的方式，几乎可以呈现任何能用文字表达的东西。

![748ef87da080dd5381f495dd0a1d060e.png][]

日落——The Big Sleep

![2b159a29ac1f019f10c860e21edfe028.png][]

起风了——The Big Sleep

![eb639d5ac3bb51209d8131cf71722a28.png][]

在一切的尽头，摇摇欲坠的建筑和刺破天空的武器——The Big Sleep

看到这些作品，也就不难想象为何网友给出一个富有「哲学」的观点了：

![41d19fb2739ad1ae37be96aca8491e0d.png][]

> 你可以把CLIP的输出看作是单纯的统计平均数的产物：计算语言和视觉之间的相关性的结果，因为它们存在于互联网上。因此，从这个角度来看，CLIP的输出更像是在窥视时代潮流，并把事情看成是类似于 「互联网的统计平均值」。

VQ-GAN：一个新的超级生成模型

2020年12月17日，海德堡大学的研究人员发表了他们的论文「Taming Transformers for High-Resolution Image Synthesis」，提出了一种新的GAN架构：VQ-GAN。

VQ-GAN将conv-nets和transformers结合在一起，并充分地利用了conv-nets在局部感应偏差和transformers在全局注意力上的优势。

在四月初，advadnoun和RiversHaveWings开始把VQ-GAN和CLIP结合到一起，尝试从文本提示中生成图像。

新的方法与The Big Sleep基本相同，只不过原本的生成模型Big-GAN，变成了VQ-GAN。

结果就是，生成的图像在风格上发生了巨大的转变。

![1f25378ae3c5ad8159ad7e449dd50e0f.png][]

一系列的管道——VQ-GAN+CLIP

![5655ab607250b053cdea06462fc38831.png][]

在月光下跳舞——VQ-GAN+CLIP

![1a6ce3d0714a3c020a563b99ab33cdc9.png][]

以武器作为枝条的树——VQ-GAN+CLIP

VQ-GAN+CLIP的输出看起来不像是The Big Sleep那样的绘画，而更像一个雕塑。

这个结果有些出乎意料，只是把生成模型从Big-Gan换成VQ-Gan，就能获得一个全新风格的「艺术家」。

当然，这也从侧面说明了CLIP的通用性：可以插入任何一个生成模型，并在之后产生具有全新风格和形式的艺术。

虚幻引擎（Unreal Engine ）技巧

除了可以切换生成模型来改变输出的风格以外，还有一个更简单的技巧可以做到这一点。

只需要添加一些特定的关键词到文字提示中，CLIP就能对输出的图像做出相应地修改——以它所「理解」的方式。

这其中最有吸引力的一个技巧就是：「虚幻引擎技巧」。其中，虚幻引擎是一个由Epic Games开发的3D创作渲染工具。

![a385d33c245fba51ad45ac3de1863bef.png][]

网友jbustter发现，如果在文字提示中加入 「在虚幻引擎中渲染」，输出结果看起来会更真实。

![e178a562cd87ed96ecebd629e0ea56fa.png][]

CLIP似乎学习了很多被标记为「用虚幻引擎渲染」的电脑游戏图片，因此，通过在文字提示中加入这一点，就能有效地激励了模型去「复现」那些由虚幻引擎渲染的图像。

![950fd49983c2a5dff0d24ca496483741.gif][]

一个神奇的童话屋，虚幻引擎——VQ-GAN+CLIP

在某种程度上，虚幻引擎的技巧是一种突破。它使人们认识到在提示中添加关键词可以有多大的效果。

于是，有越来越多复杂的提示被使用，用来尽可能地提取最高质量的输出。

![d9381ea025d2980a5183a497895df9b5.png][]

「山顶附近暴风雪中的小木屋，黄昏时分打开一盏灯 | artstation | 虚幻引擎」——VQ-GAN+CLIP

![2508e93da9483416e2bf065aab57541b.png][]

「山顶上的房子在午夜时分的哑光画，小萤火虫在周围飞来飞去，是吉卜力工作室的风格 | artstation | 虚幻引擎」——VQ-GAN+CLIP

这些看起来与之前VQ-GAN+CLIP生成的图像完全不同。它们看起来更像是经过编辑的照片或视频游戏的场景。

根据这些关键词，模型将会输出风格各异的艺术作品，同时，随着生成模型的发展，也将会有更多更出色的作品产生。

而这仅仅是个开始。

参考资料：

https://ml.berkeley.edu/blog/posts/clip-art/?continueFlag=ae8c92b06679c71e74349cb040d81f29

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![9d0f63be25fc8d0f35c7b1514af3efff.png][]

[f5d083adcebb521839112cd654632ca7.png]: /images/20220829/38e12c4b4bb84d289279f6b94bd74350.png
[e23d0c72ed10ba040872f32e77b80db3.png]: /images/20220829/eb4627f62b1f41548196c06cdb1e3893.png
[db6f9917b01e96843eaf0d3ff4361acd.png]: /images/20220829/c163e09bee29448b8bc1ca457030f56c.png
[a6484fd5eb87e917dcf36fdbcbd9abf2.gif]: /images/20220829/e392817608fb41bda8fbe1fe6d57a865.png
[88baf650dd265fa10376466ceb5bab0a.png]: /images/20220829/da5f3b1d272a4bf28a814e11aec9548a.png
[d483c87381db668f2e68286321c68597.gif]: /images/20220829/772e0e9f1fc94870868f5bb6cade701d.png
[70a902367acf5f6b4d32c7a33f2efa74.png]: /images/20220829/e15ac86929904299a78914d60bb57867.png
[f41b14ec1dabb20506ad1a4947512461.png]: /images/20220829/1774e478bfbd4efb8945f14864ea8881.png
[f7be92bef92f9d545318eb90e60bef28.png]: /images/20220829/7654000a1d7a49e690a7c8647a229ddb.png
[748ef87da080dd5381f495dd0a1d060e.png]: /images/20220829/3e07c29a9d4d4f4c9f26f6ca4b6cd055.png
[2b159a29ac1f019f10c860e21edfe028.png]: /images/20220829/615b7c81bf7942e0afeb437f20205218.png
[eb639d5ac3bb51209d8131cf71722a28.png]: /images/20220829/26c41e1cb2b34170b6c91fca95461216.png
[41d19fb2739ad1ae37be96aca8491e0d.png]: /images/20220829/9a801aa0c4c94738b68d1d14fb60df9a.png
[1f25378ae3c5ad8159ad7e449dd50e0f.png]: /images/20220829/2c7604dbb4054d5c8337cfa82a37d08b.png
[5655ab607250b053cdea06462fc38831.png]: /images/20220829/ede6b9cdfbbe4dca87db2075b67d9ae9.png
[1a6ce3d0714a3c020a563b99ab33cdc9.png]: /images/20220829/d1e43ad0315a4c7f9f358189e2974546.png
[a385d33c245fba51ad45ac3de1863bef.png]: /images/20220829/e7da22a447e24808898fbf1cea58d421.png
[e178a562cd87ed96ecebd629e0ea56fa.png]: /images/20220829/393a0c6f17b74a35a67e9aa86f92db60.png
[950fd49983c2a5dff0d24ca496483741.gif]: /images/20220829/b099d00744db4b38a60df6f8f4bde659.png
[d9381ea025d2980a5183a497895df9b5.png]: /images/20220829/d360546954e54edfa6c5cd1924b85894.png
[2508e93da9483416e2bf065aab57541b.png]: /images/20220829/b8d294fdd5bc4b4384d1ccf1799176e4.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[9d0f63be25fc8d0f35c7b1514af3efff.png]: /images/20220829/230f7062e7484ca59407efdc047fdeb1.png