ICCV 2021 | 朱俊彦团队一张草图训练可控的GAN？

古城微笑少年丶 2022-09-04 01:50 7阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

**机器之心 编辑：杜伟、陈**

> CMU 助理教授朱俊彦团队的最新研究将 GAN 玩出了花，仅仅使用一个或数个手绘草图，即可以自定义一个现成的 GAN 模型，进而输出与草图匹配的图像。相关论文已被 ICCV 2021 会议接收。

深度生成模型（例如 GAN）强大之处在于，它们能够以最少的用户努力合成无数具有真实性、多样性和新颖的内容。近年来，随着大规模生成模型的质量和分辨率的不断提高，这些模型的潜在应用也不断的在增长。

然而，训练高质量生成模型需要高性能的计算平台，这使得大多数用户都无法完成这种训练。此外，训练高质量的模型还需要收集大规模数据以及复杂的预处理过程。常用的数据集（例如 ImageNet 、LSUN）需要人工标注和过滤；而专用的数据集 FFHQ Face 需要进行人脸对齐以及超分辨率预处理。此外，开发一个高级生成模型需要一组专家的领域知识，他们通常会在特定数据集的单个模型上投入数月或数年的时间，耗时较长。

这就引出了一个问题：**普通用户如何创建自己的生成模型**？比如，用猫来创造艺术作品的用户可能不愿意使用普通的猫模型，而希望是一种特殊猫的定制模特，摆着特定的姿势：在附近、斜倚着，或者都向左看。一般来说，要获得这样的定制模型，用户必须管理成千上万的向左倾斜的猫图像，然后需要领域专家花几个月的时间进行模型训练和参数调整，才能生成一个较为理想的模型。

在这项工作中，朱俊彦等来自 CMU 和 MIT 的研究者提出 GAN Sketching，该方法通过一个或多个草图重写 GAN，让新手用户更容易地训练 GAN。具体地，该方法还能通过用户草图改变原始 GAN 模型的权重，并且通过跨域（cross-domain ）对抗损失鼓励模型输出来匹配用户草图。

此外，该研究还探索了不同的正则化方法，以保持原始模型的多样性和图像质量。

![92adfa89c4f5307cf1cdda077c6445f8.png][]

*  论文地址：https://arxiv.org/pdf/2108.02774.pdf
 *  项目地址：https://peterwang512.github.io/GANSketching

实验表明，GAN Sketching 可以塑造 GAN 来匹配草图指定的形状和姿态，同时保持真实感和多样性。研究者最后演示了生成的 GAN 的一些应用，包括潜在空间插值和图像编辑等应用。

它的效果是这样的：绘制一张猫咪草图，模型会匹配与草图神似的猫咪图片：

![527800ca7a0a044d9859525d357fe940.gif][]

看起来在远处、趴着的猫咪：

![55557f61eb0430f59bf48bac5fc90a3c.gif][]

匹配和你对视的猫咪：

![4bcdb5e80c0494deeb560e48f24e1575.gif][]

**方法**

研究者的目标是创建一个真实图像的模型，其中这些照片的形状和姿态由草图来指导，但输出的是真实图像，而不再是草图。

基于此，研究者提出了一个使用**域转换网络的跨域对抗损失**。不过，单单使用跨域对抗损失明显改变了模型的行为，并生成了不真实的结果。因此，他们通过**图像空间正则化**进一步训练模型，并且为了减轻模型的过拟合，他们限制了特定层的更新，并使用到了**数据增强策略**。

完整的训练流程如下图 2 所示：

![1d797e9b63d734d419778282d64a5679.png][]

**跨域对抗学习**

假设 X, Y 分别是由图像和草图组成的域。研究者收集了一个大规模训练图像集 x ∼ p\_data(x)和一些手绘草图 y ∼ p\_data(y)。他们将 G(z; θ)作为一个从低维代码 z 中生成图像 x 的预训练 GAN，并希望创建一个新的 GAN 模型 G(z; θ´)，它的输出图像呈现与 X 相同的数据分布，同时输出图像的草图也与 Y 的数据分布相似。

为了缩小草图训练数据与图像生成模型之间的差距，研究者提出以跨域对抗损失来激励生成的图像匹配草图 Y。在传递至判别器之前，生成器的输出通过预训练的图像 - 草图网络 F 转换成了草图。如公式（1）所示：

![d83ed157d6a7c842126bbadc233bf24c.png][]

其中，研究者将 Photosketch 作为图像 - 草图网络 F。

**图像空间正则化**

研究者观察到，仅使用草图上的损失将大大降低图像质量和生成结果的多样性，这是因为该损失迫使生成图像的形状匹配草图。为了解决这一问题，他们添加了**第二个对抗损失**，以将输出与原始模型的训练设置进行比较。如公式（2）所示：

![f0bcb330d73b9c64ba319fee39822c6a.png][]

其中，判别器 D\_X 用来保持图像质量和模型输出的多样性，并匹配用户的草图。

研究者还实验了权重正则化，其中使用公式（3）中的损失来显式地惩罚大的变化：

![2fc5196bd5d5788eb62235349b28adb0.png][]

最后，研究者实验了图像和权重正则化方法联合训练的模型，结果发现，该模型并不优于仅通过图像正则化训练的模型。

**优化**

研究者的目标是：

![25289a66070b2815771b2608cfe2567a.png][]

为了防止模型过拟合并加速微调速度，他们仅修改了 StyleGAN2 的映射网络的权重，其本质上是将 z ∼ N (0, I)重映射为不同的中间潜在空间（W 空间）。

此外，研究者使用了一个预训练的 Photosketch 网络 F，并通过训练固定了 F 的权重。他们实验了应用于训练草图的可微增强策略，结果发现，轻微的增强在场景测试中表现更好。在本研究中，他们使用了转换增强。

**实验**

为了实现大规模的定量评估，研究者构建了一个模型草图场景数据集。该研究使用 PhotoSketch 将数据集 LSUN 中的马、猫和教堂的图像转换为草图，并手工选择 30 幅形状和姿势相似的草图集合，指定为用户输入，如下图 3 所示。

![94a68f7b04f35370e9af9d6d3623cf48.png][]

该研究根据生成图像和评估集之间 FID（Frechet Inception Distance）来评估模型，为了公平比较，该研究通过选择具有最佳 FID 的迭代来评估每个模型。

该研究与以下基线进行了比较：（1）基线 (SBIR)，使用 Bui 等人提出的基于草图的图像检索方法选择最佳匹配样本（2） 基线 (Chamfer)，使用 PhotoSketch 计算的输入草图 y 和图像 x 的草图之间的对称倒角距离 d(x, y) + d(y, x) 匹配样本。

表 1 为定量比较，由结果可得该研究所用方法获得的 FID 明显优于基线 (SBIR) 和基线(Chamfer)。此外，该研究还调查了其他训练因素的影响，如表 1 所示。

更少的草图样本：该研究还测试了 GAN Sketching 方法是否能够处理较少数量的草图。每项任务只使用 1 或 5 个草图训练模型，这些草图选自前 30 个草图。结果如下表 1 所示。

![d2bcc330f8e007adc352a08c61a28ef6.png][]

消融实验：首先，该研究对正则化方法和数据增强效果进行了实验，结果如下表 2 所示：

![15712610e7b048ce7738464daa986523.png][]

正则化方法对比：与使用 L\_sketch 训练相比，正则化方法 L\_image 或者 L\_weight 提高了 FID，而使用 L\_image 优于 L\_weight 正则化方法。这与下图 4 中的观察结果一致，展示了经过正则化和不经过正则化训练的模型的 snapshot。

![417544957d23134fc5bf1350b31d74d8.png][]

为了让普通用户可以定制 GAN，该研究还在新手手绘草图上进行了测试。研究者从 Quickdraw 数据集收集猫和马的草图作为训练图像。首先他们在一个草图上训练模型，并在下图 5 中显示成功和失败的案例。

![3f2386407341416eb1a829ade2c4dff5.png][]

该研究还观察到，在困难的情况下，可以通过增加输入用户草图的数量来提高性能，如下图 6 所示：

![c79ae6068a9ba4cf2541c8962ed32fcd.png][]

研究者还发现，增强策略是该方法在用户草图中获得成功必不可少的因素。如下图 7 所示，给定相同的输入草图，仅有通过增强策略训练的模型生成了忠实匹配输入草图的图像。

![32c6630b0e0774e87e470ccc41728703.png][]

研究者将他们的方法应用于人脸生成模型，并使用增强策略加持的方法自定义了在 4 张人类手绘草图上训练的 StyleGAN2 FFHQ 模型。具体结果如下图 11 所示，可以看到，输出的图像与输入的草图匹配。

![643e04261a92e2b4dd96052726d802a0.png][]

**应用**

研究者了探讨了将他们的方法应用于图像编辑和合成任务的几种方法，并表示：用户利用自定义模型可以更好地执行潜在空间编辑以及更好地操控自然图像。

对于潜在空间编辑来说，研究者在原始模型中应用了潜在发现方法 GANSpace。如下图 8 所示，通过沿着得出的潜在方向移动，他们发现自定义模型可以执行与 Harkonen 等人工作中完全相同的操作。

![d587b64336fe47952e8e37de082a25b7.png][]

由于研究者仅调整了生成器的映射网络，他们的方法并没有改变模型处理 W 空间潜变量的方式，因此保留了潜在编辑的属性。他们还观察到，潜在插值（latent interpolation）在模型中保留了平滑性。下图 9 为利用自定义模型的差值结果：

![69796e949366a1dcc1538b84fad234d5.png][]

对于 自然图像编辑来说，研究者表示，自然图像编辑可以通过图像投影（image projection）来实现。下图 10 为利用原始和自定义模型进行的自然图像编辑：

![b0ed34084893abfad599a95eab5d2413.png][]

不过，研究者也遇到了一些失败的示例，具体如下图 12 所示，生成的图像无法忠实地匹配草图的姿态：

![a41bd5ec28646af2eec99c6d9706d281.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![9114f97ace0964913a9130ee94ad7a7e.png][]

[92adfa89c4f5307cf1cdda077c6445f8.png]: /images/20220829/42e9636d9af24153abef2a81f223c127.png
[527800ca7a0a044d9859525d357fe940.gif]: /images/20220829/f541545b950346a1b9e1568ad5dab22a.png
[55557f61eb0430f59bf48bac5fc90a3c.gif]: /images/20220829/7d6c3996b56e473cb1969c84c0e1ffb5.png
[4bcdb5e80c0494deeb560e48f24e1575.gif]: /images/20220829/a179f7726adb445ab61cc594d6d64420.png
[1d797e9b63d734d419778282d64a5679.png]: /images/20220829/bfcedcce7fad48deb4f24a90c017d4f9.png
[d83ed157d6a7c842126bbadc233bf24c.png]: /images/20220829/97bd6d58ba53417fac173b812f7759c3.png
[f0bcb330d73b9c64ba319fee39822c6a.png]: /images/20220829/7b08d97b8d5f4f17bb05e6abbd6c2e4f.png
[2fc5196bd5d5788eb62235349b28adb0.png]: /images/20220829/2db1bc366f5f4b66af82af231f9bddfd.png
[25289a66070b2815771b2608cfe2567a.png]: /images/20220829/3db315a29fe24b78a69618739ee634d7.png
[94a68f7b04f35370e9af9d6d3623cf48.png]: /images/20220829/e62942b4243a431facba9e2f84ac43a8.png
[d2bcc330f8e007adc352a08c61a28ef6.png]: /images/20220829/00fc2b68c0034d8db563d0d7e6bf8c90.png
[15712610e7b048ce7738464daa986523.png]: /images/20220829/7a7bd23a8349484d810bf519bba5ed8f.png
[417544957d23134fc5bf1350b31d74d8.png]: /images/20220829/ea9476b481e64b9086b2f1a8cc4d66ca.png
[3f2386407341416eb1a829ade2c4dff5.png]: /images/20220829/fc7328792ccf45a4a002d932db7177b8.png
[c79ae6068a9ba4cf2541c8962ed32fcd.png]: /images/20220829/dc578352ee1047ec8715bbf343a61884.png
[32c6630b0e0774e87e470ccc41728703.png]: /images/20220829/1add1a74c68d4d6abcc5b944484231d9.png
[643e04261a92e2b4dd96052726d802a0.png]: /images/20220829/e0dc49da961e4b1b83c2b8b1d095ca32.png
[d587b64336fe47952e8e37de082a25b7.png]: /images/20220829/fb640ba1524e4ad28ddcd0d2ffc448c9.png
[69796e949366a1dcc1538b84fad234d5.png]: /images/20220829/6097d07aaa6a4c4bb9b7ac831f08fd95.png
[b0ed34084893abfad599a95eab5d2413.png]: /images/20220829/cac4ff4fa2b44968943295bb98d26641.png
[a41bd5ec28646af2eec99c6d9706d281.png]: /images/20220829/23dc36991a66471bb0b94fcbf18a78d6.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[9114f97ace0964913a9130ee94ad7a7e.png]: /images/20220829/d70b37ae5df34c9f987a9762089db208.png