CVPR 2023 | 可控文生图/定制化文生图领域论文详解 AI作画增强版

红太狼 2024-03-18 00:24 74阅读 0赞

### 可控文生图/定制化文生图 ###

#### 1、DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation ####

DreamBooth是一种新的文本到图像扩散模型的“个性化”方法。给定一个主题的几张图像作为输入，对预训练的文本到图像模型进行微调，使其学会将一个唯一标识符（identifier）绑定到特定的主题。一旦主题被嵌入到模型的输出域中，唯一的标识符就可以用来生成不同场景下关于主题的新颖逼真图像。通过利用模型中嵌入的语义先验和一种类特定先验保留损失，能够在参考图像中没有出现的不同场景、姿势、视图和光照条件下合成主题。  
在保留主题关键特征的同时，应用于主题重新背景化、文本引导的视图合成和艺术渲染等任务。此外，研究者还为这个新的主题驱动生成任务提供了一个新的数据集和评估协议。  
![在这里插入图片描述][38b77cce67864ef88cac3eed91360ea9.png_pic_center]  
![在这里插入图片描述][c9f1e43741d44b67b7ac1ab7d362b860.png_pic_center]

项目页面:https://dreambooth.github.io/
    代码地址：https://github.com/google/dreambooth
    论文地址：https://arxiv.org/abs/2208.12242

#### 2、Multi-Concept Customization of Text-to-Image Diffusion ####

大规模的文本到图像扩散模型可以生成高保真图像。模型通常是根据大量互联网数据进行训练的，这些数据通常包含受版权保护的材料、许可图像和个人照片。此外，它们被发现可以复制各种艺术家的风格或记住准确的训练样本。如何在不从头开始重新训练模型的情况下删除此类受版权保护的概念或图像？  
为了实现这一目标，提出了一种在预训练模型中消除概念的有效方法，即防止目标概念的生成。算法将希望消融的目标样式、实例或文本提示的图像分布与锚概念对应的分布相匹配。这可以防止模型在给定文本条件的情况下生成目标概念。大量实验表明，方法可以成功地防止消除概念的产生，同时在模型中保留密切相关的概念。  
提出自定义扩散，只需要优化文本到图像调节机制中的几个参数就足以表示新概念，同时实现快速调整（6min）可以针对多个概念进行联合训练，获通过闭式约束优化将多个微调模型组合为一个。提出一种微调技术，用于文本到图像扩散模型的自定义扩散，确定一小部分模型权重，即从文本到交叉注意力层中潜在特征的关键和值映射。  
基于stable diffusion建立了该方法。方法只需要存储一小部分参数（模型权重的3%），并减少了微调时间（在2个A100 GPU上6分钟，与并行工作相比快2−4倍）。

论文地址：https://arxiv.org/pdf/2212.04488v1.pdf

模型网络结构如下图所示：  
![在这里插入图片描述][1592bdc40c794b448aa1224c7f0ec0b5.png_pic_center]  
![在这里插入图片描述][3ecad3e8053b476fb1d773999676051e.png_pic_center]

![在这里插入图片描述][f19c78749c2d4479af31eb19fab04627.png_pic_center]

#### 3、Ablating Concepts in Text-to-Image Diffusion Models ####

大规模的文本到图像扩散模型可以生成高保真图像。模型通常是根据大量互联网数据进行训练的，这些数据通常包含受版权保护的材料、许可图像和个人照片。此外，它们被发现可以复制各种艺术家的风格或记住准确的训练样本。如何在不从头开始重新训练模型的情况下删除此类受版权保护的概念或图像？

为了实现这一目标，提出了一种在预训练模型中消除概念的有效方法，即防止目标概念的生成。算法将希望消融的目标样式、实例或文本提示的图像分布与锚概念对应的分布相匹配。这可以防止模型在给定文本条件的情况下生成目标概念。大量实验表明，方法可以成功地防止消除概念的产生，同时在模型中保留密切相关的概念。

论文地址：https://arxiv.org/pdf/2303.13516.pdf

模型结构如下图所示：  
![在这里插入图片描述][7268edf0bc834d968dc317f774b6ded7.png_pic_center]  
![在这里插入图片描述][df14e072dfaa4a2faeb37dc9994c19af.png_pic_center]

![在这里插入图片描述][f37c6934d4d441d6bd58c820b2e1f70a.png_pic_center]

#### 4、Imagic: Text-Based Real Image Editing with Diffusion Models ####

以文本为条件的图像编辑最近引起了相当大的兴趣。然而，目前大多数方法要么仅限于特定的编辑类型（例如，目标融合叠加、风格迁移），要么适用于合成生成的图像，或者需要一个公共对象的多个输入图像。  
本文首次展示了将复杂（例如，非刚性）文本引导语义编辑应用于单个真实图像的能力。例如，可以改变图像中一个或多个对象的姿势和构图，同时保留其原始特征。方法可以让站立的狗坐下或跳跃，让鸟张开翅膀等等——每一个都在用户提供的单个高分辨率自然图像中。  
与以前的工作相反，提出的方法只需要一个输入图像和一个目标文本（所需的编辑）。使用真实图像，不需要任何额外的输入（例如图像掩码或对象的额外视图）。方法称之为“Imagic”，利用预训练的文本到图像扩散模型来完成这项任务。它生成与输入图像和目标文本对齐的文本嵌入，同时微调扩散模型以捕获特定于图像的外观。  
在来自不同领域的大量输入上展示了方法的质量和多功能性，展示了大量高质量的复杂语义图像编辑。  
项目地址：https://imagic-editing.github.io/  
论文地址：https://arxiv.org/abs/2210.09276

模型结构图如下图所示：  
![在这里插入图片描述][3045c85d98604694810712dcd43da0a2.png_pic_center]  
![在这里插入图片描述][cdaf94fec13144cf94de2975b095d5e3.png_pic_center]  
![在这里插入图片描述][4f45cbb80fb647b696e30c2ea10b5ea3.png_pic_center]

#### 5、Shifted Diffusion for Text-to-image Generation ####

本文提出了一种新的文本到图像生成方法Corgi。Corgi基于本文出的shifted扩散模型，从输入文本中实现了更好的图像特征嵌入生成。与在DALL-E 2中使用的基线扩散模型不同，方法通过设计新的初始化分布和新的扩散步骤，无缝地编码预训练的CLIP模型在扩散过程中的先验知识。  
与强DALL-E 2基线相比，方法在从文本生成图像嵌入方面的效率和有效性都更好，从而获得更好的文本到图像生成。进行了大量的大规模实验，从定量测量和人工评价两方面进行了评价，表明方法比现有方法具有更强的生成能力。  
此外，模型支持半监督和无语言的文本到图像生成训练，其中训练数据集中只有部分或没有图像具有相关的文本描述。半监督模型在只有1.7%的图像被配上文本的情况下进行训练，在MS-COCO上评估零镜头文本到图像生成时，得到的FID结果与DALL-E 2相当。Corgi还在下游无语言文本到图像生成任务的不同数据集上获得了最新的结果，大大超过了之前的Lafite方法。

论文地址：https://arxiv.org/pdf/2211.15388.pdf
    视频demo地址：https://youtu.be/smL7mboV3l0

模型结构图如下图所示  
![在这里插入图片描述][4be1b08242374eb292ad355861183e9a.png_pic_center]  
![在这里插入图片描述][5f70280c758b4010add926188d010df0.png_pic_center]  
![在这里插入图片描述][1c0336ca126245238650bcbc2515b870.png_pic_center]

#### 6、SpaText: Spatio-Textual Representation for Controllable Image Generation ####

最近的文本到图像扩散模型能够以前所未有的质量生成令人信服的结果。然而，当前方法无法以精细控制不同区域/对象的形状或它们的布局。以前提供此类的尝试，却因依赖标签而有所受限制。  
为此，本文提出了 SpaText，一种使用开放式词汇场景控制、进行文本到图像生成的新方法。除了描述整个场景的全局文本外，用户还提供了一个分割图，其中每个感兴趣的区域都用自由形式的自然语言描述进行了注释。由于缺乏对图像中每个区域进行详细文本描述的大规模数据集，选择利用当前的大规模文本到图像数据集，并将方法基于一种新的基于 CLIP 的空间文本表示，并展示其在两种最先进的扩散模型上的有效性：基于像素和基于潜在。  
此外，展示了如何将扩散模型中的无分类器指导方法扩展到多条件情况，并提出了一种替代加速推理算法。最后，除了 FID 分数和用户研究之外，还提供了几个自动评估指标并评估方法。

项目地址：https://omriavrahami.com/spatext/
    论文地址：https://arxiv.org/abs/2211.14305

模型结构如下图所示：  
![在这里插入图片描述][47cfacc3e3bd4de2a1af77ca40526938.png_pic_center]  
![在这里插入图片描述][36fbbb7d8e494c01974b940210375125.png_pic_center]

#### 7、Scaling up GANs for Text-to-Image Synthesis ####

GigaGAN 的实现，是Adobe 的新 SOTA GAN，其证明GAN仍然是文本生成图像的可行选择之一。  
在最近的DALL·E 2、Imagen、Stable Diffusion等等出现之后，相较于diffusion model和AR模型，GANs已经不被大家青睐，作者想证明一下大规模GAN模型在大数据集上的表现依然可行（make GAN great again)。并给出了GAN模型的卖点:1.更快的生成速度 2.生成高分辨率图片 3.平滑的内插和样式混合。  
GigaGAN有三大优势。首先，它的推理速度快了几个数量级，合成一张512px的图像只需要0.13秒。其次，它可以在3.66秒内合成高分辨率图像，例如1600万像素的图像。最后，GigaGAN支持各种潜在空间编辑应用程序，如潜在插值、风格混合和其它编辑操作。

项目地址：https://mingukkang.github.io/GigaGAN/
    代码地址：https://github.com/lucidrains/gigagan-pytorch
    论文地址：https://arxiv.org/abs/2303.05511

模型结构如下图所示：  
![在这里插入图片描述][8d2c860ba6b04e258a6339e5e01a54ac.png_pic_center]  
![在这里插入图片描述][af383f08e81041e0b649273a9691f819.png_pic_center]  
![在这里插入图片描述][c23a0fcb3a7746acaf17455e96e20861.png_pic_center]  
![在这里插入图片描述][3883579ce42a4bba913a10fa8d13b4ae.png_pic_center]

#### 8、GALIP: Generative Adversarial CLIPs for Text-to-Image Synthesis ####

为了同时实现生成质量高、训练高效、生成速度快，以及内容更可控的文本到图像生成模型，作者提出了 Generative Adversarial CLIPs，即 GALIP。

GALIP首先提出了一个基于 CLIP 的判别器。CLIP的复杂场景理解能力使判别器能够更加准确地评估复杂图像的质量。此外，还提出了一个 CLIP增强的生成器，它通过Bridge Feature和Prompts从 CLIP 中抽取有用的视觉概念。集成 CLIP 的生成器和判别器提高了对抗学习效率，使得GALIP只需要大约 3% 的训练数据和 6% 的可学习参数，仅用8张3090显卡训练3天时间，取得了与大规模预训练的自回归和扩散模型相当的结果。同时，GALIP的生成速度也快了120倍，且继承了GAN更加可控的平滑隐空间。实验结果证明GALIP的卓越性能。

代码地址：https://github.com/tobran/GALIP

模型结构如下图所示：  
![在这里插入图片描述][1fea9035c5f3470387d4fcd33e84310a.png_pic_center]  
![在这里插入图片描述][d0d4c10a605d438d91c3002357ebdc7e.png_pic_center]

#### 9、Variational Distribution Learning for Unsupervised Text-to-Image Generation ####

当训练期间图像的文本不可用时，本文提出了一种基于深度神经网络的文本到图像生成算法。这项工作不是简单地使用现有的图像文本描述生成方法生成训练图像的伪句子，而是使用预训练的 CLIP 模型，该模型能够在联合空间中正确对齐图像和相应文本的嵌入，因此， 在零样本识别任务上效果很好。  
通过最大化以图像-文本 CLIP 嵌入对为条件的数据对数似然来优化文本到图像生成模型。为了更好地对齐两个域中的数据，采用了一种基于变分推理方法，可以有效地估计给定图像及其 CLIP 特征的隐藏文本嵌入的近似后验。实验结果证实，在无监督和半监督的文本到图像生成设置下，所提出的框架大大优于现有方法。  
![在这里插入图片描述][8ef14d8a98854f05b00b422a5a7b55e0.png_pic_center]

关注微信公众号：CV算法小屋 获取最新AIGC代码和论文

[38b77cce67864ef88cac3eed91360ea9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/fcd987d33465439db002b9754e5c7ea0.png
[c9f1e43741d44b67b7ac1ab7d362b860.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/422222cdfd244077aa02c8e1ff93558a.png
[1592bdc40c794b448aa1224c7f0ec0b5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b8fcdb083d144b9e86886f8c6c43bf50.png
[3ecad3e8053b476fb1d773999676051e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/5184fbcf42054945a945eecaa76f3c7c.png
[f19c78749c2d4479af31eb19fab04627.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/77bd6f74857940eb80b96dfd6ebd41d6.png
[7268edf0bc834d968dc317f774b6ded7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/9cfa02b0174240ceac4adb63425434c7.png
[df14e072dfaa4a2faeb37dc9994c19af.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/c282d7a671cf4e2a84c10b7b47b0e8fa.png
[f37c6934d4d441d6bd58c820b2e1f70a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/aabe20ab4b0146e0a9e886b12051fe53.png
[3045c85d98604694810712dcd43da0a2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b8915b29d2db46fb8941b29d0b550d70.png
[cdaf94fec13144cf94de2975b095d5e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/7152e04f627d4775983f999a211a362a.png
[4f45cbb80fb647b696e30c2ea10b5ea3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f3c0500b50b54db586d60d310b7edfb8.png
[4be1b08242374eb292ad355861183e9a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b765876e2ae34f9db15cd0c77fb7edf9.png
[5f70280c758b4010add926188d010df0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/101738d39e534d8a894b889def05f981.png
[1c0336ca126245238650bcbc2515b870.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/2d4695b098234234b6fa72d67f43ea56.png
[47cfacc3e3bd4de2a1af77ca40526938.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f512646ec1f94f7abac9892d0dd01bf7.png
[36fbbb7d8e494c01974b940210375125.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3d24bf91b9e14d81b79313f0572555c9.png
[8d2c860ba6b04e258a6339e5e01a54ac.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/567831082eb54f1aab9ee6ce66b1ce7d.png
[af383f08e81041e0b649273a9691f819.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/5d5ee4acc677451cac4e31fbe4cdac39.png
[c23a0fcb3a7746acaf17455e96e20861.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b4ab3fc5ff7d4f55a49bccc9af9d8130.png
[3883579ce42a4bba913a10fa8d13b4ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/fd9f52e0845c4f568bb46358e222afdb.png
[1fea9035c5f3470387d4fcd33e84310a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e6708858b7454e318c679e9117dbfc2c.png
[d0d4c10a605d438d91c3002357ebdc7e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/96c1610d22fd4857993a665d150e7caf.png
[8ef14d8a98854f05b00b422a5a7b55e0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/adb84b28f7ff45b78c89edb5c99f3ce9.png