分享AIGC前沿论文系列一对标DragonGAN的新方法 DragonDiffusion

柔情只为你懂 2024-03-17 17:32 84阅读 0赞

#### 文章目录 ####

*   *  论文概要
     *  论文摘要
     *  论文细节
     *  获取方式

### 论文概要 ###

DragonDiffusion: 一种新的图像编辑方法，可以在扩散模型 上进行拖拽式操作，实现了对生成图像或真实图像的各种编辑模式，例如对象移动、对象大小调整、对象外观替换和内容拖拽

### 论文摘要 ###

尽管现有的大规模文本到图像 (T2I) 模型能够根据详细的文本描述生成高质量的图像，但它们通常缺乏精确编辑生成的或真实图像的能力。在本文中我们提出了一种新颖的图像编辑方法 DragonDiffusion，可以在扩散模型上进行拖拽式操作。 具体来说，我们基于扩散模型中中间特征的强对应性构建分类器指导。它可以通过特征对应损失将编辑信号转换为梯度，以修改扩散模型的中间表示。 基于此指导策略，我们还构建了多尺度指导来考虑语义和几何对齐。 此外，还添加了跨分支自注意力以保持原始图像和编辑结果之间的致性。 我们的方法通过有效的设计，实现了对生成图像或真实图像的各种编辑模式，例如对象移动、对象大小调整、对象外观替换和内容拖动。 值得注意的是，所有编辑和内容保存信号都来自图像本身，模型不需要微调或额外的模块。

### 论文细节 ###

![在这里插入图片描述][a2ef6525de6f49338675c6cbb8b3a1c8.png_pic_center]  
![在这里插入图片描述][d5849e70fe7f4bb881133a7790ff95c6.png_pic_center]

![在这里插入图片描述][a130fc9fe13e49bfb5b27d23f3dde8b1.png_pic_center]

![在这里插入图片描述][5adfa4b247ef46f0bca796acced561d8.png_pic_center]

### 获取方式 ###

关注微信公众号：CV算法小屋 发送：DragonDiffusion 获取代码和论文

[a2ef6525de6f49338675c6cbb8b3a1c8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/05cd26e256464effb1ba7575e9385725.png
[d5849e70fe7f4bb881133a7790ff95c6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/e862dc18427c41a6aaa9a51366fcec91.png
[a130fc9fe13e49bfb5b27d23f3dde8b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/b0bafa671c5f4356b0a1ebbcdd45ea5f.png
[5adfa4b247ef46f0bca796acced561d8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a45e1beb74e5414e9e9650f8dfcd9073.png