CVPR2021 基于GAN的模糊图像复原

朱雀 2022-10-10 01:26 297阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

![24098505754679180f8dd1c63c35ce42.png][]

文章 新智元 CVPR2021 编辑：LRS

##### 【新智元导读】马赛克的图像还能被修复？只要给深度学习模型足够的想象能力就能做到！CVPR2021上一篇论文能够相当逼真地修复低清晰度的人像照片，但网友却表示，这也许不叫修复，叫重新想象更靠谱吧！ #####

深度学习无所不能，一张打满了马赛克的脸也能通过模型的「想象」来消除。

但这不禁让人思考，通过深度学习训练出来人脸，还叫「图像修复」吗？也许叫「生成」更靠谱一些！

香港理工大学在CVPR2021上发表了一篇论文，GAN Prior Embedded Network for Blind Face Restoration in the Wild，可以将模糊的图片变清晰。

![5b1d6cd1f9863776eb6eb3a2f5188376.png][]

例如这张经典的1927年召开的索尔维会议，当把图像放大到200%的时候，就会变得模糊，根据修复技术，则可以重见清晰。

有网友表示，还原（restore）这个词可能是，不能保证那个人看起来就是那个样子，或许「重新想象」更为恰当。

![37d7f9d8cfc2468d2eb06062ddc794ff.png][]

相比之前的工作，生成的图片更加真实。

![df1b0a79e21f70db4c8f781c48db6a1a.png][]

![7130ce02a3333692248ab1eb234e89ff.png][]

严重损坏的人脸图像复原（Blind face restoration）是一个非常具有挑战性的问题。

由于问题的严重性和复杂的未知退化，直接训练深层神经网络往往不能得到满意的结果。

现有的基于生成对抗性网络(GAN)的方法可以产生更好的结果，但往往会产生过于平滑的修复。

这篇论文提出了一种新的人脸图像生成方法，首先学习一个用于高质量人脸图像生成的 GAN，并将其嵌入到 U-shaped DNN 中作为先验解码器，然后用一组合成的低质量人脸图像对先验嵌入的 GAN DNN 进行微调。

设计 GAN 模块是为了保证从 DNN 的深度和浅度特征分别生成 GAN 的潜码和噪声输入，控制重建图像的全局人脸结构、局部人脸细节和背景。

论文提出的 GAN 预嵌入式网络(GPEN)具有易于实现、可视化生成逼真结果的特点。

实验表明，所提出的 GPEN 取得了显着优于sota的 BFR 方法在定量和定性，尤其是在野外严重退化的人脸图像恢复的结果。

论文中提出的GPEN网络的架构：

(a) 是一个GAN先验网络

(b)是一个GAN块的细节部分

(c)是GPEN的完整的架构

![3bb1c583133c7acefabb58631862659d.png][]

GAN先验网络U-Net在许多图像恢复任务中得到了成功和广泛的应用，并证明了它能够保存图像细节。

因此，GPEN总体上遵循U-shaped编码器-解码器架构。

GAN先验网络应设计成满足两个要求：

1）能够生成高质量的人脸图像；

2）它可以很容易地嵌入到U-shaped GPEN中作为解码器。

受最先进的GAN架构的启发，例如StyleGAN，使用映射网络将潜码z投射到纠缠度较小的空间w∈ W中。然后将中间码w扩散到每个GAN块。

由于GAN-prior网络将嵌入Ushaped DNN中进行微调，因此我们需要为跳过由U-shaped DNN的编码器提取的特征映射。

除此之外，训练数据还提供额外的噪声输入到每个块中。

![d62179878eeaf75751f786c39fa69f64.png][]

对于GAN块的构造，有几种选择。在这项工作中采用了StyleGAN v2的架构，因为其生成HQ图像的能力很强(其他可供选择的GAN架构，如StyleGAN v1、PGGAN和BigGAN也可以很容易被GPEN采用）

GAN的块数等于U形DNN中提取的跳过特征映射的个数（和噪声输入的个数），与输入人脸图像的分辨率有关。

StyleGAN在每个GAN块中需要两个不同的噪声输入。

不同于StyleGAN，为了使GAN先验网络能够容易地嵌入到U形GPEN中，噪声输入以相同的空间分辨率重复应用到所有的GAN块中。

此外，在StyleGAN中，噪声输入被串联而不是添加到卷积中。

研究人员经验性地发现，这可以带来更多的细节来还原的人脸图像。

![f173edfeb642dcad0302fedfd9a7228b.png][]

完整的网络架构：一旦使用一些数据集（例如FFHQ）训练了GAN先验网络后，将其嵌入U形DNN中作为解码器。

潜在的代码z和噪声输入到GAN网络被替换为输出全连接层（即较深的特征）和较浅的各层的编码器的DNN，这将控制重建全局人脸结构，局部人脸细节，以及人脸图像的背景。

因为该模型是不完全卷积的低质量人脸图像，输入到GPEN之前首先调整到所需的分辨率（例如1024\*1024)使用简单的双线性插值。

在嵌入之后，整个GPEN将进行微调，以便将编码器部分和解码器部分可以学习适应彼此。

![9aa1dfe8e38677507c2b4c8112b4fcb2.png][]

参考资料：

https://www.reddit.com/r/artificial/comments/o221ni/gpen\_restores\_extremely\_degraded\_faces\_that\_is/

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![84a86ba36765ef009e6a1f778fcf1f04.png][]

[24098505754679180f8dd1c63c35ce42.png]: /images/20221005/75e5b07c3966474e8a9e3c753199181a.png
[5b1d6cd1f9863776eb6eb3a2f5188376.png]: /images/20221005/29ebae994b8f4d24aa772d29537be36e.png
[37d7f9d8cfc2468d2eb06062ddc794ff.png]: /images/20221005/47d0b486bfbe40a8b6f47016fe55ad93.png
[df1b0a79e21f70db4c8f781c48db6a1a.png]: /images/20221005/b25276fe1d2b44f09a27b828e40a9163.png
[7130ce02a3333692248ab1eb234e89ff.png]: /images/20221005/e288a6c0c23c4e6aa7c18337dff052e9.png
[3bb1c583133c7acefabb58631862659d.png]: /images/20221005/eee3c75472454c6ba200383591c4fafe.png
[d62179878eeaf75751f786c39fa69f64.png]: /images/20221005/abe77d87ae6543dfb2326585f3c4cfda.png
[f173edfeb642dcad0302fedfd9a7228b.png]: /images/20221005/22917f9cbf2e41f6b3f9f7889c932b2f.png
[9aa1dfe8e38677507c2b4c8112b4fcb2.png]: /images/20221005/1c3fa3ec7c364b61a4edfd95211eea8e.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[84a86ba36765ef009e6a1f778fcf1f04.png]: /images/20221005/f22a6e302d6f4e558a2f640a9f771c86.png