东南大学EGVSR: 基于GAN的实时超分系统

阳光穿透心脏的1/2处 2022-08-30 00:56 270阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

来源：新智元  arXiv 编辑：Priscilla

##### 【新智元导读】东南大学研究团队最新提出的4K实时处理超分辨率系统（EGVSR)不仅能够修复高糊画质，运行速度还比TecoGAN快9倍，代码已开源。 #####

有没有试过辛辛苦苦拍了个视频，最后一看，竟然「真·一塌糊涂」？

问题不大！AI修复能力杠杠的！

而现在，一个能实时重建视频质量，处理速度还比主流方法快9倍的系统就摆在你眼前！

高糊视频有救啦！

![1519d6e6095a3f1a536cfdff6580e439.gif][]

没错！这就是东南大学研究团队最新提出的EGVSR——4K实时处理超分辨率系统！

![5f52227d6734e4809ca56a2837d07a9c.png][]

兼顾图像质量和速度性能，EGVSR究竟是怎么做到的呢？

什么是VSR？

视频超分辨率（VSR）是从图像超分辨率发展而来的，是计算机视觉领域的热门话题之一。

VSR技术可以重构视频，还原视频清晰度，提升主观视觉质量。

目前，我们常说的4K、8K这些高分辨率显示技术其实已经相对成熟，但无奈主流的视频源仍以1080P或720P为主，从源端就已经限制了视频系统的质量。

然而，在不久的将来，4K甚至更高的分辨率一定会取代全高清（FHD）成为主流格式。

因此，我们就需要有高效、轻量级的 VSR 技术，将大量低分辨率 (LR) 视频升级为高分辨率 (HR) 视频。

就像上面提到的，VSR技术的研究对象是视频资源的图像序列。

而图像序列就是连续的帧，由一系列静态图像组成。

当视频中的物体运动速度较快，在单个图像中表现为运动模糊效果，因此目标帧与其相邻帧之间会出现子像素位移。

![cd4b3916156787bb87661c04d0688894.png][]

因此，VSR系统使用有效的运动补偿算法对齐相邻帧至关重要。

这也是当前VSR研究领域其中一个「老大难」。

此外，大规模VSR的计算十分复杂，内存消耗也大，严重阻碍了视频处理的实时性和低延迟性，难以在实际应用中部署。

为了解决这些问题，东南大学研究团队就为大规模VSR定制了各种网络加速策略，利用GAN来保证视频的重建质量，提出4K实时处理超分辨率系统（EGVSR）。

GAN：重建视频质量的工具

由于生成对抗网络（GAN）能够产生更好的感知质量，因此也广泛应用于超分辨率领域。

研究人员利用GAN强大的深度特征学习能力，来应对VSR任务中大规模的分辨率退化。

此外，参考TecoGAN方法的设计，引入了空间-时间对抗结构，能够让判别器理解学习时空信息的分布，从而避免传统GAN遇到的时域不稳定效应。

研究人员参考高效CNN搭建架构，设计出了一个更通用，质量更高的视频超分辨率网络，也就是EGVSR，这样就能满足高达4K分辨率的超分辨率大规模视频的需求。

EGVSR这个轻量级的网络结构，生成器部分分为FNet和SRNet，分别用于光流估计和视频帧超分辨率。

![228dfa9b4a8330c005c567fa98abee25.png][]EGVSR生成器部分的框架和推理阶段的数据流

为设计出更加简化的EGVSR，研究团队提出了以下几种神经网络的加速技术。

# 快点，再快点！    #

批量归一化融合

批量归一化（BN）是深度学习领域中最常用的一种技术，它能够提高网络的泛化能力，防止过拟合。

因此，EGVSR中的FNet模块大量使用了BN层。

团队用1×1的卷积层来实现和替换BN层，再将1×1的卷积层与之前的卷积层融合，省去了BN层的计算，得到优化的BN融合层提速了5%左右。

![6487f8cb1fb29e4463cc151b8b3098f1.png][]

高效的上采样方法

在超分辨率网络中，上采样层（Upsampling layer）是最重要的部分之一。

根据技术路线的不同，大致可以分为两类：基于插值的上采样方法（interpolation-based upsampling methods）和基于学习的上采样方法（learning-based upsampling methods）。

由于所有基于插值的上采样方法都会导致图像边缘模糊，而基于学习的上采样方法则具有强大的特征学习能力，团队选择了后者，具体方法包括：A）调整大小卷积（Resize Convolution）；B）去卷积（Deconvolution）；C）子像素卷积（Sub-pixel convolution）。

研究团队将ESPCN网络作为超分辨率网络的骨干，只改变上采样层，用上述提到的三种上采样方法训练了多组SRNet，结果显示，子像素卷积方法得出的效果最佳。

![30b71ecc6a8ea068e73303ee84867a8d.png][]

提高计算效率

卷积计算是CNN的关键，占总计算量的90%以上，耗费了大量的计算时间。

而传统的朴素卷积（naïve convolution）使用了6个循环结构，计算效率也是相当低。

因此，为了提高计算效率，团队使用矩阵乘法（MatMul）算法进行改进。

经过实验，研究团队发现，通过逆向col2im转换就可以得到所需的输出特征结果。

也就是说，将卷积计算转化为矩阵乘法，通过内存空间节省推理时间，就能提高计算效率。

# 实验结果          #

一顿操作猛如虎，最终运行速度如何呢？

来对比一下不同VSR网络在CPU和GPU上的运行速度：

![c0557f043ee057925ec1a7a2dded7aeb.png][]

由图可见，相比TecoGAN，仅使用CPU，EGVSR能提速8.25-9.05倍。

而在GPU的加速下，EGVSR的4K实时处理速度比TecoGAN高出7.92倍。

当然，不能只求快，还是要看看总的计算成本。

EGVSR总计算成本仅为VESPCN的29.57%，SOFVSR12.63%，FRVSR和TecoGAN的14.96%。

![3039bfd7446e005b96266ce12b721f53.gif][]

速度有了提高，计算成本也大大减少，那最重要的画质，是不是真的变高清了呢？

![95220df36804b22cd49e79057d56b913.png][]

研究人员在VID4、TOS3和GVT72三个数据集上进行了测试实验。

实验数据显示，EGVSR的确比传统模型的性能更好，能够修复更多空间细节，视频看起来更加高清。

![67257a07d4548e29070efee8ee8bd7e3.png][]

分数越低，越接近真实结果，画面就越流畅

团队在VSR领域中，提出了EGVSR方法，采用了各种优化技术，在保证提高视觉质量的前提下，将计算量降至最低，在硬件平台上，4K VSR得以实时实现。

#  #

作者介绍

![5991588d2289641a41da1eb3b10aad12.png][]

研究团队共5人，Yanpeng Cao、Chengcheng Wang、Changjun Song和Yongming Tang均来自南京的东南大学的信息显示与可视化国际合作联合实验室。

其中一作Yanpeng Cao是东南大学在读研究生，研究领域为加密域图像处理和图像超分辨率等。

He Li则来自英国剑桥大学工程学院。

参考资料：

https://arxiv.org/abs/2107.05307

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![95cc918d237c9385674845df97836c7d.png][]

[1519d6e6095a3f1a536cfdff6580e439.gif]: /images/20220829/2cdca66c60a548e78948c8411876a262.png
[5f52227d6734e4809ca56a2837d07a9c.png]: /images/20220829/28bf309fc39b48768366a80844a08812.png
[cd4b3916156787bb87661c04d0688894.png]: /images/20220829/edd6210d74ba47f0a3de4fb4eb3f9e65.png
[228dfa9b4a8330c005c567fa98abee25.png]: /images/20220829/32c570046035477793eabae2eea81d0a.png
[6487f8cb1fb29e4463cc151b8b3098f1.png]: /images/20220829/f588e7b2d4804a8c912593578432e5f5.png
[30b71ecc6a8ea068e73303ee84867a8d.png]: /images/20220829/63a1153184e74390bb2103f680c4b5e2.png
[c0557f043ee057925ec1a7a2dded7aeb.png]: /images/20220829/72e6d9e1dcee4a4e85aadd34d1ea1b9a.png
[3039bfd7446e005b96266ce12b721f53.gif]: /images/20220829/63383998d9324a07b1aca948f732b684.png
[95220df36804b22cd49e79057d56b913.png]: /images/20220829/e19656ead3c8431f9076119569764396.png
[67257a07d4548e29070efee8ee8bd7e3.png]: /images/20220829/c0b6ceb06a1a4541a5789087cd0efdad.png
[5991588d2289641a41da1eb3b10aad12.png]: /images/20220829/fc10df14b60942769c565b9e3ed4c81d.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[95cc918d237c9385674845df97836c7d.png]: /images/20220829/17239ed7b8ec41a98168cacd9777e523.png