MSRN：Multi-scale Residual Network for Image Super-Resolution 论文理解

Myth丶恋晨 2023-02-09 10:28 20阅读 0赞

## Multi-scale Residual Network for Image Super-Resolution ##

用于图像高分辨率的多尺度残差网络

原文：[Multi-scale Residual Network for Image Super-Resolution][], ECCV2018

github(pytorch): [https://github.com/MIVRC/MSRN-PyTorch][https_github.com_MIVRC_MSRN-PyTorch]

[MSRN：Multi-scale Residual Network for Image Super-Resolution 论文翻译][MSRN_Multi-scale Residual Network for Image Super-Resolution]

--------------------

**摘要**：近年来的研究表明，深度神经网络可以显著提高单幅图像的超分辨率。目前的研究倾向于使用更深层次的卷积神经网络来提高性能。然而，盲目地增加网络的深度并不能有效地改善网络。更糟糕的是，随着网络深度的增加，训练过程中出现的问题越来越多，需要更多的训练技巧。在本文中，我们提出了一种新的**多尺度残差网络(multiscale residual network，MSRN)** 来充分利用图像的特征，其性能优于大多数现有的方法。在残差块的基础上，引入**不同大小的卷积核**，自适应地检测不同尺度的图像特征。同时，我们让这些特征相互作用，得到最有效的图像信息，我们称之为**结构多尺度残差块(Multi-scale Residual Block，MSRB)**。此外，**将每个MSRB的输出作为不同层次的特征进行全局特征融合**。最后，将所有这些特征送到重构模块，获得高分辨率图像。

#### 发现问题 ####

作者从重构实验开始，如重建了一些经典的SR模型，如SRCNN \[1\]， EDSR\[9\]和SRResNet\[8\]，发现现有的SR模型存在以下问题：

（a）**很难复现**：大多数高级模型对网络的细微变化敏感，需要很高的训练技巧；而其性能的提高很大程度是依赖与训练的技巧，而不是模型架构的改变

（b）**特征利用不足**：大多数方法为了提高网络的性能而盲目地增加网络的深度，而忽略了充分利用LR图像的特征。随着网络深度的增加，特征在传输过程中逐渐消失。如何充分利用这些特征，是网络重构高质量图像的关键。

（c）**可扩展性不足**：对LR图像进行预处理再输入，增加了计算复杂性而且会产生可见的伪影；最近的方法直接在LR图像放大重建，但其SR模型很难适应任意的缩放因子。

#### 问题解决 ####

提出了一种新的多尺度残差网络(MSRN)来充分利用图像的特征：  
（1）使用MSRB来获取不同尺度的图像特征（局部多尺度特征）。  
（2）将每个MSRB的输出组合起来进行全局特征融合（HFFS，一个以1×1卷积核为瓶颈层）。  
将局部多尺度特征与全局特征相结合，最大限度地利用LR图像特征，彻底解决特征在传输过程中消失的问题。  
还设计了一个简单而高效重建结构可以很容易地实现多尺度的放大。

*特别地*，

对于问题（a），作者的模型不需要特殊的权重初始化方法或其他训练技巧；

对于问题（b），提出多尺度残差块MSRB（以检测不同尺度下的特征，3.1节）和分级特征融合结构HFFS（充分利用输入图像的特征并有益于重构，3.2节）；

对于问题（c），作者设计了一种良好的图像重构结构，它可以很容易地扩展到任何向上扩展的因子，只需进行少量调整（3.2节和3.3节）。

--------------------

### 网络结构 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center]

整个网络分为2个部分

1.  特征提取部分

*  多尺度残差块(***MSRB***)
 *  层次特征融合结构(***HFFS***)

1.  重构部分

**网络的详细描述**：

使用LR图像直接作为输入。

a. 第一层卷积  M 0 M\_0 M0 是用做初步的特征提取

b. 之后的  M 1 M\_1 M1 到  M n M\_n Mn 的内部结构是一模一样的，使用3×3和5×5卷积核进行多尺度特征 提取，然后每个 M i − 1 M\_\{i-1\} Mi−1 到  M i M\_i Mi使用残差连接，构成**MSRB块**，其包括**多尺度特征融合和局部残差学习**。（这是文章最重要的部分，就是多尺度的概念，这里的多尺度指 的是卷积核大小）

c. 然后，将每个  M i M\_i Mi 的输出进行融合，使用1x1卷积将融合到的特征通道压缩成我们想 要的通道数量（与想要重建图像的大小有关），即**层次特征融合结构(HFFS)**

d. 最后，使用Pixel Shuffle(像素重组)ESPCN里的技术将图像扩大尺寸，在经过一个卷 积层，得到最后的重建图像。

--------------------

### 网络细节介绍 ###

#### 多尺度残差块 (MSRB，3.1节) ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 1]

*  目的：**检测不同尺度下的图像特征**
 *  组成：**多尺度特征融合和局部残差学习**

设M表示送到MSRB的特征图的数量（即通道数），因此：

***(i)*** **第一个卷积层**的输入和输出有**M个通道**，经过concat融合后（将3x3和5x5的卷积层的输出通道串联起来），

***(ii)*** 则**第二个卷积层**输入或输出有 **2M 个通道**；

***(iii)*** 然后再经过concat融合后，得到 **4M 个通道** ，送到一个1×1 卷积层将这些特征映射的数量（通道的数量）减少到 **M**。

***(iv)*** 最后，将MSRB块的输入残差连接到其输出（即残差连接，使得计算复杂度大大降低，有利于提高网络的效率）。

> 其中，*(i)、(ii)、(iii)* 为多尺度特征融合；*(iv)* 为局部残差学习。
> 
> 最终，MSRB的输入和输出具有**相同数量的特征映射**（即相同的通道数量）

#### 分级特征融合结构(HFFS，3.2节) ####

即网络结构详细介绍部分的 c 步骤

> c. 然后，将每个  M i M\_i Mi 的输出进行融合，使用1x1卷积将融合到的特征通道压缩成我们想要的通道数量

依据原理：

> 对于SISR问题，输入和输出图像是高度相关的；
> 
> 随着网络深度的增加，图像的特征在传输过程中逐渐消失，可使用跳跃连接这一最简单、最有效的方法来解决这样问题；
> 
> 随着深度的增加，网络的空间表达能力逐渐下降，而语义表达能力逐渐增强；
> 
> 每个MSRB的输出都包含不同的特性。

因此，作者提出了一个简单的分级特征融合结构（HFFS），将MSRB的**所有输出**发送到网络的末端进行重构。但带来两个问题：

1.  MSRB的输出特征图包含了大量的冗余信息
2.  直接将它们用于重构会大大增加计算复杂度

所以， 连接（ concatenation）操作之后，再**使用具有1×1内核的卷积层**，**以自适应地从这些层次化特征中提取有用的信息**。

分级特征融合结构(HFFS)的输出可以表示为:

![在这里插入图片描述][202005181623398.jpg_pic_center]

其中， M 0 M\_0 M0 为第一卷积层的输出， M i ( i ≠ 0 ) M\_i(i \\neq 0) Mi(i=0) 为第  i i i 个MSRB的输出， \[ M 0 , M 1 , M 2 , ⋯   , M N \] \[M\_0,M\_1,M\_2, \\cdots , M\_N\] \[M0,M1,M2,⋯,MN\] 表示连接（ concatenation）操作。

#### 图像重建（3.3节） ####

之前的工作将LR图像进行**先预处理再输入**，如使用bicubic（双线性插值）上采样到与HR相同的维度，然后输入到网络中。然而，这种方法**引入了冗余信息，增加了计算复杂度**。

最近的工作倾向于使用**未放大的LR作为输入图像**，以训练一个可以直接上采样到HR维度的网络。但，这些网络中的大多数往往是一个固定的放大因子（如 x4），很难只需对网络进行少量调整就能够迁移到任何向上放大的因子。

**灵感来源**：

PixelShuffle \[2\] 和反卷积层在SISR任务中得到了广泛的应用。

如下图所示，有几种常见的重构模块。以放大因子4为例，各模块均采用PixelShuffle或反卷积操作，以放大因 子2为基础逐步重构SR图像。然而，随着规模因子的增加(如x8)，网络变得更加深入，训练问题也变得更加不确 定。

此外，这些方法对奇数向上缩放因子不起作用，而人们可能希望放大因子是缓慢增长的（2–>3–>4–>5），而不 是指数增长。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 2]

因此，作者利用pixelshuffle（像素重组）方法，提出了新的重构模块，该模块结构简单、高效、灵活，只需进行少量调整（**只需改变M的值**），模块**就可以迁移到任何放大因子**。

--------------------

### 实验 ###

#### 数据集 ####

*  训练集：DIV2K
    
    使用800张图像用于训练 (DIV2K 1-800)
    
    下载地址：[https://data.vision.ee.ethz.ch/cvl/DIV2K/][https_data.vision.ee.ethz.ch_cvl_DIV2K]
    
     或[SNU\_CVLab][SNU_CVLab]
 *  测试集：五个数据集
    
    Set5 , Set14, BSDS100, Urban100 and Manga109
    
    下载地址： original test datasets (HR images) ，[OriginalTestData.zip][]
    
     test datasets (Preprocessed HR images)， [Test datasets.zip][]
    
    作者所有的训练和测试都是基于YCbCr色彩空间中的亮度通道进行的，并使用了放大因子：×2、×3、×4、×8进行训练和测试。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 3]

对不同的放大因子，只需改变M的值。

#### 训练设置 ####

**数据增强**：(1)缩放(2)旋转(3)翻转

**训练优化器**：ADAM optimizer

**初始学习率**：lr = 0.0001

**损失函数**： L 1 L\_1 L1

**评价指标**：PSNR/SSIM

**MSRB个数**：8

另外，每个训练批次batch中，随机抽取16个LR patch，大小为64×64。

**结果展示**：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 4]

作者最后测试发现模型在不同的上升率因子和测试数据集上表现得非常好，但是结过略低于EDSR（注意：EDSR使用RGB通道用于训练，同时，数据增强方法也不同），表3为它们之间的区别：

![在这里插入图片描述][20200518162439713.jpg_pic_center]

作者的模型规格比EDSR小得多，这使得它更容易复制和推广。

*补充*：

作者在github说为了更方便比较，到已经在RGB三个通道进行了训练，结果如下：

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>Scale</th> 
   <th>Set5</th> 
   <th>Set14</th> 
   <th>B100</th> 
   <th>Urban100</th> 
   <th>Manga109</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>old (paper)</td> 
   <td>x2</td> 
   <td>38.08/0.9605</td> 
   <td>33.74/0.9170</td> 
   <td>32.23/0.9013</td> 
   <td>32.22/0.9326</td> 
   <td>38.82/0.9868</td> 
  </tr> 
  <tr> 
   <td>MSRN</td> 
   <td>x2</td> 
   <td>38.07/0.9608</td> 
   <td>33.68/0.9184</td> 
   <td>32.22/0.9002</td> 
   <td>32.32/0.9304</td> 
   <td>38.64/0.9771</td> 
  </tr> 
  <tr> 
   <td>MSRN+</td> 
   <td>x2</td> 
   <td>38.16/0.9611</td> 
   <td>33.82/0.9196</td> 
   <td>32.28/0.9080</td> 
   <td>32.47/0.9316</td> 
   <td>38.87/0.9777</td> 
  </tr> 
  <tr> 
   <td>old (paper)</td> 
   <td>x3</td> 
   <td>34.38/0.9262</td> 
   <td>30.34/0.8395</td> 
   <td>29.08/0.8041</td> 
   <td>28.08/0.8554</td> 
   <td>33.44/0.9427</td> 
  </tr> 
  <tr> 
   <td>MSRN</td> 
   <td>x3</td> 
   <td>34.48/0.9276</td> 
   <td>30.40/0.8436</td> 
   <td>29.13/0.8061</td> 
   <td>28.31/0.8560</td> 
   <td>33.56/0.9451</td> 
  </tr> 
  <tr> 
   <td>MSRN+</td> 
   <td>x3</td> 
   <td>34.59/0.9285</td> 
   <td>30.51/0.8454</td> 
   <td>29.20/0.8073</td> 
   <td>28.49/0.8588</td> 
   <td>33.91/0.9470</td> 
  </tr> 
  <tr> 
   <td>old (paper)</td> 
   <td>x4</td> 
   <td>32.07/0.8903</td> 
   <td>28.60/0.7751</td> 
   <td>27.52/0.7273</td> 
   <td>26.04/0.7896</td> 
   <td>30.17/0.9034</td> 
  </tr> 
  <tr> 
   <td>MSRN</td> 
   <td>x4</td> 
   <td>32.25/0.8958</td> 
   <td>28.63/0.7833</td> 
   <td>27.61/0.7377</td> 
   <td>26.22/0.7905</td> 
   <td>30.57/0.9103</td> 
  </tr> 
  <tr> 
   <td>MSRN+</td> 
   <td>x4</td> 
   <td>32.41/0.8975</td> 
   <td>28.76/0.7859</td> 
   <td>27.68/0.7394</td> 
   <td>26.39/0.7946</td> 
   <td>30.92/0.9136</td> 
  </tr> 
  <tr> 
   <td>old (paper)</td> 
   <td>x8</td> 
   <td>26.59/0.7254</td> 
   <td>24.88/0.5961</td> 
   <td>24.70/0.5410</td> 
   <td>22.37/0.5977</td> 
   <td>24.28/0.7517</td> 
  </tr> 
  <tr> 
   <td>MSRN</td> 
   <td>x8</td> 
   <td>26.95/0.7728</td> 
   <td>24.87/0.6380</td> 
   <td>24.77/0.5954</td> 
   <td>22.35/0.6124</td> 
   <td>24.40/0.7729</td> 
  </tr> 
  <tr> 
   <td>MSRN+</td> 
   <td>x8</td> 
   <td>27.07/0.7784</td> 
   <td>25.03/0.6422</td> 
   <td>24.83/0.5974</td> 
   <td>22.51/0.6182</td> 
   <td>24.62/0.7795</td> 
  </tr> 
 </tbody> 
</table>

其中，把**自集成策略**用于提升MSRN，称为MSRN+。

可以发现，MSRN在RGB三个通道进行训练时，其参数数量也相应扩大3倍，PSNR/SSIM略有提高，但还是略低于EDSR。

补充：作者对减去均值的原回答

**在训练时需要设置the r\_mean, g\_mean, b\_mean，如何获得这些参数呢？**

需要计算整个数据集的R、G、B通道的平均值。如果值在0-255之间，还应该除以255使它们在0-1之间。

**为什么每张输入图片要减去DIV2K RGB的均值？**

从输入中减去平均值得到零输入，这提供了更稳定的训练。更重要的是，如果你使用的是一个预先训练过的网络，它是用零均值输入训练的，那么你提供的输入也应该是零均值，否则结果的像素值将会移位。

### 总结 ###

1.  为了自适应检测不同尺度的图像特征，作者提出了一种高效的多尺度残差块
2.  为了充分利用输入图像的多层次特征并有益于重构，提出了分级特征融合结构HFFS
3.  为了很容易的向上扩展任意因子，作者利用Pixel Shuffle（像素重组）设计了一种新的重构模块

结合三个模块，作者提出了多尺度残差网络（multi-scale residual network, MSRN），获得准确的SR图像。

该模型比最先进的EDSR方法轻量许多（网络的层数，深度，参数都比EDSR小很多），却达到了与之相称的性能。

[Multi-scale Residual Network for Image Super-Resolution]: http://openaccess.thecvf.com/content_ECCV_2018/html/Juncheng_Li_Multi-scale_Residual_Network_ECCV_2018_paper.html
[https_github.com_MIVRC_MSRN-PyTorch]: https://github.com/MIVRC/MSRN-PyTorch
[MSRN_Multi-scale Residual Network for Image Super-Resolution]: https://blog.csdn.net/weixin_46773169/article/details/106183986
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200518162318805.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200518162304980.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ==,size_16,color_FFFFFF,t_70#pic_center
[202005181623398.jpg_pic_center]: https://img-blog.csdnimg.cn/202005181623398.jpg#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20200518162353819.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ==,size_16,color_FFFFFF,t_70#pic_center
[https_data.vision.ee.ethz.ch_cvl_DIV2K]: https://data.vision.ee.ethz.ch/cvl/DIV2K/
[SNU_CVLab]: https://cv.snu.ac.kr/research/EDSR/DIV2K.tar
[OriginalTestData.zip]: https://www.jianguoyun.com/p/DaSU0L4Q19ySBxi_qJAB
[Test datasets.zip]: https://www.jianguoyun.com/p/DcrVSz0Q19ySBxiTs4oB
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20200518162413718.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20200519155243290.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njc3MzE2OQ==,size_16,color_FFFFFF,t_70#pic_center
[20200518162439713.jpg_pic_center]: https://img-blog.csdnimg.cn/20200518162439713.jpg#pic_center