去雾MSBDN论文笔记

小咪咪 2023-01-10 11:53 39阅读 0赞

##### 论文题目：Multi-Scale Boosted Dehazing Network with Dense Feature Fusion #####

##### 发表：CVPR2020 #####

作者：Hang Dong等西安交通大学

###### 1、目的 ######

The goal of image dehazing is to restore a clean scene from  
a hazy image.

大气散射模型：  
![T代表传输图 J是无雾图像，A是大气光，I是观测到的图像][T_ J_A_I]

###### 2、背景 ######

作者提出之前用于去雾的深度学习的方法not well optimized  
for the image dehazing problem.对此，作者在本文中提出的方法遵循两个原则，boosting和error feedback .  
boosting最初是用在去噪的方法中，error feedback尤其是反投影技术是用在超分辨率相关的方法中  
网络采用U-Net架构，在解码器中进行图像恢复并加入了SOS模块增强策略恢复无雾图像。  
在编码阶段，由于U-Net编码器的下采样操作会压缩空间信息，因此提出了基于反射投影技术的DFF网络模块，使用该模块同时保留高分辨率特征的空间信息，并利用非临近特征进行图像去雾。

###### 3、方法 ######

MSBDN整体网络结构：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]

###### 3.1SOS模块 ######

![在这里插入图片描述][2021012410312767.png]  
jn+1代表上级采样特征，in是同级来自编码器的特征。  
![在这里插入图片描述][20210124103141138.png]

###### 3.2 DFF模块 ######

多尺度融合方法很多，作者认为由于来自不同层次的特征具有不同的尺度和维数，简单地使用拼接方法进行特征融合效果较差。反投影技术是一种通过最小化高分辨率估计结果之间的重建误差来生成高分辨率内容的有效方法。 Back-projection是作为一种高效迭代过程来优化重构误差。最初Back-projection作为多LR输入图像设计，然而仅仅输入一张LR图像，更新过程可通过利用多个上采样描述子来对LR图像采样，并迭代的计算重构误差。  
![在这里插入图片描述][20210124105729333.png]

p,q两个操作分别将之前的特征降采样和上采样到相同的dimension进行运算  
![在这里插入图片描述][20210124105748551.png]  
![在这里插入图片描述][20210124105801776.png]

###### 4、结果 ######

数据集：RESIDE dataset，HazeRD dataset，NTIRE2018-Dehazing challenge dataset  
使用PSNR、SSIM \[57\]和CIEDE2000色差公式的度量来评估恢复图像的质量。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]

[T_ J_A_I]: /images/20221119/b64352ab5bfb4f3781d395c922fd103c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]: /images/20221119/cefc51e945434c2b98fabfe59e28d05e.png
[2021012410312767.png]: /images/20221119/4b0eeeb2ef4a4f249702dd7795572842.png
[20210124103141138.png]: /images/20221119/3bc1296f23704c73988270376376433a.png
[20210124105729333.png]: /images/20221119/f1a7995a42ed42679eb06c27877d46b6.png
[20210124105748551.png]: https://img-blog.csdnimg.cn/20210124105748551.png
[20210124105801776.png]: https://img-blog.csdnimg.cn/20210124105801776.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210124110210602.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70