低照度Underexposed Photo Enhancement using Deep Illumination Estimation论文笔记

以你之姓@ 2022-11-19 07:47 20阅读 0赞

#### 论文题目：Underexposed Photo Enhancement using Deep Illumination Estimation ####

#### 作者： RuiXing Wng.et ####

#### 发表会议：CVPR2019 ####

#### Baseline：Deep Bilateral Learning for Real-Time Image Enhancement![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70] ####

#### Abstract ####

作者提出不像以前那样直接学习图像到图像的映射，而是在我们的网络中引入中间照明，将输入与预期的增强结果相关联，这增强了网络从专家修饰的输入/输出图像对中学习复杂摄影调整的能力。

#### Introduction ####

低曝光图像对我们的生活以及科学研究都有很大的影响，我们在本文方法中，不估计图像到图像的映射而是估计图像到照明图的映射。

> 主要贡献： （1）我们提出了一种通过估计图像到光照的映射来增强曝光不足照片的网络，并基于各种光照约束和先验设计了一种新的损失函数。  
> （2）我们准备了一个由3000张曝光不足的图像组成的新数据集，每个图像都有一个经过专家修饰的参考。  
> （3）我们使用现有的和新的数据集对我们的方法进行评估，并且定性和定量地证明了我们的方法的优越性。

#### Proposed Method ####

网络整体结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]  
分别设置不同的神经网络层，提取局部和全局特征，并生成低分辨率的照明图的预测，经过双边网格进行上采样生成高分辨率的照明图。双边网格将二维的像素转换到三维空间可以提高处理效率，保留边缘信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]

> 以单通道灰度值为例，双边网格结合了图像二维的空间域信息以及一维的灰度信息，可认为其是一个3D的数组。  
> 举一个简单的例子，假设现在你手上有一只用于滤波/平滑的笔刷，当你用这只笔刷在图像E EE上的某一个位置( x , y )  
> (x,y)(x,y)处点击了一下，对应的，3D双边网格的( x , y , E ( x , y ) )  
> (x,y,E(x,y))(x,y,E(x,y))位置将出现一个点，这个点即对应你在2D影像E  
> EE上点击的那个点。随着这只笔刷的移动，3D双边空间中三个维度都会被高斯平滑，那么对于平坦区域而言，灰度变化不大的时候，沿着二维平面进行高斯平滑，则等价于对影像进行高斯滤波；而对于边界区域而言，灰度变化很大，笔刷的高斯衰减范围保证了边界另一边的数值不被影像，因此保留住了边界。

恢复低照度图像就是寻求一个映射函数F，F的转置通常被建模为照度图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]  
因此，映射F就可由照度图和原始的图像求得：  
![在这里插入图片描述][20210127114858254.png]

##### 损失函数： #####

重建损失：  
![在这里插入图片描述][20210127123551810.png]  
平滑损失：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][20210127124551840.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]: /images/20221119/d9d7f558f3ea4cb6a8b8644dff80f32a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221119/f77e542874934692ba46d90bf176a330.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]: /images/20221119/e69072c3c88547e4800ec0e80f1c3f4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]: /images/20221119/9f18ffe53b6c465a800465dc28460fa2.png
[20210127114858254.png]: /images/20221119/4160e7b8a4e7482a86d74d24df2792ad.png
[20210127123551810.png]: /images/20221119/ec679f04e70f42d6831cd7c0e2130dcd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 4]: /images/20221119/f43c8f7977b942839088efad2d05a564.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 5]: /images/20221119/b16f2f88d5904c11ab61c30535c200f2.png
[20210127124551840.png]: /images/20221119/c10c521aea3445299df986be51afdf18.png