Mixed-Domain Edge-Aware Image Manipulation 阅读笔记

超、凢脫俗 2022-05-18 07:53 24阅读 0赞

本文提出了一个新的基于边缘感知的图像处理方法：构建一个高斯金字塔，然后对每一层应用一个非线性滤波，接着使用全局优化来合并这些空间变化滤波器的输出。该优化问题是使用明确的混合域（实空间和DCT变换空间）解决方案来解决的，该解决方案高效，准确且易于实现。我们演示了我们的方法应用于一系列问题，包括细节和对比度处理，HDR压缩，非真实感渲染和霾清除。边缘感知图像编辑处理的关键是边缘和细节处理的不同步。

本文通过构建金字塔来达到减少光晕效果的目的。最开始的一层（顶层）采用线性滤波作为初始层，然后接下来每层与前一层进行融合，当前层经过局部滤波后含有较多细节，他的前一层则含有更多轮廓信息，以这种方式控制结果的详细行为有助于减少光晕。

本文一共两个贡献：

**1****一种新的，具有旋转不变性的基于优化的边缘感知图像处理公式，可避免光晕，梯度反转和锯齿等难看的伪像（图像金字塔的优势）。**

**2****针对结果优化问题的混合域解决方案表现准确，高效且易于实施（不变性）。**

**（1****）** **基于边缘感知的图像处理**

常见的基于边缘感知的图像处理有双边滤波，基于各向异性扩散的方法，基于最小二乘法。本文同样是基于边缘感知的图像处理方法，同时还可以避免边缘产生**伪像**。

**LLF****的问题：**文章提到Paris et al.的LLF介绍了局部拉普拉斯滤波器（LLF），它使用一组简单的局部滤波器直接巧妙地操纵拉普拉斯金字塔。 然而，LLF在计算上是昂贵的，因为必须为拉普拉斯金字塔的每个元素构造子金字，然而，LLF在计算上是昂贵的，因为必须为拉普拉斯金字塔的每个元素构造子金字塔。Paris等通过分析像素点亮度的变化，利用拉普拉斯金字塔将图像分层．这类方法直观形象、简单易行，但当噪声与边缘结构相似时，无法消除它们。

**域变换**是Gastal和Oliveira \[6\]【Domaint，ransform for edge-aware image and video processing】提出的用于实时边缘感知图像处理的最新技术。它基于从5D图像流形到2D真实空间的数据相关变换，保留了测地距离。但是他不具有旋转不变性，而我们的具有旋转不变性。

（2）基于优化的图像处理

1 基于梯度域进行图像处理，而不是直接对图像像素进行操作（因为视觉系统（HVS）对局部对比度比绝对强度更敏感，没有对比就没有伤害），作者分析了本文域梯度域的关联。

2**二次能量：**这些方法再次需要大线性系统的解决方案。

其他优化：总变差优化，L0等约束项。

本文提供了一种新颖的基于多尺度优化的边缘感知图像处理方法，在每个尺度上，我们优化子窗口上的二次目标函数，以合并一组局部边缘感知滤波器的输出，与WLS不同，我们的目标函数的系数具有空间不变的结构，这允许**快速的频域解决方案**来解决最终的优化问题。 使用多**尺度方案**有助于减少光环

（3）算法

A: 本文只接受单通道图像，我们的算法允许用户分别自由地操纵图像的的详细外观和整体外观，而无需精确指定如何将图像分解为这些组件。和局部拉普拉斯滤波器（LLF）一样，一共三个参数：细节增大和减小，轮廓增大和减小，一个控制细节范围的阈值。

我们的局部滤波器设计遵循\[5\]LLF中的思路，但有一些更改以更好地符合我们的算法，如第III-B节所述，我们的局部滤波器设计遵循\[5\]中的思路，但有一些更改以更好地拟合我们的算法，如第III-B节所述。**我们的主要算法贡献**通过有效和精确的频域解决方案（见第III-D节）**设计一个优化框架来用于权衡方程式**（2）和（3）（见第III-C节）。

计算每一层的滤波输出要同时考虑（2）和（3）

![70][] 上一层进行上采样后尽可能与当前层卷积后相同。（上一层含有较多轮廓信息，因此可以确保轮廓信息）

![70 1][]

同时保证当前层滤波后有较多的细节信息，因此精心地设计了一个局部滤波器，小的mask采用圆形，因此具有旋转不变性，

B：局部滤波器

类似LLF，做了一点改进，使得本文过滤器更好地遵循从顶层继承的整体外观，

C: 全局优化

本文目标函数由（2）和（3）构成，类似WLS，但是本文的目标函数具有空间不变的特性，因此得

![70 2][]

通过推演，最终每层的输出可以通过频域中进行（12）。

![70 3][]

本文采用简单的DCT（Discrete Cosine Transform），采用傅里叶变换来优化相关问题已经很常见，但是本文与之前的频域优化问题不同的时，本文频域公式中还包含额外的项![70 4][]。因此不能完全基于频域进行优化。![70 5][]可以通过2维的DCT得到。但是![70 6][]需要基于真实域进行得到。因此最终求解（8）既要在频域中求解又要在空间域中计算，因此得本文提出的混合域求解。

![70 7][]

总结讨论：

1 由于我们使用二次目标函数，我们的方法与梯度域图像处理技术密切相关。

2 本文在消去光晕的问题上，主要得益于金字塔方法。

3 本文方法的准确率和效果不依赖与局部滤波器中的映射函数。

4 本文因为采用圆形窗口，因此具有旋转不变性，因此使得本文不同与其他非旋转不变性的快速滤波技术。

5 目标函数（8）系数具有空间不变的结构，不同于任意二次函数的系数，因此可以采用有效且精确的频域方法来优化方程（8）。

![70 8][]

[70]: /images/20220518/4c582d72959a4318b2fc52c098039d71.png
[70 1]: /images/20220518/031b27fd2f5d4b31ba97d77f3f06d4df.png
[70 2]: /images/20220518/d2f699b8edc5427c9b5636549f2092a4.png
[70 3]: /images/20220518/27bb2b637bc74212825298029931fd70.png
[70 4]: https://img-blog.csdn.net/20180731212709157?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pIQU5HMjAxMkxJQU5H/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 5]: https://img-blog.csdn.net/20180731212709165?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pIQU5HMjAxMkxJQU5H/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 6]: /images/20220518/58ec7fd06e8e4620834b354f83d7572a.png
[70 7]: /images/20220518/d0ef133aed444d56a7e5d97674214edf.png
[70 8]: /images/20220518/a3e8463112b044d5aab7775c116b32b1.png