Fast self-quotient image method for lighting normalization based on modified Gaussian filter kernel

ゞ浴缸里的玫瑰 2022-12-05 10:18 112阅读 0赞

### 摘要 ###

自商图像(SQI)方法是一种在不同光照条件下进行人脸鲁棒识别的好方法，该方法是由王海涛、李振民、王阳胜、张建军等人提出的。  
  这种方法被科学界广泛接受，并在最近的研究中得到广泛应用，如\[2-5\]。然而，他们中的大多数人只在很小的光照变化时使用SQI。2013年，Ognjen Arandjelovic\[6\]探索了将这种方法用于大范围照明变化的可能性，并表明它比之前认为的更有效。与此同时，本文对该方法进行了大量修改。2007年，原始SQI方法的作者提出了形态商图像(MQI)及其动态版本(DMQI)\[7\]。但是，他们使用形态学操作，而不是加权高斯滤波。更接近修改原始SQI方法由其他研究人员,例如,总变异系数图像(TVQI)基于全变差(TV)模型的特伦斯·陈等。\[8\],伽柏商形象(GQI)基于伽柏过滤器Sanun Srisuk和Amnart Petpon\[9\],分类外貌商图像(CAQI)修正加权函数Masashi西山,Tatsuo Kozakaya和Osamu山口\[10\],利用S. Muruganantham和T. Jebarajan\[11\]的高斯滤波器的多尺度放大自商图像(ESQI)。然而，它们解决的问题与我们在本文中试图解决的问题不同。  
  自商图像(SQI)方法是基于商图像方法\[12,13\]，但有三个优点:  
(1)SQI方法仅使用一张人脸图像进行光照归一化  
它在许多实时人脸识别系统中非常有用，这些系统无法提供图像序列或视频输出，或者需要最小化图像配准与得到处理结果之间的延迟。  
(2)由于只有一个图像，这意味着不需要对齐。  
  这也是一个非常重要的因素，这意味着SQI方法不需要任何的人脸检测来最小化人脸在图像上的运动。该方法不需要人脸检测，这使得SQI方法比其他同类方法更简单、更快，所需图像较少\[12,13\]。  
(3)该方法适用于阴影区域  
  文献\[1,14\]表明，SQI工作于三种类型的区域:

*  无阴影和表面法向量变化小的区域;
 *  无阴影但表面法向变化大的区域;
 *  阴影区域。  
      另一方面，仅使用一个人脸图像意味着只能从一个光源获得光照信息，为了获得更好的光照效果，需要比处理较少图像时更加复杂的处理。此外，可用的使用很少的人脸图像允许创建3D人脸和照明模型，以提高照明标准化的质量。因此，SQI方法有几个缺点:  
    (1)需要复杂的计算过程，为每个卷积区域计算一个加权高斯滤波器核。  
    (2) SQI方法降低了人脸图像的对比度和纹理信息，这对于人脸识别方法来说是非常重要的。  
      为了解决这一问题，王海涛、李思丹和王阳盛引入了\[15\]叠加自商图像方法，该方法计算出具有不同高斯滤波器核的少量自商图像，并将其汇总成结果图像。该方法可以保存纹理信息，提高结果图像的对比度。然而，该方法需要计算多个自商图像，每个自商图像都使用自己的加权高斯滤波器核。这使得叠加SQI方法对于实时人脸识别非常缓慢，即使这些自商图像是在并行计算的情况下也无法使用。  
      在我们的工作中，我们希望解决这些问题，或者至少将它们最小化，并改进全阴影图像的SQI方法(如图1)。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]  
      为了简化计算过程，我们决定不使用加权高斯滤波核，创建特殊的全局修正高斯滤波核。它分两步完成。首先，我们研究了基于原始高斯滤波器核的SQI方法的工作。其次，对原高斯滤波器核进行循环移位得到修正高斯滤波器核，修正后的高斯滤波器核既保留了高斯滤波器的平滑特性，又具有各向异性的特性。  
      这篇论文由几个部分组成。第2节和第3节概述了原始的SQI方法和堆叠SQI方法。第4节和第5节根据SQI和堆叠SQI方法描述了所提出的方法，并展示了它们如何在extended Yale B人脸图像上工作\[16\]。在第6节，我们将我们提出的方法与原始方法比较不同的图像。在最后一节，我们做结论。

### 原始SQI方法\[1,14,15\] ###

I的自商像Q定义为:  
![在这里插入图片描述][20200909212914445.png_pic_center]  
其中I^是I的平滑版本，F是平滑核，与原始商像\[1,14,15\]的分式相同。  
  在SQI中最重要的处理步骤是平滑滤波。在各向异性平滑的SQI中引入了加权高斯滤波器，其中权值为高斯核，G为高斯核，N为归一化参数，定义为  
![在这里插入图片描述][20200909213031409.png_pic_center]  
Ω是卷积核的大小。相对于阈值变化，卷积区域分为M1和M2两个子区域。假设M1中的像素比M2中的像素多，τ则可以用  
![在这里插入图片描述][20200909213329463.png_pic_center]  
对于两个子区域，W有对应的值。  
![在这里插入图片描述][20200909213422474.png_pic_center]  
因此，F计算为  
![在这里插入图片描述][20200909213502113.png_pic_center]

### 堆叠SQI实现模型\[15\] ###

利用SQI方法计算若干幅自商图像，并将其汇总成一幅图像，实现了堆叠SQI。为此，在\[15\]中增加了两种操作:Q降噪的非线性变换和加权汇总函数。  
  就SQI而言，堆叠SQI方法可以描述为:  
(1)选择几个平滑核G1、G2、…、Gn。  
(2)对于每个平滑kernel，根据图像I计算对应的权值W1, W2，…，Wn。  
3)用各权重各向异性滤波器平滑I:Fi =WGi  
![在这里插入图片描述][20200909213739660.png_pic_center]  
(4)计算每个输入图像I与其平滑版本之间的自商图像  
![在这里插入图片描述][20200909213820360.png_pic_center]  
(5)带有非线性函数的传递自商图像  
![在这里插入图片描述][20200909213843269.png_pic_center]  
其中T是一个非线性变换。  
(6)总结非线性结果  
![在这里插入图片描述][20200909213915193.png_pic_center]  
m1, m2，…，mn是过滤器各尺度的权重。在\[15\]中，所有实验的权重都设置为1，对于我们的实验，我们也使用了这些权重。

### 基于移位高斯核的修正SQI ###

如前所述，研究了两种修改。在两次修改中，我们都使用了原始的SQI模型:  
![在这里插入图片描述][20200909214021724.png_pic_center]  
但是F的表示改变了。在第一种情况下，我们简单地将F替换为经典高斯滤波器核G:  
![在这里插入图片描述][20200909214050716.png_pic_center]  
在第二种情况下，我们使用循环移位高斯滤波器核GS:  
![在这里插入图片描述][20200909214110635.png_pic_center]  
我们称它为快速SQI方法，因为它不需要对每个卷积区域计算加权高斯滤波器核。  
  在我们的实验中，我们选择了一个3×3大小的小高斯滤波器核。通过在一个单元格上进行垂直和水平移动，生成了循环位移高斯核.  
  我们对来自扩展Yale人脸数据库B\[16\]的不同人脸图像的实验结果如图2所示。此外，我们比较了使用原始高斯滤波核(图3)处理的归一化图像和使用不同核大小的修正高斯滤波核(图4)处理的归一化图像。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]

### 移位高斯核的叠加SQI方法 ###

在我们的堆叠SQI实现中，我们使用了原始的堆叠SQI方法，但是我们用经典的高斯滤波器核和我们的修正高斯滤波器核替换了加权高斯滤波器核。对于堆叠快速SQI方法，我们也跳过了非线性变换，因为我们的实验表明，该方法在没有非线性变换的情况下工作得更好，而且降噪非常低。实验结果如图5所示，组织方式与图2相同。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]

### 实验 ###

为了比较我们的快速SQI方法和原始SQI方法，我们选择了几个扩展耶鲁人脸数据库B\[16\]具有不同的身份和不同的光照条件的图像。对于这两种方法，我们检查了base和堆叠实现，结果如图6和图7所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]

### 总结 ###

在本文中，我们给出了对原有SQI方法的改进和层叠实现。这些修改的主要优势是1)简化计算过程的因为我们使用一个内核高斯滤波器对所有图像而不是局部加权高斯滤波器的内核,这是介绍的原创作品(1、14、15)和2)提高对比度和照明即使没有使用堆叠SQI实现正常化。然而，提出的修改仍不完善，存在不足。例如，我们使用原始高斯滤波器核的SQI方法灵敏度低，并且不能在非常暗的阴影区域对光线进行归一化。快速的SQI方法解决了这个问题，但不能正常化阴影和光照区域之间的过渡。在未来的工作中，我们希望能够解决这些问题，提高快速SQI方法的结果。未来研究的另一个领域是将所提出的方法与原始的SQI方法以及为图像光照归一化而设计的其他方法进行详细的比较。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/34730ac014ab46798ad1ebf8635d690a.png
[20200909212914445.png_pic_center]: /images/20221123/69d860ed4c45499aa8a7fcce66e91508.png
[20200909213031409.png_pic_center]: /images/20221123/6485da035bcf45448c04cb1a4e98c366.png
[20200909213329463.png_pic_center]: /images/20221123/2c64d673dbc54f6cb508bfe08e44d29a.png
[20200909213422474.png_pic_center]: /images/20221123/c09d76e0d22f44f58e0c620eff6781e8.png
[20200909213502113.png_pic_center]: /images/20221123/e3f29c97c80d485c874045905ebceb4e.png
[20200909213739660.png_pic_center]: /images/20221123/1e4691d5b3a84cdc8a2ca3f57dac2fb4.png
[20200909213820360.png_pic_center]: /images/20221123/fd08597d871a4fb49fdbb57621372a05.png
[20200909213843269.png_pic_center]: /images/20221123/608e568e0d6b4e7f9f17cbeaec7d7791.png
[20200909213915193.png_pic_center]: /images/20221123/3083da5104a1454cb70905d93dcbaec5.png
[20200909214021724.png_pic_center]: /images/20221123/eb7ab12f80e14cc6b5e656903ce4ea83.png
[20200909214050716.png_pic_center]: /images/20221123/8113006210c54912b95ec86b60e15207.png
[20200909214110635.png_pic_center]: /images/20221123/0450467daace4244a7270cff559bb093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/b3e5025f0b7a4ce784cd64c5a2dab646.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/5cce2d689c62486cb99ffd1c9c1e86a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/5c29d8fc5529428ea07d1c3b43b9de40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/63bc8a0b80644cea816d5fbf97f28c07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/92d888fe16134165bd290f76ecf9da29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/b90736b6bb134ebea47725322ae4d9ea.png