Illumination Normalization Based on Weber’s Law With Application to Face Recognition

小鱼儿 2022-12-09 15:52 124阅读 0赞

### 摘要 ###

韦伯定律表明，对于一个刺激，最小的知觉变化和背景之间的比率是一个常数，这意味着人们不是在绝对条件下感知的，而是在相对条件下感知的。受此启发，我们在不同光照下通过一个比率图像，开发和分析了一种新的光照不敏感的图像，称为“Weber-face”，计算局部强度变化和背景之间的比率。在cmu - pie和Yale B face数据库上的实验结果表明，weber -face的性能优于现有的代表性方法。

### 1 引言 ###

人脸自动识别在过去的几十年中已经成为一个非常活跃的话题。然而，不受控光照条件下的人脸识别仍然对\[1\]、\[2\]构成挑战。大多数现有的方法对光照变化非常敏感，因为不同光照条件引起的人脸外观变化通常比不同的个人身份引起的人脸外观变化更为显著。近年来，人们提出了各种解决这一问题的方法。大致可分为三类。第一类利用光照样本来学习可能光照变化的人脸模型。例如，在\[3\]中，作者展示了一组姿态固定但光照变化的人脸图像在图像空间中是一个凸锥，称为光照锥。在\[4\]中，研究了同一人脸在不同光照或不同表达式下的空间分布情况，提出了一种低维线性子空间的球谐模型。这些方法可以很好地模拟光照变化。但其主要缺点是需要大量的训练样本，不利于实际应用。  
  第二类尝试用传统的图像处理方法来补偿光照不均匀，包括直方图均衡化\[5\]，对数变换\[6\]。这些方法只是调整灰度分布，而忽略了物理光照模型。  
  第三次类试图发现光照不变的人脸图像在不同光照条件下的表现。这些方法大部分是基于安贝尔反射率模型，假设人脸显著部分(眼睛、头部等)的反照率是光照不变的，对应较高的空间频率，而光照部分对应较低的空间频率。然而，\[7\]表明，对于物体的反射率，不存在照度不变的区别函数，因此现有的方法只能满足外照度不敏感的呈现。例如，在\[8\]中，作者提出了一种名为MSR的方法，该方法通过对人脸图像进行平滑分割来减少光照的影响。自商(SQI)模型\[9\]采用了同样的加权高斯滤波器来克服这种情绪。Chen等人提出的对数全变差(LTV)\[10\]利用全变差模型的边缘保留能力改进了SQI。Tan和Triggs\[11\]提出了一种简单有效的方法，该方法基于图像预处理(PP)的流水线操作，如匹配校正、带通滤波和对比。在\[12\]中，作者使用相对梯度(RG)来恢复光照补偿图像，通过求解泊松方程。Zhang等人\[13\]表明，人脸图像的梯度方向，他们称之为“Gradientface”(GradFace)，是一种光照不敏感的度量。  
  在本文中，我们提出了一种基于韦伯定律的光照归一化方法，该方法的结论是刺激不是以绝对的方式感知，而是以相对的方式感知。对于一个人脸图像，我们计算每个像素之间的比率:一个是当前像素相对于它的邻域的强度差;另一个是当前像素的强度。以“Weber-face”为名比率图像能很好地从输入图像中提取局部显著模式。基于兰伯反射模型的理论分析进一步表明，Weber-face是一种对光照不敏感的表征。实验结果表明，该方法能显著提高在不同光照条件下的识别性能。

### 2 提出的光照归一化方法 ###

##### A.韦伯定律 #####

大多数人在会议室里都能听到窃窃私语，但在嘈杂的环境下，我们可能不会注意到有人在我们耳边大喊大叫。这就是1834年德国生理学家stwebern1834年提出的韦伯定律的精髓。他假设刺激物中最小的知觉变化和刺激物的背景水平之间的比率是恒定的\[14\]:  
![在这里插入图片描述][20200922221240237.png_pic_center]  
其中k被称为韦伯分数，并暗示尽管术语有变化，它仍然是一个常数。韦伯定律对于各种感觉，包括重量、声强和光强的感知来说，几乎是正确的。这表明，人们对刺激的感知不是绝对的，而是相对的:它们的折痕的大小与刺激的背景水平有关。同样的方法也成功应用于纹理分类\[15\]、光照补偿\[12\]、\[16\]和自适应信号采样\[17\]中。  
  对于一个2D图像F(x,y)，梯度，或者说是一阶导数，对光照很敏感。然而，通过局部规格化，我们得到  
![在这里插入图片描述][20200922222003222.png_pic_center]  
式中 ▽ = \{ ∂ / ∂ x , ∂ / ∂ y \} ▽=\\\{∂/∂x,∂/∂y\\\} ▽=\{ ∂/∂x,∂/∂y\}为梯度算子，c为常数，避免除以零。(2)的左侧被称为相对梯度\[12\]或正则梯度\[16\]，显示对光照不敏感。Chenetal\[15\]提出了一种韦伯局部描述符WLD (Weber local descriptor)，该描述符由两部分组成：不同的激励和方向，分别用于描述局部强度变化和强度的方向。结果表明，WLD适用于\[15\]的纹理分类和人脸检测。

##### B.Weber-Face #####

根据WLD差分激励的定义，计算出比值图像，如图1所示。输出图像中当前像素点的响应可以表示为  
![在这里插入图片描述][20200922223518989.png_pic_center]  
使用反正切函数防止输出过大，从而部分抑制噪声的副作用。xc为中心像素，xi(i=0,1,…,p-1)为相邻像素。p为相邻像素的个数(如图1所示，p=8)，α为调整(放大或缩小)相邻像素的强度差的参数。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]

从(4)，我们有~  基于Lambertian反射模型，人脸图像F可以表示为：  
![在这里插入图片描述][20200922224101736.png_pic_center]  
其中F(x,y)为图像像素值，R(x,y)为反射率，I(x,y)为每个像素处的照度。I取决于光源，而R只取决于表面的特征，包括反照率(表面纹理)和表面法线(三维形状)，因此可以视为光照不敏感部分。  
许多方法，如MSR \[8\]， SQI \[9\]， TVQI\[10\]，试图通过分离得到一个平滑的版本，这基本上是一个不适定问题的真实图像。  
  由于WLD是按比例计算的，因此它对乘性噪声具有鲁棒性，而乘性噪声实际上类似于人脸图像中的不均匀光照。下面，我们将从理论上证明，将WLD应用于人脸图像，可以得到光照不敏感的状态，即“Weber-face”:  
![在这里插入图片描述][20200923101055266.png_pic_center]  
其中 A=\{-1,0,1\}  
从(4)，我们有  
![在这里插入图片描述][20200923101236155.png_pic_center]  
  通常情况下，由于照明部分的变化非常小，除了下边界，这是我们常用的假设，我们可以得到  
![在这里插入图片描述][20200923101342660.png_pic_center]  
  将(4)、(6)、(7)代入(5)得到  
![在这里插入图片描述][20200923101648382.png_pic_center]  
  从上面的方程，我们可以看到，这可以被认为是一个对原始人脸图像的光照不敏感的表示，因为它只依赖于反射分量，没有光照分量。因此，我们提出的方法不需要明确估计光照部分的形式，从而避免了上述问题。此外，由(3)可以看出，我们已经使用拉普拉斯算子来测量局域强度的变化。与\[12\]中使用的梯度相比，\[16\]中拉普拉斯算子实际上是二阶导数，具有更好的边缘检测能力，特别是对于斜坡边缘\[18\]，从而可以突出人脸中对人脸识别有用的显著部分。

##### C.实现 #####

然而，拉普拉斯算子本身对噪声像素非常敏感。因此，我们没有直接使用(3)中定义的WLD对人脸图像，而是首先使用高斯滤波器对图像进行平滑。正如\[13\]中提到的，高斯滤波器也可以减少阴影边界的副作用。因此，我们的weber- face算法由“高斯滤波” 和 “WLD” 组成，如表I所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]  
  图2给出了原始的人脸图像和对应的Weber-faces，从图中可以看出，Weber-face降低了光照的效果，但同时保留了人脸特征中最显著的细节。  
![在这里插入图片描述][2020092312023575.png_pic_center]

### 3 实验结果 ###

##### A.实验设置 #####

在本节中，我们在两个光照变化较大的公开人脸数据库CMU-PIE\[19\]和Yale人脸数据库B\[3\]上进行了实验，以说明我们的Weber-face的有效性。我们还将比较我们的方法与几个最先进的:HE \[5\]， LTV\[10\]，梯度面(GradFace)\[13\]和RG\[12\]。所有这些算法都在Matlab中实现，参数设置为作者推荐的。  
  这两个数据库中的所有人脸图像都被正确地对齐、裁剪和调整为120×120。我们使用的是基于L2距离的最近邻分类准则。我们也给出了没有任何预处理(ORI)的原始图像结果作为比较

##### B.CMU-PIE结果 #####

CMU-PIE人脸数据库由68名受试者和41368张在光照、姿态和表情变化下的图像组成。68个被试在21个方向的光照下选择光照子集(“C27，”1425张图像)。在我们的实验中，我们每次选择每个受试者一张图片作为图库，其他的作为测试使用。  
  在我们的方法中，α是为了调整(放大或缩小)邻近像素之间的强度差异。若该值过小，则可能不强调光照变化引起的有利于人脸识别但强度差异较小的显著变化。如果太大，则可能会放大光强差较小的平滑区域。图3显示了α与平均识别率的关系。可以看出，α=4的识别率最高。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]  
  图4给出了同一人在21个方向光照下的人脸和对应的we- faces，可见我们的方法得到了很好的照度归一化结果。每一种图库的不同方法的识别率如图5所示。可以看出，与其他方法相比，Weber-face可以提高识别性能，即使在光照条件较差的画廊图像。表二总结了平均识别率，说明了我们的方法的优点。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]  
![在这里插入图片描述][20200923151250358.png_pic_center]

##### C.Yale B结果 #####

Yale B人脸数据库包括十名受试者在九种姿势和64种光照条件下，这比CMU-PIE更具挑战性。在我们的实验中，只选择了正面图像。十位受试者在64种光照条件下共640张正面图像。根据光源方向与相机中央轴的角度，将其划分为5个子集:子集1(0 ~ 12,70张)，子集2(13 ~ 25,120张)，子集3(26 ~ 50,120张)，子集4(51 ~ 77,140张)，子集5(78 以上， 190张)。在我们的实验中，使用最中性光照条件下的图像(“A+00E+00”)作为图库，使用子集1-5的图像作为探针。  
  对Yale B的几幅样本图像进行变方法处理后的结果如图6所示。每种方法对五个子集的对应识别率如表3所示。我们的Weber-faces将整体平均识别率从43.4%提高到98.3%。对于subsets 4和subsets 5，由于光照和阴影的严重影响，这两个子集的平均识别率分别从17.9%、10.5%提高到96.4%、96.8%，明显优于HE、RG和LTV，与最近提出的梯度人脸方法一样好。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]

##### D.效率 #####

效率是重要的实时人脸识别应用。如表I所示，我们提出的方法主要需要进行两次图像卷积和一次反正切操作。  
通过在CMU-PIE数据库上测量CPU时间，实验比较了Weber-face算法与其他竞争算法的效率。结果如表四所示，从表中我们可以得出结论，Weber-face比除HE之外的所有这些算法都具有更高的计算效率

### 5 结论 ###

提出的光照归一化方法受到韦伯定律的启发，定义为两项之间的比值图像，称为Weber-face:一是通过与拉普拉斯算子卷积测量的局部强度变化;另一个是当前像素的强度。基于Lambertian反射率模型，我们得出在不同光照条件下，Weber-face对人脸图像的光照不敏感的结论。在CMU-PIE和Yale B face数据库上的实验结果表明，我们的方法具有更高的计算效率，性能优于其他几种先进的方法

[20200922221240237.png_pic_center]: /images/20221123/0e6f24aaeb6f4185920042a406601eed.png
[20200922222003222.png_pic_center]: /images/20221123/14b3bc6193c34ae898c54950398b4ef5.png
[20200922223518989.png_pic_center]: /images/20221123/22539d87a84c4ad18dc66d86d731bda7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/17f313986288496fb439b244ebf7b253.png
[20200922224101736.png_pic_center]: /images/20221123/f579a8f14adc4e2fba92537c4defab8f.png
[20200923101055266.png_pic_center]: /images/20221123/8d6c8003880d498c95778904a4b5c7c9.png
[20200923101236155.png_pic_center]: /images/20221123/72a3a6ea373f4bac8da11234f044d408.png
[20200923101342660.png_pic_center]: /images/20221123/5d559d6258764213abbbd00c343f823f.png
[20200923101648382.png_pic_center]: /images/20221123/4a0df8ab38564d5e9c433a7825b28f2f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/1092197051e4401b9f7c4bed3007bf5c.png
[2020092312023575.png_pic_center]: /images/20221123/dc4dedb5581d4df1b968aaf988989fef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/df911e4f971f4e7bbef7d65314fa8c5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/30d45304e91c452e9f10f7910ada4006.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/938bfd8a87694f3fbe44448cd26582e9.png
[20200923151250358.png_pic_center]: /images/20221123/ba03d1ff7c21400ab7b057bd0c188707.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/4269928c5b6844e482daec0844fecc0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/f5b809ae25df49b9a2af13f60b3d24d3.png