基于深度学习的人脸表情识别（天津大学硕士学位论文）

今天药忘吃喽~ 2022-07-11 15:24 362阅读 0赞

《基于深度学习的人脸表情识别》吕亚丹（天津大学硕士学位论文）

### **目录** ###

*   *   *  目录
         *  摘要
            
             *  1 人脸表情识别模块组成
             *  2 论文使用方法
         *  绪论
            
             *  1 研究背景
             *  2 研究现状
             *  3 面临挑战
         *  系统结构及特征分析
            
             *  1 系统结构
             *  2 表情图像预处理
             *  3 人脸表情特征提取
             *  4 人脸表情识别方法介绍

--------------------

### 0 摘要 ###

#### .1 人脸表情识别模块组成 ####

![这里写图片描述][SouthEast]

--------------------

#### .2 论文使用方法 ####

基本思路：利用 人脸解析器 提取在表情识别中 起关键作用的器官 进行识别表情识别。

依据：人脸不同部位包含的表情信息量不同；

优势：避免对不同人脸形状进行的加权函数 和 加权特征区域的调整。

**采用算法：**

Created with Raphaël 2.1.0开始贪婪图像缩放算法 进行 图像预处理提取HOG特征 进行 人脸解析提取解析的器官的Gabor特征 进行 表情识别结束

说明：解析器由 **深度置信网** 训练，用 **逻辑回归** 进行微调。

*  解析器首先检测出 **人脸区域**
 *  然后在人脸区域上级联检测出人脸的**眼睛、鼻子和嘴**
 *  最后将**检测好的器官**提取**Gabor特征**  
    作为**Stacked自动编码器输入**进行表情分类

**方法优势：**

*  图像不需要对提前进行对齐、光照处理等任何人为处理。
 *  解析的器官剔除了表情识别中的冗余信息， 且解析过程中利用了器官  
    之间的角度和距离关系缩小了检索范围，提高解析速度。

--------------------

### 1 绪论 ###

#### 1.1 研究背景 ####

**意义：**心理学研究表明，在语言和表情表达的信息不一致时，表情传达的信息更准确。表情是人类进行情感交流的重要方式。人类情绪主要通过面部表情传达，识别人类表情能够使人类与机器的交流更有效。

**难点：**

*  每种表情都是面部不同肌肉组合的结果，无法用一个固定的模型描述每种表情对应的面部肌肉组合。
 *  人脸面部表情变化时，表现为脸部特征点的运动，目前计算机不能精确定位特征点的具体位置。
 *  即使是同一种表情，不同人面部表现形式也不一样，计算机精确划分每种表情很困难。

**应用场合：**情感机器人、高效人机交互、病人监护、远程教育等

#### 1.2 研究现状 ####

**国内：**

*  中科院：在步态识别、运动检测、人体跟踪、人脸跟踪上建立了演示系统，在人脸面部信息搜索和表情识别上取得重大进展。
 *  哈工大：研发多功能感知机，作为一个可以开发视听觉等自然语言和人类其他语言的软硬件平台。

**国外：**  
**应用场景：**

*  游戏：根据人类情感做出实时反映，增强玩家沉浸感。
 *  远程教育：根据学生表情调整授课进度、授课方法等。
 *  安全驾驶：根据司机表情，判断司机驾驶状态，避免事故发生。
 *  公共安全监控：根据表情判断是否有异常情绪，预防犯罪。

#### 1.3 面临挑战 ####

*  识别表情类别有待增加。
 *  人脸检测算法的鲁棒性有提升空间。
 *  表情识别计算量较大。

### 2 系统结构及特征分析 ###

#### 2.1 系统结构 ####

![人脸表情识别流程][SouthEast 1]

*  图像预处理：人脸检测、人脸灰度化等消除干扰因素。
 *  表情特征提取：基于静态图像的特征提取 和 动态序列的图像特征提取，在进行表情识别之前要先进行特征降维。
 *  表情识别：选择合适的分类算法对降维后的表情特征进行分类。

#### 2.2 表情图像预处理 ####

**人脸检测算法分类：**

*  基于肤色的检测方法  
    基于高斯模型、基于混合高斯模型、基于直方图模型，  
    实验表明，混合高斯模型比高斯模型好。
 *  基于统计模型的方法  
    人工神经网络：采用多个神经网络进行不同角度人脸检测。  
    基于概率模型：通过估计人脸图像和非人脸图像的条件概率来检测人脸。  
    支持向量机：采用支持向量机的超平面进行人脸和非人脸的判断。
 *  基于启发式模型的检测方法  
    变形模型：采用变形模板与头顶轮廓线和左右两条脸轮廓线相匹配。  
    镶嵌图：将人脸区域划分为多个马赛克块，利用一组规则及边缘特征进行验证。

**对表情图像进行标准化操作：**

*  图像灰度归一化：对图像进行光照补偿，减轻光照对识别的影响。
 *  图像几何归一化：先检测人脸特征点，根据其将数据集里的人脸归一化到同一位置（在图片里）及同一大小。

#### 2.3 人脸表情特征提取 ####

**基于静态图像的方法：**

*  依据：面部 不同区域 携带的表情信息 不同，人脸图像被划分为 不同的子区域， 然后对各类表情子区域分别利用 **特征脸方法** 求 **特征子空间**，将 表情子图像 投影到 各个表情子空间上 进行识别， 计算该图像在表情子空间的投影 与 该表情子空间的**相似性**来进行识别。
 *  根据图像中人脸的 **几何结构信息** 和每幅图像的 **空间信息** 进行特征提取。
 *  适用于表情的**实时检测**。

**基于动态图像序列的方法：**  
首先计算特征区域的 **特征流和速度场**，再利用 **DGMM**(Dynamic Gaussian Mixture Model)和 **HMM**(Hidden Markov Model)进行人脸面部表情的识别。

**人脸特征分类：**

*  几何特征和纹理特征。  
    人脸的纹理特征是在整个人脸图像中提取能够反映人脸**整体特点**的特征。  
    基于几何特征的方法用**有限的**特征点代替人脸整体图像信息，忽略了一些部位的特征信息， 因此一些对表情识别起重要作用的信息**可能会丢失**。  
    基于纹理的特征**比较完整**的保留了人脸面部信息， 丢失的数据较少， 但是其缺点是**容易受环境的影响**， 且输入数据的维数相对比较高，**计算量较大**。
 *  共性特征和个性特征。  
    对数据库中归一化的人脸图像求平均，得到的平均人脸即人脸共性特征。
 *  局部特征和整体特征。  
    图像局部特征可以是**局部结构**也可以是**局部器官轮廓以及灰度分布**， 一般具有较好分类特性；  
    整体特征一般是将**整个人脸图像**通过降维如 PCA 降维提取**图像矩阵的特征**，获得图像的整体特征。
 *  暂态特征和永久特征。  
    人脸的暂态特征指 人脸中性脸 与非中性脸 做**差**所得的特征。  
    永久特征指人脸**处于中性表情时**的**几何特征和纹理特征**等。  
    在表情识别时，起关键作用的**暂态特征**，故需要从永久特征中分离暂态特征，再分析暂态特征并进行表情分类。

#### 2.4 人脸表情识别方法介绍 ####

*  基于模板的方法：  
    首先为 每个基本表情 都建立一个模板，将待测表情和 表情模板 分别计算**相似度**，**相似度最高**所对应的表情模板就是识别的表情分类结果。  
    特点：思想简单，识别率较低。并且识别非典型表情（即分类之初没有考虑到的表情）有困难。
 *  基于神经网络的方法：  
    目前表情识别常用神经网络结构：主要有 BP 神经网络、多层感知器、 RBF 网等。  
    输出层的输出结点与七种基本表情一一对应。  
    这些方法适合解决非线性分类问题。  
    神经网络也可以进行特征提取。
 *  基于支持向量机的方法：
 *  基于概率模型的方法：  
    首先建立**人脸表情图像的参数分布模型**， 对于测试集中的每个图像分别计算该图像**属于每个类的概率**， 计算的**最大概率所对应的类别**为最后的分类结果。  
    Bays 决策和 HMM 属于基于概率模型的方法。
 *  K-means聚类：是一种无监督的分类方法。目标函数多峰且非线性，算法**容易陷入局部最优解**，要得到好的结果需要有**较好的初始化参数**。

[SouthEast]: /images/20220711/1c08f129033b4102a8f175ae4ff11a7e.png
[SouthEast 1]: /images/20220711/64f1833c349e46aeb3234a2d40fa3359.png