表情识别之scn

「爱情、让人受尽委屈。」 2022-11-21 03:40 265阅读 0赞

论文：[Suppressing Uncertainties for Large-Scale Facial Expression Recognition][]

Github：[https://github.com/kaiwang960112/Self-Cure-Network][https_github.com_kaiwang960112_Self-Cure-Network]

**C****VPR 2020，siat**乔宇老师组的作品。

Self-Cure Network (SCN)，本质就是可以实现自我治愈功能的网络结构。

> We expect the network can be cured by itself with either re-weighting or relabeling, which is the reason why we call our method as self-cured network.

人脸表情识别，最麻烦的地方就在于，表情是有一个变化区间的。不同的表情之间，界线比较模糊。甚至不同的人会认为是不同的表情。假设可以分为，"happy":0, "angry":1, "calm":2, "scared":3, "sad":4, "disgust":5, "surprised":6这7种表情。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

后续甚至由“单一表情”发展为“复合表情”，“混合表情”的识别。

表情识别，本质是一个分类问题，但是直接分类，可能很难达到一个非常好的效果。除非在数据集上下很大的功夫。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

这篇文章，主要提出了**4****个改进点**。

1.  网络结构中的分类分支，增加attention机制。
2.  增加正则化排序的思想。本质就是预测得分score超过平均得分一定阈值区间的，才进行梯度回传，其余的不进行梯度回传。这个的本质就是因为数据集的标注不可信。所以，只回传网络认为可信的图片产生的梯度。思想，非常类似OHEM的思想。区别就是SCN对数据不信任，OHEM却高度信赖数据。
3.  对标注数据的标签，基于模型的预测，进行重打标签relable的操作。
4.  贡献了新的表情识别数据集，WebEmotion dataset。

整体流程：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

整个的模型，以resnet18为基础网络结构。输入图片大小为224\*224，分为Self-Attention Importance Weighting ，Rank Regularization ，Relabeling，3个改进点模块。

**Self-Attention Importance Weighting****：**

![20201029193904549.png][]

首先会先随机生成一个attention权重αi ，维度大小和全联接层的大小一样。

其中，W表示全连接层权重，σ表示sigmoid激活函数。

![20201029193917964.png][]

Logit-Weighted Cross-Entropy loss (WCE-Loss)

和softmax 交叉熵的唯一区别就是增加了正相关系数，也就是attention系数，αi

代码实现：

attention_weights = self.alpha(x)
    out = attention_weights * self.fc(x)

**Rank Regularization****：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

首先对一个Batch内的预测得分进行排序，取前tops的作为高得分，剩下的作为低得分。分别计算高分，低分的平均值。如果高分比低分还多出规定的阈值的，就将多出的得分，作为梯度回传，否则不进行梯度回传。这样的操作，可以对得分较高的样本，获得更多的梯度。

最终整体的loss，就是加了attention 的交叉熵loss和rank loss的组合

![20201029194034928.png][]

代码实现：

# Rank Regularization
    _, top_idx = torch.topk(attention_weights.squeeze(), tops)
    _, down_idx = torch.topk(attention_weights.squeeze(), batch_sz - tops, largest = False)
    
    high_group = attention_weights[top_idx]
    low_group = attention_weights[down_idx]
    high_mean = torch.mean(high_group)
    low_mean = torch.mean(low_group)
    # diff  = margin_1 - (high_mean - low_mean)
    diff  = low_mean - high_mean + margin_1
    
    if diff > 0:
       RR_loss = diff
    else:
       RR_loss = 0.0
    
    targets = targets.cuda()
    loss = criterion(outputs, targets) + RR_loss

**Relabeling****：**

![20201029194124484.png][]

Y’表示新的标签，

σ2是预先规定的阈值，

Pmax表示每一个预测的结果里面最大的得分，例如10个分类里面，得分最高的那个，

PgtInd表示对于给定的标签，网络的预测得分。比如标签的类别是类别0，那么对于类别0的网络的预测得分就是PgtInd。

代码实现：

# Relabel samples
    if i >= args.relabel_epoch:
        sm = torch.softmax(outputs, dim = 1)
        Pmax, predicted_labels = torch.max(sm, 1) # predictions
        Pgt = torch.gather(sm, 1, targets.view(-1,1)).squeeze() # retrieve predicted probabilities of targets
        true_or_false = Pmax - Pgt > margin_2
        update_idx = true_or_false.nonzero().squeeze() # get samples' index in this mini-batch where (Pmax - Pgt > margin_2)
        label_idx = indexes[update_idx] # get samples' index in train_loader
        relabels = predicted_labels[update_idx] # predictions where (Pmax - Pgt > margin_2)
        train_loader.dataset.label[label_idx.cpu().numpy()] = relabels.cpu().numpy() # relabel samples in train_loader

表情识别数据集汇总：

**（1）****JAFFE**

数据集链接：[http://www.kasrl.org/jaffe.html][http_www.kasrl.org_jaffe.html]

1998年发布，这是比较小和老的数据库。该数据库是由10位日本女性在实验环境下根据指示做出各种表情，再由照相机拍摄获取的人脸表情图像。整个数据库一共有213张图像，10个人，全部都是女性，每个人做出7种表情，这7种表情分别是：sad, happy, angry, disgust, surprise, fear, neutral，每组大概20张样图。

**（2）****KDEF与AKDEF**

数据集地址：[http://www.emotionlab.se/kdef/][http_www.emotionlab.se_kdef]

发布于1998年，这个数据集最初是被开发用于心理和医学研究目的。它主要用于知觉，注意，情绪，记忆等实验。在创建数据集的过程中，特意使用比较均匀，柔和的光照，被采集者身穿统一的T恤颜色。这个数据集，包含70个人，35个男性，35个女性，年龄在20至30岁之间。没有胡须，耳环或眼镜，且没有明显的化妆。7种不同的表情，每个表情有5个角度。总共4900张彩色图，尺寸为562\*762像素。

**（3）** **GENKI**

数据集地址：[http://mplab.ucsd.edu][http_mplab.ucsd.edu]

发布于2009年，GENKI数据集是由加利福尼亚大学的机器概念实验室收集。该数据集包含GENKI-R2009a，GENKI-4K，GENKI-SZSL三个部分。GENKI-R2009a包含11159个图像，GENKI-4K包含4000个图像，分为“笑”和“不笑”两种，每个图片拥有不同的尺度大小，姿势，光照变化，头部姿态，可专门用于做笑脸识别。这些图像包括广泛的背景，光照条件，地理位置，个人身份和种族等。

**（4）** **RaFD**

数据集地址：[http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main][http_www.socsci.ru.nl_8180_RaFD2_RaFD_p_main]

发布于2010年，该数据集是Radboud大学Nijmegen行为科学研究所整理的，这是一个高质量的脸部数据库，总共包含67个模特，其中20名白人男性成年人，19名白人女性成年人，4个白人男孩，6个白人女孩，18名摩洛哥男性成年人。总共8040张图，包含8种表情，即愤怒，厌恶，恐惧，快乐，悲伤，惊奇，蔑视和中立。每一个表情，包含3个不同的注视方向，且使用5个相机从不同的角度同时拍摄的。

**（5）****CK**

数据集地址：[http://www.pitt.edu/~emotion/ck-spread.htm][http_www.pitt.edu_emotion_ck-spread.htm]

发布于2010年，这个数据库是在Cohn-Kanade Dataset的基础上扩展来的，它包含137个人的不同人脸表情视频帧。这个数据库比起JAFFE要大的多。而且也可以免费获取，包含表情的标注和基本动作单元的标注。

**（6）****Fer2013**

数据集地址：[https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data][https_www.kaggle.com_c_challenges-in-representation-learning-facial-expression-recognition-challenge_data]

发布于2013年，该数据集包含共26190张48\*48灰度图，图片的分辨率比较低，共6种表情。分别为0 anger生气、1 disgust 厌恶、2 fear 恐惧、3 happy 开心、4 sad 伤心、5 surprised 惊讶、6 normal 中性。

**（7）****RAF**

数据集地址：[http://www.whdeng.cn/RAF/model1.html][http_www.whdeng.cn_RAF_model1.html]

发布于2017年，包含总共29672 张图片，其中7个基本表情和12 个复合表情，而且每张图还提供了5个精确的人脸关键点，年龄范围和性别标注。

**（8）****EmotionNet**

数据集地址：[http://cbcsl.ece.ohio-state.edu/EmotionNetChallenge/][http_cbcsl.ece.ohio-state.edu_EmotionNetChallenge]

发布于2017年，共950,000张图，其中包含基本表情，复合表情，以及表情单元的标注。

实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4][]

Ref:

[http://www.pris.net.cn/introduction/teacher/dengweihong][http_www.pris.net.cn_introduction_teacher_dengweihong]

[Suppressing Uncertainties for Large-Scale Facial Expression Recognition]: https://arxiv.org/pdf/2002.10392.pdf
[https_github.com_kaiwang960112_Self-Cure-Network]: https://github.com/kaiwang960112/Self-Cure-Network
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: /images/20221120/565b8af3fc3c403e9283844e6ccb15e6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: /images/20221120/75744bdbf3f744f78a45451d68138f4b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201029193842306.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[20201029193904549.png]: https://img-blog.csdnimg.cn/20201029193904549.png
[20201029193917964.png]: https://img-blog.csdnimg.cn/20201029193917964.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201029194019773.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[20201029194034928.png]: https://img-blog.csdnimg.cn/20201029194034928.png
[20201029194124484.png]: https://img-blog.csdnimg.cn/20201029194124484.png
[http_www.kasrl.org_jaffe.html]: https://link.zhihu.com/?target=http://www.kasrl.org/jaffe.html
[http_www.emotionlab.se_kdef]: https://link.zhihu.com/?target=http://www.emotionlab.se/kdef/
[http_mplab.ucsd.edu]: https://link.zhihu.com/?target=http://mplab.ucsd.edu
[http_www.socsci.ru.nl_8180_RaFD2_RaFD_p_main]: https://link.zhihu.com/?target=http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main
[http_www.pitt.edu_emotion_ck-spread.htm]: https://link.zhihu.com/?target=http://www.pitt.edu/~emotion/ck-spread.htm
[https_www.kaggle.com_c_challenges-in-representation-learning-facial-expression-recognition-challenge_data]: https://link.zhihu.com/?target=https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data
[http_www.whdeng.cn_RAF_model1.html]: https://link.zhihu.com/?target=http://www.whdeng.cn/RAF/model1.html
[http_cbcsl.ece.ohio-state.edu_EmotionNetChallenge]: https://link.zhihu.com/?target=http://cbcsl.ece.ohio-state.edu/EmotionNetChallenge/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201029194238744.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[http_www.pris.net.cn_introduction_teacher_dengweihong]: http://www.pris.net.cn/introduction/teacher/dengweihong