如果可以通过算法来判断女朋友有没有生气。。。

向右看齐 2021-12-13 15:55 247阅读 0赞

点击蓝色“五分钟学算法”关注我哟

加个“星标”，一起学算法

![640][]

作者 | 神经小姐姐

本文经授权转自HyperAI超神经（ID：HyperAI）

知乎上有很多关于「如何判断女朋友是否生气」之类的问题，有人回答：字越少，事越大；还有人说：真生气，一个月不联系；假生气，会撒娇说「我生气了」。

![640?wx\_fmt=png][640_wx_fmt_png]

「女朋友是生气了么？」是千古难题

所以，女朋友的「我没生气/真的没生气」=「很生气」；「我生气了」=「撒娇，没生气，亲亲抱抱举高高嘛」。这样的情绪逻辑让直男们抓狂。

![640?wx\_fmt=png][640_wx_fmt_png 1]

女朋友的情绪根本就感受不出来啊

究竟应该怎么样才能听出女朋友到底生气了没呢？据说，AI 已经在听音识情绪上做出成绩，可能比男生抓耳挠腮地琢磨半天的结果更准确。

**01**

**Alexa 语音助手：正在修炼成为暖男**

亚马逊语音助手 Alexa 在感知情绪方面，可能比男朋友还机智。

今年，经过最新升级后，Alexa 已经能够通过分析用户指令的高低和音量等反应，识别出快乐、高兴、愤怒、悲伤、烦躁、恐惧、厌恶、厌倦甚至压力等情绪，并对相应指令做出回应。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

比如，如果一个女生一边擤鼻涕一边咳嗽一边又跟 Alexa 说自己有点饿了，那么 Alexa 就会通过对女生说话的的音调（虚弱、低沉）和背景音（咳嗽、擤鼻涕）分析出她很可能得病了，然后发出来自机器的贴心关怀：要不要来碗鸡汤，或者叫个外卖？甚至直接线上订购一瓶止咳糖浆一小时内送货上门？

这表现，是不是比钢铁直男男朋友还贴心？

人工智能做情绪分类已不是什么新鲜事了，不过，最近，亚马逊 Alexa Speech 团队前段时间打破了传统方法，发表了新的研究成果。

传统的方法都是有监督的，其获取的训练数据已经根据说话者的情绪状态被标记过。而亚马逊 Alexa Speech 团队的科学家最近采用了一种不同的方法，他们在国际声学，语音和信号处理会议（ICASSP）上发表了介绍这种方法的论文《Improving Emotion Classification through Variational Inference of Latent Variables》（http://t.cn/Ai0se57g）

![640?wx\_fmt=png][640_wx_fmt_png 2]

他们没有采用详尽注释过「情感」的语料库来训练系统，而是提供了一个对抗自编码器（AAE）。这是一个包含来自 10 个不同发言者的 10,000 个话语的公开数据集。

他们得到的研究结果是，在判断人们的声音中的效价（emotion valence）或情感价值（emotional value）时，神经网络的准确度提高了 4％。在团队的努力下，通过用户声音，便能可靠地确定用户的心情或情绪状态。

![640?wx\_fmt=png][640_wx_fmt_png 3]

AAE 模型原理示意图

论文的共同作者，Alexa Speech 组高级应用科学家 Viktor Rozgic 解释道，对抗自编码器是包含编码器的两部分模型——编码器（encoder）和解码器（decoder）。编码器学习生成输入语音的紧凑（或潜在）表示，编码训练示例的所有属性；而解码器重建来自紧凑表示的输入。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

对抗自编码器的架构

研究人员的情绪表征由三个网络节点组成，三个网络节点分别用于三种情绪测量：效价，激活（activation，说话者是警觉的，投入的还是被动的），以及支配（说话者是否感觉被周边局面控制）。

训练分三个阶段进行。第一阶段使用无标签的数据单独训练编码器和解码器。第二阶段为对抗训练，对抗性鉴别器试图区分编码器产生的真实表示与人工表示的技术，该阶段用于调整编码器。在第三阶段，调整编码器以确保潜在情绪表示，来预测训练数据的情绪标签。

为了捕获有关语音信号的信息，在涉及句子级特征表示的「hand-engineered」实验中，他们的 AI 系统在评估效价方面比传统训练网络的准确度提高了 3％。

此外，他们表示，当向网络提供一组表示 20 毫秒帧(或音频片段)声学特性的序列时，效果提高了 4%。

**02**

**MIT 实验室打造神经网络 1.2 秒感知愤怒**

亚马逊不是唯一一家研究改进的基于语音的情绪检测的公司。麻省理工学院媒体实验室 Affectiva 最近演示了一个神经网络 SoundNet：可以在短短 1.2 秒内（已经超越人类感知愤怒所需时间）将愤怒与音频数据分类，并且无论哪种语言。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

Affectiva 的研究人员在新论文《Transfer Learning From Sound Representations For Anger Detection in Speech》（https://arxiv.org/pdf/1902.02120.pdf）中描述了该系统。它建立在语音和面部数据打造情感档案的基础上。

![640?wx\_fmt=png][640_wx_fmt_png 4]

为了测试 AI 模型的通用性，该团队使用以英文训练的模型，对普通话语音情感数据训练的模型（普通话情感语料库，简称MASC）进行了评估。结果它不仅可以很好地推广到英语语音数据，对汉语数据也很有效，尽管性能略有下降。

![640?wx\_fmt=png][640_wx_fmt_png 5]

针对英文与中文的训练结果 ROC 曲线，虚线表示随机分类器的 ROC

团队表示，「识别愤怒应用广泛，包括会话界面和社交机器人，交互式语音应答（IVR）系统，市场研究，客户代理评估和培训，以及虚拟现实和增强现实。」

未来的工作将开发其他大型公共语料库，并为相关的基于语音的任务训练 AI 系统，例如识别其他类型的情绪和情感状态。

**03**

**以色列 App 识别情绪：准确率 80%**

以色列创业公司 Beyond Verbal 开发了一款名为 Moodies 的应用，它能够通过麦克风采集说话者的声音，经过 20 秒左右的分析，判断说话者的情绪特征。

![640?wx\_fmt=png][640_wx_fmt_png 6]

Moodies 拥有一套特殊的算法，软件会对说话者的节奏、时间、声音大小、停顿以及能量等情绪维度进行分析

尽管语音分析专家承认语言与情绪具有相关性，但不少专家却质疑这种实时测算的准确性——这类工具收集到的声音样本非常有限，实际的分析可能需要收集数年的样本。

「以目前认知神经学的水平，我们根本没有技术真正地了解一个人的思想或者情感。」 哥伦比亚大学心理学教授助理 Andrew Baron 说道。

不过 Beyond Verbal 负责市场的副总裁 Dan Emodi 表示，Moodies 经过了三年多的研究，根据用户的反馈，应用分析的准确率约为 80%。

Beyond Verbal 公司表示，Moodies 可以应用于自我情绪诊断、客服中心处理顾客关系甚至检测求职者是否说谎，当然你也可以带到约会的场景中，看对方是否真的对自己感兴趣。

**04**

**语音情绪识别依然面临挑战**

虽然很多科技公司已经在这方面有着多年的研究，也得到不错的成果。但是，正如上文 Andrew Baron 所质疑的，这项技术还面临多个挑战。

就像女朋友一句平静的「我没生气」并不代表她真的没生气一样，一个发音中可以包含多种感情，不同情感的边界也难以界定，哪个情绪是当前主导的情绪？

国内某语音情绪识别产品展示

并不是所有的语气都像视频中这样明显与激烈，表达情感是一个个性化极强的事情，根据个人，环境甚至文化差异都很大。

此外，一种情绪可能持续很长时间，但期间也会有快速变化的情绪，情感识别系统是检测长期的情绪还是短时的情绪呢？比如某人限于失业的痛苦中，但期间因为朋友的关心短暂开心了一下，但实际上他仍处于伤心状态，AI 该怎么定义他的状态呢？

而另一个令人担心的事是，当这些产品能够听懂人的情绪后，是否会因为用户对它的依赖，而询问更多隐私性的问题，获取用户多方面信息，从而将「服务」变成「买卖」？

**05**

**愿你会拥有大白，也拥有真正懂你的人**

很多人都想拥有一个温暖又贴心的大白，这个在科幻动画里才有的高情商机器人，未来是否会成真呢？

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

非常低落而缓慢地跟小冰说话得到无情回答

目前，很多聊天机器人依然没有情商，无法感知用户的小情绪，常常把天聊死。所以，真正能够听懂你的，依然是陪伴在你身边倾听你的人。

![640?wx\_fmt=gif][640_wx_fmt_gif]

【END】

![640?wx\_fmt=png][640_wx_fmt_png 7]

**原 创 热 文 推 荐**

☞[毕业十年后，我忍不住出了一份程序员的高考试卷][Link 1]

[☞][Link 2][一道腾讯面试题：厉害了我的杯][Link 3]

[☞][Link 4][十大经典排序算法动画与解析，看我就够了][Link 5]

[☞][Link 4][这或许是东半球分析十大排序算法最好的一篇文章][Link 6]

[☞][Link 4][面试官，我会写二分查找法！对，没有 bug 的那种！][bug]

![640?wx\_fmt=png][640_wx_fmt_png 8] 你点的每个“在看”，我都认真当成了喜欢

[640]: /images/20211213/f0b00b1e8ea34232b9f090e1ae43126d.png
[640_wx_fmt_png]: /images/20211213/f047f82e0c0548d1addf5fb6c14d5fb1.png
[640_wx_fmt_png 1]: /images/20211213/64a99f17c06d46e5be47bd8ec5c9e309.png
[640_wx_fmt_jpeg]: /images/20211213/bf72f73e5f45431587d799de2e93da13.png
[640_wx_fmt_png 2]: /images/20211213/83aae212ed57413f97a7c21b00923a50.png
[640_wx_fmt_png 3]: /images/20211213/4c86855829534d8bbae0ba30fce7384c.png
[640_wx_fmt_jpeg 1]: /images/20211213/b6610d9c04124eb0a5f3c2873b3508d1.png
[640_wx_fmt_jpeg 2]: /images/20211213/dd58bfa3eabe4e65aaeb1f2c20669c99.png
[640_wx_fmt_png 4]: /images/20211213/56174b050639428ab6a5784eec217152.png
[640_wx_fmt_png 5]: /images/20211213/db610268920c4ba385750a5c19c5d977.png
[640_wx_fmt_png 6]: /images/20211213/539ade3afe854bec8fa9db847446c729.png
[640_wx_fmt_jpeg 3]: /images/20211213/25cd57ea5f414601bdf7b03f8ef94c07.png
[640_wx_fmt_gif]: /images/20211213/3bc80212168e47e5adb8b793edfa2c71.png
[640_wx_fmt_png 7]: /images/20211213/70d06f5585f6446c9ff498f31dc5c8cf.png
[Link 1]: https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/91488249
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzA5MzY4NTQwMA==&mid=2651011536&idx=3&sn=fd5ff61a84fe2180a7c21d15acf71659&chksm=8bad8a27bcda03319570ae23d05392d287390a51ca94014422dd199450b25f43467aaaedb59e&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzUyNjQxNjYyMg==&mid=2247484557&idx=1&sn=739d80488fe1169a9c9ca26ecfcdfba6&chksm=fa0e6b0ccd79e21a1c2b0d99db69f6206cddddfe2367742e9de1d7d17ec35a5ce29fa4e30d63&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzA5MjcxNjc2Ng==&mid=2650560116&idx=1&sn=f9e86fa3e7b15624177b29ef1a785be4&chksm=88601dc5bf1794d30fd595d413491da189584b44fd2b2e5e40c665e58760e162616585811647&scene=21#wechat_redirect
[Link 5]: https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/87910210
[Link 6]: https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/92825279
[bug]: http://mp.weixin.qq.com/s?__biz=MzUyNjQxNjYyMg==&mid=2247485240&idx=1&sn=fbccc747b2e8558c6478171709005ff9&chksm=fa0e68b9cd79e1af5ab68d42adea0b24c7d4867069091df9e95b6f20ab57b69c4e38994a36be&scene=21#wechat_redirect
[640_wx_fmt_png 8]: /images/20211213/5691115968f4477380814e84a426301c.png