词嵌入与情绪识别

比眉伴天荒 2022-12-13 04:19 200阅读 0赞

# 1. 引入 #

情绪识别是NLP中的比较重要的通用任务。  
对于情绪识别来说，通常标注的数据量都会比较小，一般语料中也就一万到十万个单词。  
这样小的语料，对于训练NLP模型来说，是一个难点。

下面给出两种方法，借助于词嵌入，我们都能在比较小的语料中，得到不错的模型。

# 2. 方法一：平均词向量 #

具体步骤：

1.  获取各个单词的词向量

直接用句子中，每个单词的one-hot编码，乘以`词嵌入矩阵`，得到每个单词的词向量

1.  将句子中各个单词词向量相加后取平均，得到一个新向量，用于表示该句子
2.  用这个新的词向量，送到softmax，输出预测值

这个方法的优点

*  适用于任何长度的句子，因为最终表示该句子的词向量，都是各个词平均后的向量，向量维度与句子长度无关

这个方法的缺点

*  它不会考虑语序，比如下面的句子
    
     *  completely lacking in good taste, good service, and good ambience.

这个句子本身是负面情绪，但应为句子中有3个good，平均后，词向量大概率表示正面情绪。这样的预测结果就不准。

如何解决这个问题呢？

# 3. 方法二：RNN #

我们用RNN来保证模型能考虑到语序。

具体步骤：

1.  获取各个单词的词向量

直接用句子中，每个单词的one-hot编码，乘以`词嵌入矩阵`，得到每个单词的词向量

1.  将句子中各个单词词向量，直接送给RNN
2.  RNN使用多对一的结构，最后一位输出情绪值，这是many-to-one的RNN结构\[2\]

RNN结构能考虑到语序，解决了方法1的缺点。

# 4. 情绪数据集 #

常见的情绪识别数据集，是斯坦福开源的IMDB评论情绪数据集，可以在参考3中下载到。  
这个数据集提供了25000个训练集样本，25000个测试集样本。各个集合中，各有12500句话属于正面情绪，另外12500句话属于负面情绪。

参考4中也给出了一个非常小的IMDB简化数据集，其中有500个正例样本，500个负例样本，用于做简单的测试。

# 5. 总结 #

情绪识别最大的难点，是通常情况下，训练集数据都比较小。  
有了词嵌入，只需要中等规模的数据集，你也能训练出一个情绪识别模型。  
这也是词嵌入对情绪识别的贡献。

# 参考 #

*  1.  AndrewNg的《序列模型》教程
 *  1.  RNN的5种典型结构. https://blog.csdn.net/ybdesire/article/details/104095916
 *  1.  https://ai.stanford.edu/~amaas/data/sentiment/
 *  1.  https://github.com/arafato/rt-analytics/blob/master/ml/imdb\_labelled.csv

发表评论取消回复

表情：

评论列表（有 0 条评论，200人围观）

还没有评论，来说两句吧...

相关阅读

相关 pytorch实现词嵌入的简单模型

本篇文章主要是转自一个github上的代码，是因为自己对于word2vec词向量的预训练模型嵌入有点不熟悉，因此通过这个简单模型的代码，让我有了一个清晰的认识，希望也能帮助有需

川长思鸟来/ 2023年10月05日 08:03/ 0 赞/ 81 阅读

相关词嵌入方法

引言对于自然语言处理任务，我们不能直接使用纯文本字符串作为输出，而是需要将文本字符转化为连续值的向量。词嵌入的主要思想是将文本转换为较低维度空间的矢量表示。对于这种

ゝ一纸荒年。/ 2023年07月12日 08:44/ 0 赞/ 46 阅读

相关理解词嵌入WordEmbedding

1. 引入词嵌入，英文为 Word Embedding，这是语言表示的一种方式。它可以让算法理解一些类似的词。 2. 词表示：one-hot 我们可以用one-

叁歲伎倆/ 2023年02月19日 09:30/ 0 赞/ 49 阅读

相关词嵌入与情绪识别

1. 引入情绪识别是NLP中的比较重要的通用任务。对于情绪识别来说，通常标注的数据量都会比较小，一般语料中也就一万到十万个单词。这样小的语料，对于训练NLP

比眉伴天荒/ 2022年12月13日 04:19/ 0 赞/ 201 阅读

相关 Word Embedding与analogy reasoning（词嵌入与类比推理的过程）

1. 引入 Word Embedding是"词嵌入"的意思，这是语言表示的一种方式。它可以让算法理解一些类似的词。简单理解，就是词向量，代替one-hot编码做词向

女爷i/ 2022年11月25日 00:57/ 0 赞/ 166 阅读

相关理解词嵌入除偏

1. 引入机器学习已经被用到各行各业做辅助决策了，甚至是制定极其重要的决策。所以，我们应该尽可能的确保它不受非预期形式偏见的影响，比如性别歧视、种族歧视等等。下面介

た入场券/ 2022年11月20日 04:48/ 0 赞/ 168 阅读

相关深度学习：词嵌入Embedding

http://[blog.csdn.net/pipisorry/article/details/76095118][blog.csdn.net_pipisorry_articl

曾经终败给现在/ 2022年06月10日 23:45/ 0 赞/ 286 阅读

相关技术团队的情绪与效率

http://www.infoq.com/cn/articles/mood-and-efficiency-of-the-technical-team 引：为什么工程

绝地灬酷狼/ 2022年06月06日 05:58/ 0 赞/ 204 阅读

相关深度学习词嵌入来龙去脉

本文转自[Mr.Scofield http://blog.csdn.net/scotfield\_msn/article/details/69075227][Mr.Scofie

朴灿烈づ我的快乐病毒、/ 2022年05月11日 15:24/ 0 赞/ 248 阅读

相关团队情绪识别与管理

情商是管理情绪的能力，包括管理他人的情绪（社会能力）和管理自己的情绪（个人能力）。如何识别他人情绪善于发现两大线索： 1. 语言线索人们用语言表达

拼搏现实的明天。/ 2022年04月03日 14:16/ 0 赞/ 244 阅读