word2vec的解释

梦里梦外; 2021-11-10 00:54 299阅读 0赞

> **文章最前**： 我是Octopus，这个名字来源于我的中文名--章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人[github][] ；这博客是记录我学习的点点滴滴，如果您对 Python、Java、AI、算法有兴趣，可以关注我的动态，一起学习，共同进步。

** 关文章：**

1.  [协同过滤推荐算法和基于内容推荐算法的区别？][Link 1]
2.  [推荐算法的分类][Link 2]
3.  [MMOE原理介绍][MMOE]
4.  [相word2vec的解释][word2vec]

--------------------

### 1）**什么是 Word Embedding** ###

**        **Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。

** **        Word2vec 是 [Word Embedding][] 方式之一，属于 [NLP][] 领域。他是将词转化为「可计算」「结构化」的向量的过程。本文将讲解 Word2vec 的原理和优缺点。这种方式在 2018 年之前比较主流，但是随着 [BERT][]、GPT2.0 的出现，这种方式已经不算效果最好的方法了。

在说明 Word2vec 之前，需要先解释一下 Word Embedding。 它就是将「不可计算」「非结构化」的词转化为「可计算」「结构化」的向量。

Word2vec 在整个 NLP 里的位置可以用下图表示：

![word2vec在nlp中的位置][word2vec_nlp]

在 Word2vec 出现之前，已经有一些 Word Embedding 的方法，但是之前的方法并不成熟，也没有大规模的得到应用。

下面会详细介绍 Word2vec 的训练模型和用法。

### 2）Word2vec 的 2 种训练模式 ###

CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model)，是Word2vec 的两种训练模式。下面简单做一下解释：

**CBOW:**

通过上下文来预测当前值。相当于一句话中扣掉一个词，让你猜这个词是什么：

![CBOW通过上下文来预测当前值][CBOW]

**Skip-Gram:**

用当前词来预测上下文。相当于给你一个词，让你猜前面和后面可能出现什么词。

![Skip-gram用当前词来预测上下文][Skip-gram]

**优化方法**

为了提高速度，Word2vec 经常采用 2 种加速方式：

1.  Negative Sample（负采样）
2.  Hierarchical Softmax

具体加速方法就不详细讲解了，感兴趣的可以自己查找资料。

### 3）Word2vec 的优缺点 ###

需要说明的是：Word2vec 是上一代的产物（18 年之前）， 18 年之后想要得到最好的效果，已经不使用 Word Embedding 的方法了，所以也不会用到 Word2vec。

**优点：**

1.  由于 Word2vec 会考虑上下文，跟之前的 Embedding 方法相比，效果要更好（但不如 18 年之后的方法）
2.  比之前的 Embedding方 法维度更少，所以速度更快
3.  通用性很强，可以用在各种 NLP 任务中

![Word2vec在相似度计算上效果不错][Word2vec]

**缺点：**

1.  由于词和向量是一对一的关系，所以多义词的问题无法解决。
2.  Word2vec 是一种静态的方式，虽然通用性强，但是无法针对特定任务做动态优化

![Word2vec无法解决多义词的问题][Word2vec 1]

**转截链接:  ** [一文看懂 Word2vec（基本概念+2种训练模型+5个优缺点）][Word2vec_2_5]

[github]: https://github.com/zhangyu345293721
[Link 1]: https://blog.csdn.net/zy345293721/article/details/83117220
[Link 2]: https://blog.csdn.net/zy345293721/article/details/83241970
[MMOE]: https://blog.csdn.net/zy345293721/article/details/120518096
[word2vec]: https://blog.csdn.net/zy345293721/article/details/98113595
[Word Embedding]: https://easyai.tech/ai-definition/word-embedding/
[NLP]: https://easyai.tech/ai-definition/nlp/
[BERT]: https://easyai.tech/ai-definition/bert/
[word2vec_nlp]: /images/20211109/e7c2dbbd450548ab9e78314c277f252a.png
[CBOW]: /images/20211109/47de2db48ef74d1ca26d021bb826d952.png
[Skip-gram]: /images/20211109/b97f99b3d38846cf9f11f7ddf6b3e524.png
[Word2vec]: /images/20211109/747ff42fb57f46a38eac617e04cc1403.png
[Word2vec 1]: /images/20211109/9ed89521362b4710bf410eab085a0765.png
[Word2vec_2_5]: https://easyai.tech/ai-definition/word2vec/#yqd