word2vec的c语言版本运行方法

忘是亡心i 2022-03-10 11:58 237阅读 0赞

先介绍官方C语言版的训练方法。

对于这个方法，我认为几个词可以概括：简单、快速

1.安装word2vec工具C语言版

项目地址：[http://word2vec.googlecode.com/svn/trunk/][http_word2vec.googlecode.com_svn_trunk]

注：这个需要svn工具来下载。如果实在下载不到，可以上网找下其他资源

下载好之后将文件放到指定文件夹中，使用makefile安装，即运行：“make”

安装好之后如下图：

![Image 1][]

可以看到有编译好的"word2vec"文件了，接下来就可以训练啦～

2.训练词向量

将分好词的训练语料进行训练，假定我语料名称为star\_games\_words.txt且在word2vec目录中。输入命令：

> ./word2vec -train seg\_star\_games\_words.txt -output star\_games\_vectors.bin -cbow 0 -size 5 -window 1 -negative 0 -hs 1 -sample 1e-3 -threads 12 -binary 1

以上命令表示的是输入文件是seg\_star\_games\_words.txt，

输出文件是star\_games\_vectors.bin，

不使用cbow模型，默认为Skip-Gram模型。

每个单词的向量维度是5，

训练的窗口大小为5就是考虑一个词前五个和后五个词语（实际代码中还有一个随机选窗口的过程，窗口大小<=5）。

不使用NEG方法，使用HS方法。

\-sampe指的是采样的阈值，如果一个词语在训练样本中出现的频率越大，那么就越会被采样。

\-binary为1指的是结果二进制存储，为0是普通存储（普通存储的时候是可以打开看到词语和对应的向量的）

除了以上命令中的参数，word2vec还有几个参数对我们比较有用比如-alpha设置学习速率，默认的为0.025.–min-count设置最低频率，默认是5，如果一个词语在文档中出现的次数小于5，那么就会丢弃。-classes设置聚类个数，看了一下源码用的是k-means聚类的方法。

训练出来如果保存的是txt文件，大概是这个样子：

![Image 1][]

3.测试近邻的词

得到模型后，可以用命令  ./distance data/review.model 测试单词的最近邻。 这个要求刚才生成的模型是保存成二进制的。

作者：MiracleJQ  
链接：https://www.jianshu.com/p/aa025f0919a0  
来源：简书  
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

[http_word2vec.googlecode.com_svn_trunk]: https://link.jianshu.com?t=http://word2vec.googlecode.com/svn/trunk/
[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，237人围观）

还没有评论，来说两句吧...

相关阅读

相关 word2vec

Word2Vec 是一种词嵌入模型，用于将文本中的单词映射到一个固定大小的向量空间中。它的主要目的是通过计算单词之间的相似度来增强自然语言处理的性能。Word2Vec 通常用于

妖狐艹你老母/ 2024年03月25日 17:38/ 0 赞/ 94 阅读

相关 Word2Vec

文本处理流程： preprocess:tokenize+lemma/stemming+stopwords+word\_list \+make features \+

男娘i/ 2023年06月23日 10:52/ 0 赞/ 51 阅读

相关 cbow word2vec 损失_word2vec前世今生

word2vec背后是一个浅层的神经网络，分为skip-gram和CBOW模型。模型的基础为N-gram模型。N-gram模型由于参数空间的爆炸式增长，无法处理更长的cont

Bertha 。/ 2023年01月02日 05:22/ 0 赞/ 202 阅读

相关统计语言模型&word2vec

[我们是这样理解语言的][Link 1] [深度学习：语言模型的评估标准][Link 2] [\[我们是这样理解语言的-2\]统计语言模型][

深藏阁楼爱情的钟/ 2022年08月23日 03:56/ 0 赞/ 191 阅读

相关 Word2Vec

Word2Vec Word2Vec是将词表示为实数值向量的工具，并将对文本内容的处理转换为K维向量空间的向量运算。Word2Vec输出的词向量可以用来做NLP相关的工作，

╰+哭是因爲堅強的太久メ/ 2022年08月09日 06:29/ 0 赞/ 238 阅读

相关 Word2Vec&Doc2Vec总结

转自：[http://www.cnblogs.com/maybe2030/p/5427148.html][http_www.cnblogs.com_maybe2030_p_54

﹏ヽ暗。殇╰゛Y/ 2022年05月24日 13:25/ 0 赞/ 290 阅读

相关 Word Embedding & word2vec

一、Word Embedding定义 Embedding是指某个对象 X 被嵌入到另外一个对象 Y 中，映射 f : X → Y ，例如有理数嵌入实数。 Word Em

矫情吗；*/ 2022年03月21日 04:59/ 0 赞/ 404 阅读

相关 word2vec的c语言版本运行方法

先介绍官方C语言版的训练方法。对于这个方法，我认为几个词可以概括：简单、快速 1.安装word2vec工具C语言版项目地址：[http://word2vec.goog

忘是亡心i/ 2022年03月10日 11:58/ 0 赞/ 238 阅读

相关 word2vec使用方法小结

原文：https://blog.csdn.net/qq\_19707521/article/details/79169826 训练模型利用gensim.models.W

╰+哭是因爲堅強的太久メ/ 2022年03月10日 05:30/ 0 赞/ 428 阅读

相关 word2vec的解释

> 文章最前：我是Octopus，这个名字来源于我的中文名--章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人[github][] ；这博客是记录我学习的点点滴滴，如

梦里梦外;/ 2021年11月10日 00:54/ 0 赞/ 336 阅读