开始动手训练自己的词向量word2vec

蔚落 2023-07-18 11:22 1阅读 0赞

> 本文所涉及到的所有资料和代码见，[github][]

感谢[霍姆格雷特][Link 1]的博文，额，我还是比较这种风格的，好的，现在让我们来训练自己的词向量吧。

### 文章目录 ###

*  1、环境配置
 *  2、语料库说明
 *  3、实验步骤
 *   *  3.1、文件编码转换
     *  3.2、 中文分词
     *  3.3、模型训练
     *  3.4、模型测试
     *  3.5、项目目录
 *  4、扩展知识

# 1、环境配置 #

*  环境：win10 + python3.6
 *  所需工具包：gensim（word2vec）、jieba（中文分词）
 *  以上工具包均用pip install安装

# 2、语料库说明 #

哎呀，他用的《诛仙》，我就用《斗罗大陆》，文件见[GitHub][github]，也可以换成自己喜欢的文档（如有侵权，请联系作者删除）

# 3、实验步骤 #

## 3.1、文件编码转换 ##

因为文件\*“douluo.txt”\*原始编码为`GBK`,整个项目编码为UTF-8，需统一格式。否则直接读取文本将得到乱码。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70]  
在项目中新建一个文件`gbk2utf8.py`进行编码转换，将编码转为**UTF-8**，存至一个新文件

def gbk2utf8():
        file_out = open('data/douluo_utf8.txt', 'w', encoding="utf-8")	 # 输出文件路径
        with open('data/douluo.txt', 'r', encoding="GB18030") as file_object:
            for line in file_object:
                line = line.strip()
                file_out.write(line + "\n")
        file_out.close()
        print("end")

所做工作就是解码原始文件，逐句读取，去除空白，在用uft-8编码，写入新的文件‘douluo\_uft8.txt’。处理后，一下子舒服了好多。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 1]

## 3.2、 中文分词 ##

分词用的工具是结巴分词，将分词结果写入到新的文件`“douluo_cut_word.txt”`。为了更高的分词准确率，本文使用了`停用词表 stop_words.txt`与`用户字典表 user_dict.txt`，均在[github][github 1]中可以下载。

在项目中新建`seg_words.py`文件，并填入以下内容

import jieba
    def seg_words():
        # 定义一些常量值，多次调用的文件路径放在这里，容易修改
        origin_file = "data/douluo_utf8.txt"  # 初代文件
        stop_words_file = "data/stop_words.txt"  # 停用词路径
        user_dict_file = "data/user_dict.txt"  # 用户自定义词典路径
        stop_words = list()
        # 加载停用词
        with open(stop_words_file, 'r', encoding="utf8") as stop_words_file_object:
            contents = stop_words_file_object.readlines()
            for line in contents:
                line = line.strip()
                stop_words.append(line)
        # 加载用户字典
        jieba.load_userdict(user_dict_file)
        target_file = open("data/douluo_cut_word.txt", 'w', encoding="utf-8")
        with open(origin_file, 'r', encoding="utf-8") as origin_file_object:
            contents = origin_file_object.readlines()
            for line in contents:
                line = line.strip()
                out_str = ''
                word_list = jieba.cut(line, cut_all=False)
                for word in word_list:
                    if word not in stop_words:
                        if word != "\t":
                            out_str += word
                            out_str += ' '
                target_file.write(out_str.rstrip() + "\n")
        target_file.close()
        print("end")

分词后的结果如下，效果还可以，如果需要更好的效果，需要自己调整。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 2]

## 3.3、模型训练 ##

新建文件`train_model.py`，调用gensim库进行word2vec模型的训练

import logging
    import os
    import sys
    import multiprocessing
    
    from gensim.models import Word2Vec
    from gensim.models.word2vec import PathLineSentences
    
    def train_model():
        # 日志信息输出
        program = os.path.basename(sys.argv[0])
        logger = logging.getLogger(program)
        logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
        logging.root.setLevel(level=logging.INFO)
        logger.info("running %s" % ' '.join(sys.argv))
     
        # input为输入语料， outp1为输出模型， outp2位vector格式的模型
        input_dir = 'data/douluo_cut_word.txt'
        outp1 = 'model/douluo.model'
        outp2 = 'model/douluo.vector'
        
        # 训练模型
        # 输入语料目录:PathLineSentences(input_dir)
        # embedding size:256 共现窗口大小:10 去除出现次数5以下的词,多线程运行,迭代10次
        model = Word2Vec(PathLineSentences(input_dir),
                         size=256, window=10, min_count=5,
                         workers=multiprocessing.cpu_count(), iter=10)
        model.save(outp1)	# 存储二进制模型文件
        model.wv.save_word2vec_format(outp2, binary=False)	# 存储类似于数组的模型文件

## 3.4、模型测试 ##

新建`test.py`文件

import warnings
    import gensim
    
    if __name__ == '__main__':
        warnings.filterwarnings(action='ignore', category=UserWarning,module='gensim')
        model = gensim.models.Word2Vec.load("model/douluo.model")
    
        word = '宁荣荣'
        result = model.similar_by_word(word)
    
        print("跟 "+word+" 最相近的词：")
        for i in result:
            print(i)

最终的结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 3]

## 3.5、项目目录 ##

项目可以不一个个执行，可直接执行`main.py`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 4]

# 4、扩展知识 #

1，[高级优化技巧入门][Link 2]

*  包含大数据分词，提高效率等
 *  如何读入一个目录的训练语料
 *  通过numpy调用模型

[github]: https://github.com/zlhcsm/NLP_module_demo/tree/master/wordEmbedding
[Link 1]: https://blog.csdn.net/HOMEGREAT/article/details/79720314
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70]: /images/20230528/5f9b48c3d22140d2952aaed3cb74b38e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 1]: /images/20230528/2663f74bbf6f4123a3e411e6ecaad320.png
[github 1]: https://github.com/zlhcsm/NLP_module_demo/tree/master/wordEmbedding/data
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 2]: /images/20230528/6f655351f8b64612aa8e430ba2a6d465.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 3]: /images/20230528/f47432ea016f4d6bbf79890a3d0382ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6enpsZWkxMjMxMjMxMjM_size_16_color_FFFFFF_t_70 4]: /images/20230528/607df885f90d44bb818d8ba2c61f1f74.png
[Link 2]: https://blog.csdn.net/lilong117194/article/details/82849054