使用bert将中文文本转化成词向量的方法

向右看齐 2022-03-02 10:44 912阅读 1赞

**方法一：**

[https://github.com/hanxiao/bert-as-service][https_github.com_hanxiao_bert-as-service] 详情参考该github

使用肖涵博士的bert-as-service，这里笔者使用的为python3.5，tensorflow1.13版本，同时还需要pip安装如下几个包，

pip install  bert-serving-server

pip install bert-serving-client

因为bert还需要调用预训练好的中文模型，因此也需要下载，这里给一个下载的百度云盘

链接：https://pan.baidu.com/s/1ijpQ5urwW5T2wH6FqKYIvg   
提取码：9v0a   
随后在cmd进入bert-serving-start.exe所在的文件夹，一般这个文件夹在python安装路径下的Scripts文件夹下

![20190321144810274.png][]

如上所示随后再输入bert-serving-start  -model\_dir E:/chinese\_L-12\_H-768\_A-12

这样就开启了bert-as-service，**但是注意这个cmd窗口千万不要关闭**，之后的操作将转到pycharm中进行，自己创建一个py文件然后输入如下代码，如果产生了向量矩阵则说明配置成功。

from bert\_serving.client import BertClient

bc = BertClient()

bc.encode(\[‘你好‘\])

即可输出“你好”的词向量表示，但是我们一般情况下是使用一个txt文本来直接转化词向量的，所以仅仅这样是不够的

笔者这里用如下代码来转化词向量：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NjYwOTU3_size_16_color_FFFFFF_t_70][]

这样可以将1.txt中的每一行文字转化成词向量表示的矩阵，但是仍然有一个问题，bert默认最大句子的长度为32，去除首尾CLS和SEP则只剩下30个字符，因此这里在处理文本时会出现只能处理一行30个字符的情况，超过30个部分则不会算进去，所以如何在cmd下修改这个bert-as-service的参数是一个问题。

更新：评论区新提出修改参数方法--可以在启动时设置输入序列长度，例如： bert-serving-start -max\_seq\_len 512 -cpu -model\_dir E:\\\\project\\\\NLP\\\\chinese\_L-12\_H-768\_A-12

**方法二：**

另外还有另外一种将文本转化成词向量的方法，即通过自己download  Bert源码来修改代码完成操作

通过在源码中直接调用Bert.encode方法来完成词向量的转化，同时可以在args.py这个配置文件中修改配置来使得上述提到的问题得以解决，如下所示修改序列的最大长度。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NjYwOTU3_size_16_color_FFFFFF_t_70 1][]

这个方法暂时还有一点问题，当输入的文本资源过大时会使得程序报错，因此这里只是给出一个想法，大家可以自己试试，笔者将在之后解决后再更新。

[https_github.com_hanxiao_bert-as-service]: https://github.com/hanxiao/bert-as-service
[20190321144810274.png]: /images/20220302/207d5919a4bf4f67b2f118efc899dcb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NjYwOTU3_size_16_color_FFFFFF_t_70]: /images/20220302/5f1f5749658b4ded9fc970826958261a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NjYwOTU3_size_16_color_FFFFFF_t_70 1]: /images/20220302/733c6ebf7d3c40efbe93d943480c6348.png