中文分词、词类标注、命名实体识别对序列标注算法的应用差异

缺乏、安全感 2022-05-17 23:29 170阅读 0赞

## 原文： [http://www.shizhuolin.com/2018/05/30/2929.html][http_www.shizhuolin.com_2018_05_30_2929.html] ##

## 1 中文分词 ##

目前网络可找到资料的多为3,4,6类型标注, 在无全局归一时（HMM,MEMM均为局部归一, CRF是全局归一），同样的任务,标注类型适当增多可明显得到更优的效果，或许这是因为类型隐含更久远上下文依赖，但这样会增加对标记语料的数量需求。一般使用类型数量为4的BMES标注方法

BMES标注类型说明：

B: 多字成词开始  
M: 多字成词中间  
E: 多字成词结束  
S: 单字成词

可参考 [中文分词词性和序列标注之HMM][HMM] 理解实际应用。

分词特征如用线性模型，则需要手工设置特征模版，只能靠反复尝试，而用bilstm-crf时，需要大量语料预训练word2vec向量, 但这实际上比设置模版扫描更容易实施。

关于分词规范 国家标准GB/T13715-92 《信息处理用现代汉语分词规范》 (从未看过)做语料标注工作需知晓。

> 在各种文章介绍中: BEMS分隔最为常见。

## 2 词类标注 ##

中文词类/性标注请查看参考信息中提供的说明，在网上可公开下载的一般为 98年1月人民日报语料（大约8.8M左右，200万字）。

词类标注特征工程和中文分词不同，在分词时最小元素是字，而词类标注虽然是针对词语序列做标签，可是每个词语的组成成分可能对标签有所影响，特别是在训练语料中缺失某词语时更需要参考词语的组成元素，例如首字，尾字，大小写等。在BI-LSTM-CRF模型中，可将每个词语的字向量输入LSTM(每个词语单独的LSTM网络)然后把其隐层和词向量连接。再接双向lstm->投影层->crf进行序列标注。参考链接2中有示范案例。

> 关于词类具体数量，这个并不定，有些是规范中的26类，有些扩展到40多类，实际工程中以能找到的语料为准（例如人民日报语料）。

## 3 命名实体识别 ##

NER任务目的是识别人名、地名、机构名、MISC；数字：钱、数字、序号、百分比；时间：日期，时间、持续序列、集合等实体。示意标注类型如下：

使用 BIO 三类型标注，B表示实体词开始，I表示实体词内部，O表示外部（不是实体词），在B,I的后接实体类型以区分不同的实体。例如:

<table> 
 <tbody> 
  <tr> 
   <td>三峡</td> 
   <td>旅行社</td> 
   <td>组织</td> 
   <td>小明</td> 
   <td>和</td> 
   <td>其</td> 
   <td>家人</td> 
   <td>到</td> 
   <td>三峡</td> 
   <td>旅游</td> 
  </tr> 
  <tr> 
   <td>B-ORG</td> 
   <td>I-ORG</td> 
   <td>O</td> 
   <td>B-PER</td> 
   <td>O</td> 
   <td>O</td> 
   <td>O</td> 
   <td>O</td> 
   <td>B-LOC</td> 
   <td>O</td> 
  </tr> 
  <tr> 
   <td>组织名称开始</td> 
   <td>组织名称内部</td> 
   <td>&nbsp;</td> 
   <td>人名</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>地名</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

> 如识别数字、时间、货币等类似实体时，可能还需进一步规范标签。

参考:  
\[1\] 现代汉语语料库加工规范 ——词语切分与词性标注 1999 年 3 月版 北京大学计算语言学研究所 http://sighan.cs.uchicago.edu/bakeoff2005/data/pku\_spec.pdf  
\[2\] sequence tagging with tensorflow: https://guillaumegenthial.github.io/sequence-tagging-with-tensorflow.html

[Artificial Intelligence][] [Machine Learning][] [Natural Language Processing][]

[http_www.shizhuolin.com_2018_05_30_2929.html]: http://www.shizhuolin.com/2018/05/30/2929.html
[HMM]: http://www.shizhuolin.com/2018/01/24/1981.html
[Artificial Intelligence]: http://www.shizhuolin.com/category/artificial-intelligence
[Machine Learning]: http://www.shizhuolin.com/category/artificial-intelligence/machine-learning
[Natural Language Processing]: http://www.shizhuolin.com/category/artificial-intelligence/natural-language-processing