自然语言处理(NLP)-第三方库(工具包)：CRF++【通用领域命名实体识别库】【CRF++是CRF算法的一个实现】【在专业领域（电商、医药等）中的效果不好】

本是古典何须时尚 2023-09-29 13:13 1阅读 0赞

![在这里插入图片描述][61b7ee21635846beb1ad7c0fb2fe0cd1.png_pic_center]

## 一、CRF原理 ##

![在这里插入图片描述][9c8d5cdf4c4c4bc49723f6e995d3c085.png]

## 二、利用CRF++进行实体识别的流程 ##

利用crf++进行实体识别的流程

*  确定标签体系；
 *  确定特征模板文件；
 *  处理训练数据文件；
 *  模型训练。

### 1、确定标签体系 ###

![在这里插入图片描述][e2c578c46b3e4b6793a09152ddd8cfc4.png]  
大部分情况下，标签体系越复杂准确度也越高，但相应的训练时间也会增加。因此需要根据实际情况选择合适的标签体系。

### 2、确定模板文件 ###

特征模版是一个文本文件，其内容如下所示，其中每行表示一个特征。如下模板使用了unigram特征，并且仅以字符本身作为特征而不考虑其他特征。除当前字符外，还使用了其前后3个字，以及上下文的组合作为特征。CRF++会根据特征模版生成相关的特征函数。关于特征模版的详细解释可以查看官网文档，并且对于特征的选择和设计可以灵活配置。

#Unigram
    U00:%x[-2,0]
    U01:%x[-1,0]
    U02:%x[0,0]
    U03:%x[1,0]
    U04:%x[2,0]
    U5:%x[-2,0]/%x[-1,0]
    U6:%x[-1,0]/%x[0,0]
    U7:%x[0,0]/%x[1,0]
    U8:%x[1,0]/%x[2,0]

### 3、处理训练数据文件 ###

CRF模型的训练数据是一行一个token，一句话由多行token组成，如下图所示。  
![在这里插入图片描述][fddce18d96e9447ea60f1165560e794a.png_pic_center]

### 4、训练数据及测试数据 ###

a) 训练命令：crf\_learn template\_file train\_file model

其中template\_file是模板文件，train\_file是训练语料，都需要事先准备好；model是CRF++根据模板和训练语料生成的文件，用于解码。

b) 测试命令：crf\_test -m model\_file test\_file > result\_file

其中 model\_file是刚才生成的model文件，test\_file是待测试语料，“>result\_file”是重定向语句，指将屏幕输出直接输出到文件result\_file中。

结合规则进行改进

同一实体内不同字间的类型不同，则以字类数较多者为  
实体开头的字必定为B-???格式  
实体的开始和结尾都有特定的特征可以遵循（如停用词、动词等作为分界等）  
固定实体后跟实体应为B-???格式（如省名后）  
5. 实体间间隔较小时可能合并为同一实体

--------------------

参考资料：  
[CRF++详解][CRF]  
[什么是crf][crf]  
[CRF及其特征函数理解（基于CRF++）][CRF_CRF]  
[CRF++的理解及介绍][CRF 1]  
[CRF 及CRF++ 安装与解释][CRF _CRF_]  
[CRF原理和CRF++ 安装与使用][CRF_CRF_]  
[CRF++][CRF 2]

[61b7ee21635846beb1ad7c0fb2fe0cd1.png_pic_center]: https://img-blog.csdnimg.cn/61b7ee21635846beb1ad7c0fb2fe0cd1.png#pic_center
[9c8d5cdf4c4c4bc49723f6e995d3c085.png]: https://img-blog.csdnimg.cn/9c8d5cdf4c4c4bc49723f6e995d3c085.png
[e2c578c46b3e4b6793a09152ddd8cfc4.png]: https://img-blog.csdnimg.cn/e2c578c46b3e4b6793a09152ddd8cfc4.png
[fddce18d96e9447ea60f1165560e794a.png_pic_center]: https://img-blog.csdnimg.cn/fddce18d96e9447ea60f1165560e794a.png#pic_center
[CRF]: https://blog.csdn.net/qiaoxiaoming2000/article/details/42965961
[crf]: https://www.bbsmax.com/A/Ae5RL4nrzQ/
[CRF_CRF]: https://zhuanlan.zhihu.com/p/51020093
[CRF 1]: https://blog.csdn.net/weixin_45072810/article/details/108131921
[CRF _CRF_]: https://liuhuiyao.blog.csdn.net/article/details/54603926
[CRF_CRF_]: https://blog.csdn.net/u014628146/article/details/90243828
[CRF 2]: https://blog.csdn.net/Lord_sh/article/details/85712703