开源中文分词Ansj的简单使用

心已赠人 2023-10-14 10:44 115阅读 0赞

ANSJ是由孙健（ansjsun）开源的一个[中文分词][Link 1]器，为[ICTLAS的Java版本][ICTLAS_Java]，也采用了Bigram + HMM分词模型：在Bigram分词的基础上，识别未登录词，以提高分词准确度。

虽然基本分词原理与ICTLAS的一样，但是Ansj做了一些工程上的优化，比如：用[DAT][]高效地实现检索词典、[邻接表][Link 2]实现分词DAG、支持自定义词典与自定义消歧义规则等。

# 1.项目地址 #

项目的github地址：https://github.com/NLPchina/ansj\_seg  
项目的文档地址：http://nlpchina.github.io/ansj\_seg/

# 2.导入 #

## 2.1依赖 ##

Ansj最新依赖包是5.1.6版本的，2018年更新的，最近已经不更新了：

> <dependency>  
> <groupId>org.ansj</groupId>  
> <artifactId>ansj\_seg</artifactId>  
> <version>5.1.6</version>  
> </dependency>

## 2.2 配置文件 ##

> 在ansj中配置文件名为`library.properties`，这是一个不可更改的约定。下面让我们看看都有哪些选项在这个配置文件中：

<table> 
 <thead> 
  <tr> 
   <th>字段名</th> 
   <th>默认值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>isNameRecognition</td> 
   <td>true</td> 
   <td>是否开启人名识别</td> 
  </tr> 
  <tr> 
   <td>isNumRecognition</td> 
   <td>true</td> 
   <td>是否开启数字识别</td> 
  </tr> 
  <tr> 
   <td>isQuantifierRecognition</td> 
   <td>true</td> 
   <td>是否数字和量词合并</td> 
  </tr> 
  <tr> 
   <td>isRealName</td> 
   <td>false</td> 
   <td>是否取得真实的词,默认情况会取得标注化后的</td> 
  </tr> 
  <tr> 
   <td>isSkipUserDefine</td> 
   <td>false</td> 
   <td>是否用户辞典不加载相同的词</td> 
  </tr> 
  <tr> 
   <td>dic</td> 
   <td>"library/default.dic"</td> 
   <td>自定义词典路径</td> 
  </tr> 
  <tr> 
   <td>dic_[key]</td> 
   <td>"你的词典路径"</td> 
   <td>针对不同语料调用不同的自定义词典</td> 
  </tr> 
  <tr> 
   <td>ambiguity</td> 
   <td>"library/ambiguity.dic"</td> 
   <td>歧义词典路径</td> 
  </tr> 
  <tr> 
   <td>ambiguity_[key]</td> 
   <td>"library/ambiguity.dic"</td> 
   <td>歧义词典路径</td> 
  </tr> 
  <tr> 
   <td>crf</td> 
   <td>null</td> 
   <td>crf词典路径,不设置为默认</td> 
  </tr> 
  <tr> 
   <td>crf_[key]</td> 
   <td>"你的模型路径"</td> 
   <td>针对不同语料调用不同的分词模型</td> 
  </tr> 
  <tr> 
   <td>synonyms</td> 
   <td>"默认的同义词典"</td> 
   <td>针对不同语料调用不同的分词模型</td> 
  </tr> 
  <tr> 
   <td>synonyms_[key]</td> 
   <td>"你的同义词典路径"</td> 
   <td>针对不同语料调用不同的分词模型</td> 
  </tr> 
 </tbody> 
</table>

默认的配置文件格式：

>     #path of userLibrary this is default library
>     dic=library/default.dic
>     
>     #redress dic file path
>     ambiguityLibrary=library/ambiguity.dic
>     
>     #set real name
>     isRealName=true
>     
>     #isNameRecognition default true
>     isNameRecognition=true
>     
>     #isNumRecognition default true
>     isNumRecognition=true
>     
>     #digital quantifier merge default true
>     isQuantifierRecognition=true

# 3.分词实现 #

## 3.1 ToAnalysis 精准[分词][Link 3] ##

> 精准分词是Ansj分词的***推荐款***
> 
> 它在易用性、稳定性、准确性以及分词效率上，都取得了一个不错的平衡。如果你初次尝试Ansj想开箱即用，那么就用这个分词方式是不会错的。

## 3.2 DicAnalysis 用户自定义词典优先策略的分词 ##

> 用户自定义词典优先策略的分词。如果你的用户自定义词典足够好，或者你的需求对用户自定义词典的要求比较高，那么强烈建议你使用DicAnalysis的分词方式。
> 
> 可以说在很多方面Dic优于ToAnalysis的结果。

## 3.3 NlpAnalysis 带有新词发现功能的分词 ##

> nlp分词是总能给你惊喜的一种分词方式。
> 
> 它可以识别出未登录词，但是它也有它的缺点：速度比较慢、稳定性差。ps：我这里说的慢仅仅是和自己的其他方式比较，应该是40w字每秒的速度吧。
> 
> 个人觉得nlp的适用方式：语法实体名抽取、未登录词整理、对文本进行发现分析等工作

## 3.4 IndexAnalysis 面向索引的分词 ##

> 面向索引的分词。顾名思义就是适合在lucene等文本检索中用到的分词。主要考虑以下两点
> 
>  *  召回率
>     
>      *  召回率是对分词结果尽可能的涵盖。比如对“上海虹桥机场南路” 召回结果是\[上海/ns, 上海虹桥机场/nt, 虹桥/ns, 虹桥机场/nz, 机场/n, 南路/nr\]
>  *  准确率
>     
>      *  其实这和召回本身是具有一定矛盾性的Ansj的强大之处是很巧妙的避开了这两个的冲突 。比如我们常见的歧义句“旅游和服务”->对于一般保证召回 。大家会给出的结果是“旅游 和服 服务” 对于ansj不存在跨term的分词。意思就是。召回的词只是针对精准分词之后的结果的一个细分。比较好的解决了这个问题

## 3.5 BaseAnalysis 最小颗粒度的分词 ##

> 基本就是保证了最基本的分词。词语***颗粒度最非常小***的，所涉及到的词大约是***10万***左右。
> 
> 基本分词速度非常快。在macAir上，能到每秒300w字每秒。同时准确率也很高，但是对于新词他的功能十分有限。

## 3.6 功能统计 ##

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>用户自定义词典</th> 
   <th>数字识别</th> 
   <th>人名识别</th> 
   <th>机构名识别</th> 
   <th>新词发现</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>BaseAnalysis</td> 
   <td>X</td> 
   <td>X</td> 
   <td>X</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>ToAnalysis</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>DicAnalysis</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>IndexAnalysis</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>NlpAnalysis</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
  </tr> 
 </tbody> 
</table>

# 4、使用实例 #

## 4.1 分词demo ##

package com.*;
    
    import org.ansj.splitWord.analysis.*;
    import org.junit.Test;
    
    import java.util.*;
    
    /**
     * @author 
     * @date 2023-07-26 15:29
     */
    public class SegTest {
        @Test
        public void test(){
            String str = "ANSJ是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram + HMM分词模型：在Bigram分词的基础上，识别未登录词，以提高分词准确度。" ;
            System.out.println(BaseAnalysis.parse(str));
            System.out.println(ToAnalysis.parse(str));
            System.out.println(DicAnalysis.parse(str));
            System.out.println(IndexAnalysis.parse(str));
            System.out.println(NlpAnalysis.parse(str));
        }
    }

分词结果：

BaseAnalysis

> ANSJ/en,是/v,由/p,孙健/nr,（/w,ansjsun/en,）/w,开源/v,的/u,一个/m,中文/nz,分词/v,器/ng,，/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,，/w,也/d,采用/v,了/u,Bigram/en, ,+/w, ,HMM/en,分词/v,模型/n,：/w,在/p,Bigram/en,分词/v,的/u,基础/n,上/f,，/w,识别/v,未/d,登录/vn,词/n,，/w,以/p,提高/v,分词/v,准确度/n,。/w

ToAnalysis：

> ANSJ/en,是/v,由/p,孙健/nr,（/w,ansjsun/en,）/w,开源/v,的/u,一个/m,中文/nz,分词器/n,，/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,，/w,也/d,采用/v,了/u,Bigram/en, ,+/w, ,HMM/en,分词/v,模型/n,：/w,在/p,Bigram/en,分词/v,的/u,基础/n,上/f,，/w,识别/v,未/d,登录/vn,词/n,，/w,以/p,提高/v,分词/v,准确度/n,。/w

DicAnalysis：

> ANSJ/en,是/vshi,由/p,孙健/nr,（/w,ansjsun/en,）/w,开源/v,的/ude1,一个/mq,中文/nz,分词器/n,，/w,为/p,ICTLAS/en,的/ude1,Java/en,版本/n,，/w,也/d,采用/v,了/ule,Bigram/en, ,+/w, ,HMM/en,分词/v,模型/n,：/w,在/p,Bigram/en,分词/v,的/ude1,基础/n,上/f,，/w,识别/vn,未/d,登录/v,词/n,，/w,以/p,提高/v,分词/v,准确度/n,。/w

IndexAnalysis：

> ANSJ/en,是/v,由/p,孙健/nr,孙/ng,健/ag,（/w,ansjsun/en,）/w,开源/v,开/v,源/ng,的/u,一个/m,一/m,个中/r,个/q,中文/nz,中/f,文/ng,分词器/n,分词/v,分/qt,词/n,器/ng,，/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,版/n,本/rz,，/w,也/d,采用/v,采/v,用/p,了/u,Bigram/en, ,+/w, ,HMM/en,分词/v,分/qt,词/n,模型/n,模/ng,型/k,：/w,在/p,Bigram/en,分词/v,分/qt,词/n,的/u,基础/n,基/ng,础/ng,上/f,，/w,识别/v,识/v,别/d,未/d,登录/vn,登/v,录/ng,词/n,，/w,以/p,提高/v,提/v,高分/n,高/a,分词/v,分/qt,词/n,准确度/n,准确/a,准/a,确/d,度/qv,。/w

NlpAnalysis ：

>     ANSJ/en,是/v,由/p,孙健/nr,（/w,ansjsun/en,）/w,开源/v,的/u,一个/m,中文/nz,分词器/n,，/w,为/p,ICTLAS/en,的/u,Java/en,版本/n,，/w,也/d,采用/v,了/u,Bigram/en, ,+/w, ,HMM/en,分词/v,模型/n,：/w,在/p,Bigram/en,分词/v,的/u,基础/n,上/f,，/w,识别/v,未/d,登录/vn,词/n,，/w,以/p,提高/v,分词/v,准确度/n,。/w

## 4.2 使用demo ##

以ToAnalysis为例，其它方法大同小异：

public static void main(String[] args) {
            String str = "欢迎使用ansj_seg,(ansj中文分词)在这里如果你遇到什么问题都可以联系我!" ;
            Result result = ToAnalysis.parse(str); //分词结果的一个封装，主要是一个List<Term>的terms
            System.out.println(result.getTerms());
    
            List<Term> terms = result.getTerms(); //拿到terms
            System.out.println(terms.size());
    
            for(int i=0; i<terms.size(); i++) {
                String word = terms.get(i).getName(); //拿到词
                String natureStr = terms.get(i).getNatureStr(); //拿到词性
                System.out.println(word + ":" + natureStr);
            }
        }

基本使用方法分为几下几步：

1、使用ToAnalysis.parse(str)将字符串进行分词，会返回一个Result，分词的结果就在它里面。

2、然后继续result.getTerms()获得分词结果的内容，因为是返回的多个分词，所以最终获得的是一个List。

3、然后遍历它，term.getName()获得的是词，term.getNatureStr()拿到的是这个词的词性。

## 4.3 个性化定制分词词典 ##

### 4.3.1 自定义常用词典 ###

*  创建一个名为userLibrary.dic的文件，内容如下：

> 5G n 1000
> 
> 哈利·波特 n 1000

第一个是词语，第二个是词性，第三个是权重。词性这里大家不用关注，编号以此类推即可，不要重复，各个以缩进（\\t）分隔。

*  加载自定义词典

>     // 配置自定义词典的位置。注意是绝对路径
>     MyStaticValue.ENV.put(DicLibrary.DEFAULT,System.getProperty("user.dir")+"/library/dictionary/userLibrary.dic");

### 4.3.2 自定义停用词典 ###

*  创建一个名为stopLibrary.dic的文件，内容如下：

> 啊  
> 阿  
> 哎  
> 唉  
> 俺  
> 按  
> 吧

直接写停用词，每一行写一个。

*  加载自定义词库

>     //去停用词
>     List<String> stopWords = getStopWords(System.getProperty("user.dir") + "/library/stopLibrary.dic");
>     StopRecognition filter = new StopRecognition(); 
>     filter.insertStopWords(stopWords);
> 
> String str = "欢迎使用ansj\_seg,(ansj中文分词)在这里如果你遇到什么问题都可以联系我!" ;
> 
> //分词结果的一个封装，recognition增加分词过滤
> 
> Result result = ToAnalysis.parse(str).recognition(filter);  
> System.out.println(result.getTerms());

### 4.3.3 自主添加个别词 ###

> DicLibrary.insert(DicLibrary.DEFAULT, "抠图")；
> 
> DicLibrary.insert(DicLibrary.DEFAULT,"抠图","n",1000);

### 4.3.4 歧义纠正词典 ###

歧义纠正是Ansj分词的最后最后的大招了，杀伤力巨大，谨慎使用，极可能造成其他的错误。

很多时候，分词发生歧异不是很好调整，用户需要更强的规则来约束所以ansj中增加了歧异消除的一个强规则方式。

*  创建一个名为library/ambiguity.dic 的文件，内容格式如下：

> 三个 m 和尚 n
> 
> 动漫 n 游戏 n
> 
> 李民 nr 工作 vn

第一列是识别串，第二列是分词结果，奇数行是词，偶数行是词性。这里例子告诉计算机：如果你发现 "李民工作"---> "李/民工/作" 纠正为 --->"李民/工作/" 这种类型

> **ps：这个是优先分词运行的.所以添加时候要谨慎。**

*  在配置文件中设置ambiguity.dic 的路径

> ambiguityLibrary=library/ambiguity.dic

*  也可以用 MyStaticValue.ambiguityLibrary = "library/ambiguity.dic" 来设定；
 *  也可动态添加歧义纠正词典：

System.out.println(ToAnalysis.parse("据说川府办发的发文很厉害"));
    
            //歧义纠正
            Value value = new Value("川府办", "川府办", "n");
            Library.insertWord(AmbiguityLibrary.get(), value);
    
            System.out.println(ToAnalysis.parse("据说川府办发的发文很厉害"));;

运行结果：

> 据说/v,川/j,府/ng,办发/j,的/u,发文/v,很/d,厉害/a  
> 据说/v,川府办/n,发/v,的/u,发文/v,很/d,厉害/a

[Link 1]: https://so.csdn.net/so/search?q=%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D&spm=1001.2101.3001.7020
[ICTLAS_Java]: http://www.iteye.com/magazines/102
[DAT]: http://www.cnblogs.com/en-heng/p/6265256.html
[Link 2]: https://so.csdn.net/so/search?q=%E9%82%BB%E6%8E%A5%E8%A1%A8&spm=1001.2101.3001.7020
[Link 3]: https://so.csdn.net/so/search?q=%E5%88%86%E8%AF%8D&spm=1001.2101.3001.7020