Lucene提供的几种分词器

╰+哭是因爲堅強的太久メ 2024-04-19 13:22 73阅读 0赞

## 1、几种lucene提供的分词器 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdhbmcxMjIz_size_16_color_FFFFFF_t_70]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdhbmcxMjIz_size_16_color_FFFFFF_t_70 1]  
下面是几种分词器的代码实现示例。

import org.apache.lucene.analysis.*;
    import org.apache.lucene.analysis.cjk.CJKAnalyzer;
    import org.apache.lucene.analysis.core.KeywordAnalyzer;
    import org.apache.lucene.analysis.core.SimpleAnalyzer;
    import org.apache.lucene.analysis.core.StopAnalyzer;
    import org.apache.lucene.analysis.core.WhitespaceAnalyzer;
    import org.apache.lucene.analysis.standard.StandardAnalyzer;
    import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
    import org.apache.lucene.document.Document;
    import org.apache.lucene.index.IndexWriter;
    import org.apache.lucene.index.IndexWriterConfig;
    import org.apache.lucene.store.FSDirectory;
    
    
    import java.io.IOException;
    import java.io.StringReader;
    import java.nio.file.Paths;
    
    /**
     * Created by grant on 2019/9/18.
     */
    public class VariousAnalyzer{
        private static String str = "中华人民共和国简称中国, 是一个有13亿人口的国家";
        public static void main(String[] args) throws IOException {
            //标准分词器
            Analyzer analyzer = null;
    
            analyzer = new StandardAnalyzer();
            System.out.println("标准分词：" + analyzer.getClass());
            printAnalyzer(analyzer);
    
            //空格分词
            analyzer = new WhitespaceAnalyzer();
            System.out.println("空格分词：" + analyzer.getClass());
            printAnalyzer(analyzer);
    
            //简单分词
            analyzer = new SimpleAnalyzer();
            System.out.println("简单分词：" + analyzer.getClass());
            printAnalyzer(analyzer);
    
            //二分法分词
            analyzer = new CJKAnalyzer();
            System.out.println("二分法分词：" + analyzer.getClass());
            printAnalyzer(analyzer);
    
            //关键词分词
            analyzer = new KeywordAnalyzer();
            System.out.println("关键词分词："+ analyzer.getClass());
            printAnalyzer(analyzer);
    
            //停用词分词
            analyzer = new StopAnalyzer();
            System.out.println("停用词分词："+ analyzer.getClass());
            printAnalyzer(analyzer);
        }
    
        public static void printAnalyzer(Analyzer analyzer) throws IOException {
            StringReader reader = new StringReader(str);
    
            TokenStream toStream = analyzer.tokenStream(str,reader);
            toStream.reset();//清空流
            CharTermAttribute teAttribute = toStream.getAttribute(CharTermAttribute.class);
            while (toStream.incrementToken()){
                System.out.print(teAttribute.toString() +"|");
            }
            System.out.println("\n");
            analyzer.close();
        }
    }

分词结果

标准分词：class org.apache.lucene.analysis.standard.StandardAnalyzer
    中|华|人|民|共|和|国|简|称|中|国|是|一|个|有|13|亿|人|口|的|国|家|
    
    空格分词：class org.apache.lucene.analysis.core.WhitespaceAnalyzer
    中华人民共和国简称中国,|是一个有13亿人口的国家|
    
    简单分词：class org.apache.lucene.analysis.core.SimpleAnalyzer
    中华人民共和国简称中国|是一个有|亿人口的国家|
    
    二分法分词：class org.apache.lucene.analysis.cjk.CJKAnalyzer
    中华|华人|人民|民共|共和|和国|国简|简称|称中|中国|是一|一个|个有|13|亿人|人口|口的|的国|国家|
    
    关键词分词：class org.apache.lucene.analysis.core.KeywordAnalyzer
    中华人民共和国简称中国, 是一个有13亿人口的国家|
    
    停用词分词：class org.apache.lucene.analysis.core.StopAnalyzer
    中华人民共和国简称中国|是一个有|亿人口的国家|

## 2、两种典型应用广泛的中文分词器 ##

public class IKvsSmartAnalyzer {
       private static String str1 = "公路局正在治理解放大道路面积水问题";
       private static String str2 = "IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包";
    
        public static void main(String[] args) throws IOException {
            Analyzer analyzer = null;
            System.out.println("句子一："+str1);
            System.out.println("SmartChineseAnalyzer分词结果：");
            analyzer = new SmartChineseAnalyzer();
            printAnalyzer(analyzer,str1);
            System.out.println("IKAnalyzer分词结果：");
            analyzer = new IKAnalyzer(true);
            printAnalyzer(analyzer,str1);
            System.out.println("------------------");
            System.out.println("句子二 "+ str1);
            System.out.println("SmartChineseAnalyzer分词结果：");
            analyzer = new SmartChineseAnalyzer();
            printAnalyzer(analyzer,str2);
            System.out.println("IKAnalyzer分词结果：");
            analyzer = new IKAnalyzer(true);
            printAnalyzer(analyzer,str2);
            analyzer.close();
        }
        public static void printAnalyzer(Analyzer analyzer,String str) throws IOException {
            StringReader reader = new StringReader(str);
    
            TokenStream toStream = analyzer.tokenStream(str,reader);
            toStream.reset();//清空流
            CharTermAttribute teAttribute = toStream.getAttribute(CharTermAttribute.class);
            while (toStream.incrementToken()){
                System.out.print(teAttribute.toString() +"|");
            }
            System.out.println("\n");
            analyzer.close();
    
        }
    }

句子一：公路局正在治理解放大道路面积水问题
    SmartChineseAnalyzer分词结果：
    公路局|正|在|治理|解放|大|道路|面积|水|问题|
    
    IKAnalyzer分词结果：
    公路局|正在|治理|大道|路面|积水|问题|
    
    ------------------
    句子二 IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包
    SmartChineseAnalyzer分词结果：
    ikanalyz|是|一个|开|源|的|基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|
    
    IKAnalyzer分词结果：
    ikanalyzer|是|一个|开源|的|基于|java|语言|开发|的|轻量级|中文|分词|工具包|

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdhbmcxMjIz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190918191127247.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdhbmcxMjIz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdhbmcxMjIz_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7d97e3439e644090a94d0483f1850036.png