Lucene源码(一)：分词器的底层原理

痛定思痛。 2023-07-23 11:54 5阅读 0赞

### 文章目录 ###

*  官方Demo
 *   *  Query
     *  Term
     *  StandardAnalyzer
 *  源码分析
 *   *  QueryBuilder.createFieldQuery
     *  StandardTokenizer
     *  StandardTokenizerImpl

# 官方Demo #

我们先看官方提供的demo代码，从使用demo运行一遍，看看分词之后的结果，然后再对源码进行研究。分词的核心代码其实就是这几句：

Analyzer analyzer = new StandardAnalyzer();
    QueryParser parser = new QueryParser(field, analyzer);
    Query query = parser.parse(line);

代码运行后，我们发现分词的结果存储在变量query 。

## Query ##

`Query`对应实现类`BooleanQuery`。分词之后的结果存储于变量clauses（Collections）中，里面的元素就是分词之后的每个单词即`BooleanClause`实例。

BooleanClause类有一个变量为query(`TermQuery`)–>term(`Term`)，这个term就是我们的单词了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]

## Term ##

field：索引字段  
bytes：单词字符串对应的byte\[\]

## StandardAnalyzer ##

官方的标准分词器**StandardAnalyzer**，它使用了标准分词器对应的分词算法`StandardTokenizer`，然后再加上忽略大小写`LowerCaseFilter`和停用词`StopFilter`的过滤功能`TokenFilter`。

@Override
      protected TokenStreamComponents createComponents(final String fieldName) { 
        final Tokenizer src;
        if (getVersion().onOrAfter(Version.LUCENE_4_7_0)) { 
          StandardTokenizer t = new StandardTokenizer();
          t.setMaxTokenLength(maxTokenLength);
          src = t;
        } else { 
          StandardTokenizer40 t = new StandardTokenizer40();
          t.setMaxTokenLength(maxTokenLength);
          src = t;
        }
        TokenStream tok = new StandardFilter(src);
        tok = new LowerCaseFilter(tok);
        tok = new StopFilter(tok, stopwords);
        return new TokenStreamComponents(src, tok) { 
          @Override
          protected void setReader(final Reader reader) { 
            int m = StandardAnalyzer.this.maxTokenLength;
            if (src instanceof StandardTokenizer) { 
              ((StandardTokenizer)src).setMaxTokenLength(m);
            } else { 
              ((StandardTokenizer40)src).setMaxTokenLength(m);
            }
            super.setReader(reader);
          }
        };
      }

# 源码分析 #

QueryParser parser = new QueryParser(field, analyzer);
    Query query = parser.parse(line);

`QueryParser.parse`是继承`QueryParserBase`，源码如下：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]  
`new FastCharStream(new StringReader(query))`，应该就是把字符串转化为lucene优化过的字节流了；`ReInit`是重新初始化`QueruParser`。

接下来是`TopLevelQuery`，然后看关键代码，我们可以直接跳到`QueryBuilder.createFieldQuery`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]

## QueryBuilder.createFieldQuery ##

在`QueryBuilder`这个实现类中，`createFieldQuery`会生成带有分词结果的`Query`对象。

为了方便理解，我们可以先看代码执行后，`CachingTokenFilter`会缓存分词结果，放在一个cache链表，里面的每个元素就是经过分词之后的每个单词。  
![在这里插入图片描述][20200407211004991.png]  
最后，再把stream缓存的每一个单词转化为对应一个`Query`实例，这个方法就不细说了，有兴趣的可以自己去看源码。  
![在这里插入图片描述][20200407211032387.png]  
`analyzeMultiBoolean`这个方法其实就是如何将`CachingTokenFilter`的分词结果传输到`BooleanQuery`

\-------------------------------继续看源码----------------------------------

首先，看第一部分代码，都是一些初始化，包括分词器`Analyzer`，还有缓存分词结果的`CachingTokenFilter`对象stream变量  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 3]  
然后，第二部分代码，`stream.incrementToken()`这是分词的重点，进入这个方法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 4]  
进入了之后，我们可以看到，像我们上面看到的，会有一个cache链表来存储分词结果。然后，再转化为一个`iterator`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 5]  
那么，显而易见，分词是在`fillCache()`这个方法块里完成的了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 6]

## StandardTokenizer ##

再深入研究，发现来到了`StandardTokenizer`类，这里我们需要知道scanner是实现类`StandardTokenizerImpl`，我们先看`scanner.getText(termAtt)`方法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 7]

## StandardTokenizerImpl ##

`scanner.getText(termAtt)`这里的变量t，即传入的参数**termAtt**有一个属性`termBuffer`，是一个char\[\]，看名字也就可以知道跟**Term**是类似的作用，存放单词的。可以看到，方法的功能是从另一个char数组，根据起始位置和长度来获取当前的单词。那么，其实完成分词的关键就是计算`zzStartRead`和`zzStartRead`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 8]  
这个两个成员变量的计算，跟踪源码，发现是在`scanner.getNextToken()`这里实现的，也就是`StandardTokenizerImpl`实现类的`getNextToken`方法了。所以，最关键的分词算法就是在这里实现，我们可以根据自己的实际情况设计自己的分词算法。

最后，由于根据上面提到的标准分词器`StandardAnalyzer`还使用忽略大小写和停用词的功能，所以，`StandardTokenizerImpl`分词之后的单词还会进行大小写处理和停用词过滤。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][20200407211248641.png]  
欢迎关注同名公众号：“我就算饿死也不做程序员”。  
交个朋友，一起交流，一起学习，一起进步。![在这里插入图片描述][20200430115006953.jpg]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]: /images/20230528/0463b242975d4b56a177591943dccc58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]: /images/20230528/76557a751f184b87ade9c067b64a6d76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]: /images/20230528/c82172c75b894c40b5e5c5da461dabeb.png
[20200407211004991.png]: /images/20230528/a97c9030e7c949aaba9b1757ce1678e7.png
[20200407211032387.png]: /images/20230528/6e0558080e0a4b38b694e86ac11fdb78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 3]: /images/20230528/b958c8aa7ec1478aa4f855153089d06f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 4]: /images/20230528/3d99d7ef6bf54f79bc083e900a1a196e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 5]: /images/20230528/8bd601707254462bb5dd485cca3d02d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 6]: /images/20230528/b9bbdde87eed4218adfeb876f52af573.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 7]: /images/20230528/20c2dfbcc6c343e0a9120bede48bb3f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 8]: /images/20230528/9752fe78c972463eb25c6ee8862f712c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 9]: /images/20230528/a1659a8fd25a43b4a1fe7c8a58a71a9e.png
[20200407211248641.png]: /images/20230528/f19d808b0ad047cda9e3b6f7f2687442.png
[20200430115006953.jpg]: /images/20230528/17e43197e0c34ed3bb7fe47d6b37c73f.png