Lucene源码(三)：全文检索的底层原理

╰+攻爆jí腚メ 2023-07-25 09:08 12阅读 0赞

### 文章目录 ###

*  IndexSearcher
 *   *  searchAfter
     *   *  CollectorManager
     *  search
     *  createNormalizedWeight
     *  createWeight
 *  TermQuery
 *   *  createWeight
     *  TermWeight
 *  TFIDFSimilarity
 *  BooleanScorer

[Lucene源码(一)：分词器的底层原理][Lucene]  
[Lucene源码(二)：文本相似度TF-IDF原理][Lucene_TF-IDF]

核心代码是下面这几句。`Query query`中存储搜索文本的分词结果。具体在[Lucene源码(一)：分词器的底层原理][Lucene]仔细了解分词的底层原理。

IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get(index)));
    IndexSearcher searcher = new IndexSearcher(reader);
    
    Analyzer analyzer = new StandardAnalyzer();
    QueryParser parser = new QueryParser(field, analyzer);
    Query query = parser.parse(line);
    
    TopDocs results = searcher.search(query, 5 * hitsPerPage);

index是创建的索引目录，filed是索引的字段，5 \* hitsPerPage其实就是搜索返回的最大数量。  
搜索结果存储在result中，如下：筛选出了分数较高的两个文档`ScoreDoc`，doc为文档id，score为匹配分数。详细计算方法[Lucene源码(二)：文本相似度TF-IDF原理][Lucene_TF-IDF]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]

# IndexSearcher #

## searchAfter ##

`TopDocs results = searcher.search(query, 5 * hitsPerPage)`，在`search`方法中，又会进到下面这里来：

第一部分的代码很简单，就是计算出需要遍历的最大数量  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]

### CollectorManager ###

第二部分的代码是创建一个`CollectorManager`实例manage，这个实例的作用是管理collectors（可以理解为数据查询，因为数据结构是树，所以就是收集叶子节点），并且更好的进行并行处理。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]  
这个类需要重写两个方法：

1.  新建collector的方法
2.  对带有结果的所有独立的collector进行聚合

## search ##

![在这里插入图片描述][20200413214004368.png]  
**Lower-level search API**，其实就是新建collector，然后进入另一个search方法，这里需要先执行`createNormalizedWeight`方法  
![在这里插入图片描述][20200413214012332.png]

## createNormalizedWeight ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 3]  
请记住，这里的query是`BooleanQuery`，在`createWeight`里面会进入BooleanWeight的构造方法，在里面又会重新进入`IndexSearcher`的`createWeight`，但这个时候的query是`TermQuery`

## createWeight ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 4]

# TermQuery #

## createWeight ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 5]  
这里的变量termSate是`TermContext`对象，里面存储着**含有单词的文档数量docFreq**和**单词的词频totalTermFreq**，那么前面部分的代码作用就是做这个统计的。

然后进入`TermWeight`的构造方法，但是在`TermQuery`类里面实现的

## TermWeight ##

进来之后，前面都是一些赋值和初始化。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 6]  
接着，看关键代码。`searcher.collectionStatistics`方法统计文档中的所有单词的词频，即所有文档总共有多少个单词，统计结果存储在变量collectionStats中；

第二句的话，就是对象转换了：`TermContext`–>`TermStatistics`  
![在这里插入图片描述][20200413214109131.png]  
最后，就开始计算TF\_IDF了。  
![在这里插入图片描述][20200413214118447.png]

# TFIDFSimilarity #

**Lucene在这个类里面实现TF-IDF计算方法，跟以往的TF-IDF计算是不一样的。所以，如果我们想自定义TF-IDF的计算方式，可以参考这个类重新实现一个TF-IDF的实现类。**

进来`computeWeight`方法之后就跳转到`idfExplain`方法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 7]  
`idfExplain`方法的功能其实就是计算IDF，返回一个`Explanation`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 8]  
计算完idf之后，Lucene还会进行标准化，返回`TFIDFSimilarity`对象  
![在这里插入图片描述][20200413214156992.png]  
最后，一层层return，还记得最终在哪里返回吗…

再梳理一遍，调用链是这么回事

IndexSearch.createNormalizedWeight–>IndexSearcher.createWeight(BooleanQuery)–>BooleanWeight构造器–>IndexSearcher.createWeight(TermQuery)–>TermQuery.createWeight–>TermQuery.TermWeight–>TFIDFSimilarity.computeWeight–>TFIDFSimilarity.IDFStats

所以，最终是返回到了`IndexSearch.createNormalizedWeight`方法里，然后又进行一些IDF标准化处理和加入了一些评分因子，具体看上面`IndexSearch.createNormalizedWeight`截图。

下面就开始计算我们输入的搜索内容跟每个文档的相似度了。

其实，在前面计算好每个Term即单词的TF-IDF值之后，基本上就可以直接得到相似度了，只是把文档中出现的单词的TF-IDF累加起来，即是文档的相似度了，当然这是常规的做法。

**但是Lucene的计算方式不一样，它还引入了文档长度的加权因子，作用就是提高短文档的分数，降低长文档的分数。**

对应到代码中，做法当然是：遍历每个文档，然后进行计算。前面的代码就是获取文档对应的叶子节点了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 9]  
然后，新建一个对象scorer来计算和存储最终的相似度。这里的`BulkScorer`是一个接口类，对应的实现类是`BooleanScorer`，所以，最终是`BooleanScorer.score`方法中完成计算的。  
![在这里插入图片描述][20200413214224946.png]

# BooleanScorer #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 10]  
从代码不难看出，这里实际就是在对每个单词的分数进行累加，核心的算法还是在`TFIDFSimilarity`中计算的，即`scorer.score()`获取分数的方法是`TFIDFSimilarity`实现方法。如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 11]  
这个其实就是TF \* IDF \* 文档长度加权因子（上面提到的）

欢迎关注同名公众号：“我就算饿死也不做程序员”。  
交个朋友，一起交流，一起学习，一起进步。![在这里插入图片描述][20200430115045982.jpg]

[Lucene]: https://blog.csdn.net/sgyuanshi/article/details/105373906
[Lucene_TF-IDF]: https://blog.csdn.net/sgyuanshi/article/details/105498163
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]: /images/20230528/6a4649ede07142089532ff4c8654d2c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]: /images/20230528/6aeeaafdb6d64ba5b0e7628eac6f9551.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]: /images/20230528/c899b6414c234856a25bda4011e427c2.png
[20200413214004368.png]: /images/20230528/ccc9c41801dc4207b484633091a91dac.png
[20200413214012332.png]: /images/20230528/836f16da7ecb4579896deef16caaed77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 3]: /images/20230528/eb15c395f45b4738b6c82882d84c88ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 4]: /images/20230528/58121045907941179372aaf0f23d4438.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 5]: /images/20230528/ed4be200be74441d832f453cb8786143.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 6]: /images/20230528/557eefe9f14e4d2a83e0781b973ab46d.png
[20200413214109131.png]: /images/20230528/84aa08b5f87848a4b7d0ad835380d693.png
[20200413214118447.png]: /images/20230528/907197fd6af24db88c35480b63b87952.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 7]: /images/20230528/27547250f5d942f9adb422bd82bee4c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 8]: /images/20230528/e78dbedfe43940d3888a0ef8a3cdbef2.png
[20200413214156992.png]: /images/20230528/4addb208a2dd49fa9c8db9b0d4dad746.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 9]: /images/20230528/5f14c0b3ca3d4b4f9e14e1a9180d38ec.png
[20200413214224946.png]: /images/20230528/797858186c3d45fca68d6b9fb3b6135e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 10]: /images/20230528/b3951d48c2db4ea4abea69a57d7dbd40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 11]: /images/20230528/b30bb72871234d9da03379487556d88b.png
[20200430115045982.jpg]: /images/20230528/e6223cb3a8764b56b7ba13dd9b6ef8b1.png