【搜索引擎分析策略（Analyzer = Tokenizer + Filter）】种瓜得豆？

太过爱你忘了你带给我的痛 2022-02-20 00:39 149阅读 0赞

## 你晓得伐？Solr的文本分析链 ##

<analyzer type="index或者query">
    	<tokenizer class="solr.StandardTokenizerFactory"/> 只会有一个分词器！
    	<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /> 可以有多个过滤器！
    	<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> 可以有多个过滤器！
    	<filter class="org.apache.lucene.analysis.core.LowerCaseFilterQueryFactory"/> 可以有多个过滤器！
      </analyzer>

<table> 
 <thead> 
  <tr> 
   <th>单词</th> 
   <th>含义</th> 
   <th>拓展</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>term</td> 
   <td>词项</td> 
   <td>被分词器分词出来的独立的词项</td> 
  </tr> 
  <tr> 
   <td>analyzer</td> 
   <td>分析器（整部剧叫做鹿鼎记）</td> 
   <td>一般包含了一个tokenizer和多个filter</td> 
  </tr> 
  <tr> 
   <td>tokenizer</td> 
   <td>分词器（有且只有一个韦小宝）</td> 
   <td>首先，将文档分成一个一个单独的单词，也就是词项</td> 
  </tr> 
  <tr> 
   <td>filter</td> 
   <td>过滤器（韦小宝的妻妾成群）</td> 
   <td>其次，对词项进行自定义处理，比如去除停词，筛选同义词，大写转小写等</td> 
  </tr> 
 </tbody> 
</table>

## 你晓得伐？ES的文本分析步骤 ##

<table> 
 <thead> 
  <tr> 
   <th>步骤</th> 
   <th>描述</th> 
   <th>举例</th> 
   <th>个数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1. 字符过滤（character filtering）</td> 
   <td>调整或者过滤文本字段的字符</td> 
   <td>HTMLStripCharFilter</td> 
   <td>可配置多个字符过滤器</td> 
  </tr> 
  <tr> 
   <td>2. 分词处理（tokenization）</td> 
   <td>原生文本会被转换成一连串的token，基本方法是采用标准分词器，利用“空格”和“标点符号”将文本切分成token。</td> 
   <td>StandardTokenizer</td> 
   <td>任何给定的分析链上，只可能有一个分词器（有且只有一个韦小宝）</td> 
  </tr> 
  <tr> 
   <td>3. token过滤（token filtering）</td> 
   <td>通过对token的添加、删除和修改，对“token流”加以调整</td> 
   <td>LowerCaseFilter，SynonymFilter和StopWordFilter</td> 
   <td>可配置多个token过滤器（韦小宝的妻妾成群）</td> 
  </tr> 
 </tbody> 
</table>

>  *  各个行业，各个垂直领域需要根据具体业务场景选用或者开发适合自己的analyzer，比如Lucene为NLP领域提供的analyzers-opennlp工具包。  
>     [**The Apache OpenNLP library is a machine learning based toolkit for the processing of natural language text.**][The Apache OpenNLP library is a machine learning based toolkit for the processing of natural language text.]
>  *  ES为各种语言提供了简便易用的Analysis Plugins文本分析工具，比如[**ayalysisc-icu和analysis-kuromoji插件**][ayalysisc-icu_analysis-kuromoji]。

## 索引输入 ##

> id,title,name  
> 1234,a the mazhaohui CCC,a the mazhaohui this Apple

## 期望查询结果 ##

> 索引时被过滤的字段（比如停用词），仍然在查询时保留作为查询条件。

## 优化思路 ##

> 1.  fieldType支持配置analyzer作为文本解析器，同时analyzer可以分“index”和“query”两个场景。analyzer中支持配置tokenizer和filter对词项进行定制化操作，比如Solr自带的StandardTokenizer，它是TokenStream类的实现类，各种Filter比如StopFilterFactory和LowerCaseFilter，他们也都是TokenStream的子类（本是同根生，相煎何太急）。
> 2.  每个TokenStream的实现类都必须必须实现incrementToken方法，对词项进行自定义修改。因此可以考虑在query场景的分词过滤器中自定义是否将查询词项过滤或者保留，以实现和索引不一样的分词逻辑。
> 3.  某些查询词项在索引时被分词器或者过滤器过滤，现在需要将某些特定的查询词项保留，使得该查询条件仍然在查询时生效。
> 
>  *  在索引时，可以减少索引的存储量，减少磁盘占用空间，提升索引的性能；
>  *  在查询时，带上了早已被过滤的查询条件，可能带来查询性能的提升，无论是AND（减少结果集，减少带宽占用）还是OR（至少不会增大结果集）操作。

## managed-schema配置分析器 ##

## 设置停词表stopwords.txt ##

> 更新停词表stopwords.txt，更新配置集，索引重新加载配置集，重启Solr服务才能生效。  
> ![停词stopwords.txt][stopwords.txt]

## 本是同根生，相煎何太急 ##

> StandardTokenizer是一个TokenStream，各种Filter比如LowerCaseFilter也是一个TokenStream，也就是说**他们拥有共同的父类**。  
> 每个TokenStream的实现类都必须必须实现incrementToken方法，对词项进行自定义的修改。  
> *Do whatever you want.*  
> ![incrementToken方法][incrementToken]

## 首当其冲的是用StandardTokenizer将词项分出来 ##

> StandardTokenizer的scanner从Reader里逐个读出每个分词出来的词项。
> 
>  *  a
>  *  the
>  *  mazhaohui
>  *  CCC  
>     ![分词出来][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI1NzI1MA_size_16_color_FFFFFF_t_70]  
>     ![StandardTokenizer][]

## 取其精华，去其糟粕 ##

> 在StandardTokenizer和FilteringTokenFilter完成incrementToken之后，“a the mazhaohui”这些停词已经被过滤掉了，  
> 接下来，在LowerCaseFilter的incrementToken（基类TokenStream的抽象方法）成功将词项CCC，转成了小写的ccc。  
> ![ccc][]  
> 因此，最终title字段会索引ccc词项以供查询(indexed)，而a the mazhaohui词项被设置为停词，不会被索引，只会被查询ccc的结果带出(stored)。分词过滤逻辑到此结束，接着由DefaultIndexingChain继续索引流程。  
> ![DefaultIndexingChain继续索引流程][DefaultIndexingChain]

## 样例测试 ##

> 1.  在停词表stopwords.txt中增加abcdefg
> 2.  设置查询条件为title:abcdefg

## 结果展示 ##

> 经过调试可以看到，在索引时会被直接当做停词过滤的词项"abcdefg"，在查询时被当做查询条件接受了。这时词项“abcdefg”就会存活下来，作为查询条件继续后续的查询流程。  
> ![org.apache.lucene.analysis.core.StopFilterQueryFactory][]

## Exception ##

> ClassNotFoundException: solr.StopFilterQueryFactory类找不到？！简写包名看起来不行~  
> ![java.lang.ClassNotFoundException: solr.StopFilterQueryFactory][java.lang.ClassNotFoundException_ solr.StopFilterQueryFactory]

## Solution ##

> managed-schema配置query场景下的分词过滤器，使用刚刚新建出来的StopFilterQueryFactory类，注意写上完整包名。  
> ![org.apache.lucene.analysis.core.StopFilterQueryFactory][org.apache.lucene.analysis.core.StopFilterQueryFactory 1]

## Reference ##

[https://github.com/apache/lucene-solr/blob/master/solr/core/src/test-files/solr/collection1/conf/stopwords.txt][https_github.com_apache_lucene-solr_blob_master_solr_core_src_test-files_solr_collection1_conf_stopwords.txt]  
[https://github.com/magese/ik-analyzer-solr7][https_github.com_magese_ik-analyzer-solr7]  
[https://www.ibm.com/support/knowledgecenter/en/SSZLC2\_9.0.0/com.ibm.commerce.tutorials.doc/tutorial/tsd\_search3\_solrconfig.htm][https_www.ibm.com_support_knowledgecenter_en_SSZLC2_9.0.0_com.ibm.commerce.tutorials.doc_tutorial_tsd_search3_solrconfig.htm]  
[https://www.cnblogs.com/immortal-ghost/p/6954360.html][https_www.cnblogs.com_immortal-ghost_p_6954360.html]

[The Apache OpenNLP library is a machine learning based toolkit for the processing of natural language text.]: http://lucene.apache.org/core/7_7_0/analyzers-opennlp/index.html
[ayalysisc-icu_analysis-kuromoji]: https://blog.csdn.net/weixin_42257250/article/details/97757295
[stopwords.txt]: /images/20220220/b90222c872e243c0a14540e19c6d0ba9.png
[incrementToken]: /images/20220220/1e0013cd3a054529b73432a5ec8749a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI1NzI1MA_size_16_color_FFFFFF_t_70]: /images/20220220/6a10791968354466b2bc246e0a6479c6.png
[StandardTokenizer]: /images/20220220/21c5a0366725466da689afc58c4a975e.png
[ccc]: /images/20220220/bd2bf8ac8e6e46f1b48c03b92c8d7f76.png
[DefaultIndexingChain]: /images/20220220/d091ccff80014c5281a45cba5d6ca8cf.png
[org.apache.lucene.analysis.core.StopFilterQueryFactory]: /images/20220220/cbd8a0aedab84ef7957b2d61e258b762.png
[java.lang.ClassNotFoundException_ solr.StopFilterQueryFactory]: /images/20220220/5221443037e54f3b84da8718541a9758.png
[org.apache.lucene.analysis.core.StopFilterQueryFactory 1]: /images/20220220/49647573a9a644e3ad67a1d53a74a6c7.png
[https_github.com_apache_lucene-solr_blob_master_solr_core_src_test-files_solr_collection1_conf_stopwords.txt]: https://github.com/apache/lucene-solr/blob/master/solr/core/src/test-files/solr/collection1/conf/stopwords.txt
[https_github.com_magese_ik-analyzer-solr7]: https://github.com/magese/ik-analyzer-solr7
[https_www.ibm.com_support_knowledgecenter_en_SSZLC2_9.0.0_com.ibm.commerce.tutorials.doc_tutorial_tsd_search3_solrconfig.htm]: https://www.ibm.com/support/knowledgecenter/en/SSZLC2_9.0.0/com.ibm.commerce.tutorials.doc/tutorial/tsd_search3_solrconfig.htm
[https_www.cnblogs.com_immortal-ghost_p_6954360.html]: https://www.cnblogs.com/immortal-ghost/p/6954360.html