Elasticsearch - 指定分析器

素颜马尾好姑娘i 2022-06-16 01:44 202阅读 0赞

# 分析器 #

## 简介 ##

全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)；这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。 引擎会建立Term和原文档的Inverted Index(倒排索引)， 这样就能根据Term很快到找到源文档了。 文本被Tokenizer处理前可能要做一些预处理， 比如去掉里面的HTML标记， 这些处理的算法被称为Character Filter(字符过滤器)， 这整个的分析算法被称为Analyzer(分析器)。

ES内置了很多Analyzer, 还有很多第三方的Analyzer插件， 比如一些处理中文的Analyzer(中文分词)。

analyzer、 tokenizer、 filter可以在elasticsearch.yml 配置， 下面是配置例子

index :
        analysis :
            analyzer :
                standard :
                    type : standard
                    stopwords : [stop1, stop2]
                myAnalyzer1 :
                    type : standard
                    stopwords : [stop1, stop2, stop3]
                    max_token_length : 500
                # configure a custom analyzer which is
                # exactly like the default standard analyzer
                myAnalyzer2 :
                    tokenizer : standard
                    filter : [standard, lowercase, stop]
            tokenizer :
                myTokenizer1 :
                    type : standard
                    max_token_length : 900
                myTokenizer2 :
                    type : keyword
                    buffer_size : 512
            filter :
                myTokenFilter1 :
                    type : stop
                    stopwords : [stop1, stop2, stop3, stop4]
                myTokenFilter2 :
                    type : length
                    min : 0
                    max : 2000

analyzer：ES内置若干analyzer, 另外还可以用内置的character filter, tokenizer, token filter组装一个analyzer(custom analyzer)， 比如

index :
        analysis :
            analyzer :
                myAnalyzer :
                    tokenizer : standard
                    filter : [standard, lowercase, stop]

如果你要使用第三方的analyzer插件，需要先在配置文件elasticsearch.yml中注册, 下面是配置IkAnalyzer的例子

index:
      analysis:
        analyzer:      
          ik:
              alias: [ik_analyzer]
              type: org.elasticsearch.index.analysis.IkAnalyzerProvider

当一个analyzer在配置文件中被注册到一个名字(logical name)下后，在mapping定义或者一些API里就可以用这个名字来引用该analyzer了，比如

"message": {
        "type": "string",
        "indexAnalyzer": "ik",
        "searchAnalyzer": "ik"
    }

如果没有指定索引和搜索用的analyzer，ES会用默认的analyzer来处理，也就是名字(logical name)为`default`, `default_index`, `default_search`的analyzer。

从名字可以看出来，`default`是索引和搜索时用的默认的analyzer，`default_index`是索引时用的默认的analyzer， `default_search`是查询时用的默认analyzer。

下面是在elasticsearch.yml中配置默认analyzer的例子

index:
    
      analysis:
    
        analyzer:
    
            default_index:
    
                tokenizer: standard
    
                filter: [standard, lowercase, my_synonym, my_snow]
    
            default_search:
    
                tokenizer: standard
    
                filter: [standard, lowercase, stop]

ES内置的一些analyzer。

<table> 
 <thead> 
  <tr> 
   <th>analyzer</th> 
   <th align="center">logical name</th> 
   <th align="left">description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>standard analyzer</td> 
   <td align="center">standard</td> 
   <td align="left">standard tokenizer, standard filter, lower case filter, stop filter</td> 
  </tr> 
  <tr> 
   <td>simple analyzer</td> 
   <td align="center">simple</td> 
   <td align="left">lower case tokenizer</td> 
  </tr> 
  <tr> 
   <td>stop analyzer</td> 
   <td align="center">stop</td> 
   <td align="left">lower case tokenizer, stop filter</td> 
  </tr> 
  <tr> 
   <td>keyword analyzer</td> 
   <td align="center">keyword</td> 
   <td align="left">不分词，内容整体作为一个token(not_analyzed)</td> 
  </tr> 
  <tr> 
   <td>pattern analyzer</td> 
   <td align="center">whitespace</td> 
   <td align="left">正则表达式分词，默认匹配\W+</td> 
  </tr> 
  <tr> 
   <td>language analyzers</td> 
   <td align="center"><a href="http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html" rel="nofollow">lang</a></td> 
   <td align="left">各种语言</td> 
  </tr> 
  <tr> 
   <td>snowball analyzer</td> 
   <td align="center">snowball</td> 
   <td align="left">standard tokenizer, standard filter, lower case filter, stop filter, snowball filter</td> 
  </tr> 
  <tr> 
   <td>custom analyzer</td> 
   <td align="center">custom</td> 
   <td align="left">一个Tokenizer, 零个或多个Token Filter, 零个或多个Char Filter</td> 
  </tr> 
 </tbody> 
</table>

tokenizer：ES内置的tokenizer列表。

<table> 
 <thead> 
  <tr> 
   <th>tokenizer</th> 
   <th align="center">logical name</th> 
   <th align="left">description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>standard tokenizer</td> 
   <td align="center">standard</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>edge ngram tokenizer</td> 
   <td align="center">edgeNGram</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>keyword tokenizer</td> 
   <td align="center">keyword</td> 
   <td align="left">不分词</td> 
  </tr> 
  <tr> 
   <td>letter analyzer</td> 
   <td align="center">letter</td> 
   <td align="left">按单词分</td> 
  </tr> 
  <tr> 
   <td>lowercase analyzer</td> 
   <td align="center">lowercase</td> 
   <td align="left">letter tokenizer, lower case filter</td> 
  </tr> 
  <tr> 
   <td>ngram analyzers</td> 
   <td align="center">nGram</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>whitespace analyzer</td> 
   <td align="center">whitespace</td> 
   <td align="left">以空格为分隔符拆分</td> 
  </tr> 
  <tr> 
   <td>pattern analyzer</td> 
   <td align="center">pattern</td> 
   <td align="left">定义分隔符的正则表达式</td> 
  </tr> 
  <tr> 
   <td>uax email url analyzer</td> 
   <td align="center">uax_url_email</td> 
   <td align="left">不拆分url和email</td> 
  </tr> 
  <tr> 
   <td>path hierarchy analyzer</td> 
   <td align="center">path_hierarchy</td> 
   <td align="left">处理类似<code>/path/to/somthing</code>样式的字符串</td> 
  </tr> 
 </tbody> 
</table>

token filter：ES内置的token filter列表。

<table> 
 <thead> 
  <tr> 
   <th>token filter</th> 
   <th align="center">logical name</th> 
   <th align="left">description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>standard filter</td> 
   <td align="center">standard</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>ascii folding filter</td> 
   <td align="center">asciifolding</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>length filter</td> 
   <td align="center">length</td> 
   <td align="left">去掉太长或者太短的</td> 
  </tr> 
  <tr> 
   <td>lowercase filter</td> 
   <td align="center">lowercase</td> 
   <td align="left">转成小写</td> 
  </tr> 
  <tr> 
   <td>ngram filter</td> 
   <td align="center">nGram</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>edge ngram filter</td> 
   <td align="center">edgeNGram</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>porter stem filter</td> 
   <td align="center">porterStem</td> 
   <td align="left">波特词干算法</td> 
  </tr> 
  <tr> 
   <td>shingle filter</td> 
   <td align="center">shingle</td> 
   <td align="left">定义分隔符的正则表达式</td> 
  </tr> 
  <tr> 
   <td>stop filter</td> 
   <td align="center">stop</td> 
   <td align="left">移除 stop words</td> 
  </tr> 
  <tr> 
   <td>word delimiter filter</td> 
   <td align="center">word_delimiter</td> 
   <td align="left">将一个单词再拆成子分词</td> 
  </tr> 
  <tr> 
   <td>stemmer token filter</td> 
   <td align="center">stemmer</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>stemmer override filter</td> 
   <td align="center">stemmer_override</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>keyword marker filter</td> 
   <td align="center">keyword_marker</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>keyword repeat filter</td> 
   <td align="center">keyword_repeat</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>kstem filter</td> 
   <td align="center">kstem</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>snowball filter</td> 
   <td align="center">snowball</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>phonetic filter</td> 
   <td align="center">phonetic</td> 
   <td align="left"><a href="https://github.com/elasticsearch/elasticsearch-analysis-phonetic" rel="nofollow">插件</a></td> 
  </tr> 
  <tr> 
   <td>synonym filter</td> 
   <td align="center">synonyms</td> 
   <td align="left">处理同义词</td> 
  </tr> 
  <tr> 
   <td>compound word filter</td> 
   <td align="center">dictionary_decompounder, hyphenation_decompounder</td> 
   <td align="left">分解复合词</td> 
  </tr> 
  <tr> 
   <td>reverse filter</td> 
   <td align="center">reverse</td> 
   <td align="left">反转字符串</td> 
  </tr> 
  <tr> 
   <td>elision filter</td> 
   <td align="center">elision</td> 
   <td align="left">去掉缩略语</td> 
  </tr> 
  <tr> 
   <td>truncate filter</td> 
   <td align="center">truncate</td> 
   <td align="left">截断字符串</td> 
  </tr> 
  <tr> 
   <td>unique filter</td> 
   <td align="center">unique</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>pattern capture filter</td> 
   <td align="center">pattern_capture</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>pattern replace filte</td> 
   <td align="center">pattern_replace</td> 
   <td align="left">用正则表达式替换</td> 
  </tr> 
  <tr> 
   <td>trim filter</td> 
   <td align="center">trim</td> 
   <td align="left">去掉空格</td> 
  </tr> 
  <tr> 
   <td>limit token count filter</td> 
   <td align="center">limit</td> 
   <td align="left">限制token数量</td> 
  </tr> 
  <tr> 
   <td>hunspell filter</td> 
   <td align="center">hunspell</td> 
   <td align="left">拼写检查</td> 
  </tr> 
  <tr> 
   <td>common grams filter</td> 
   <td align="center">common_grams</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td>normalization filter</td> 
   <td align="center">arabic_normalization, persian_normalization</td> 
   <td align="left"></td> 
  </tr> 
 </tbody> 
</table>

character filter：ES内置的character filter列表

<table> 
 <thead> 
  <tr> 
   <th>character filter</th> 
   <th align="center">logical name</th> 
   <th align="left">description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>mapping char filter</td> 
   <td align="center">mapping</td> 
   <td align="left">根据配置的映射关系替换字符</td> 
  </tr> 
  <tr> 
   <td>html strip char filter</td> 
   <td align="center">html_strip</td> 
   <td align="left">去掉HTML元素</td> 
  </tr> 
  <tr> 
   <td>pattern replace char filter</td> 
   <td align="center">pattern_replace</td> 
   <td align="left">用正则表达式处理字符串</td> 
  </tr> 
 </tbody> 
</table>

## 分词插件配置实践 ##

IK Analyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包，最初的时候，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件，从3.0版本之后，IK逐渐成为面向java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现，IK实现了简单的分词 歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化

当安装完Elasticsearch之后，默认已经含有一个分词法，就是standard，这个分词法对英文的支持还可以，但是对中文的支持非常差劲，如图所示：

`http://localhost:9200/_analyze?analyzer=standard&text=%E4%BD%A0%E5%A5%BD%EF%BC%8C%E6%AC%A2%E8%BF%8E%E6%82%A8`

![分析器][SouthEast]

### 安装IK分词法 ###

1.  首先通过Git将源码下载下来，打开git客户端输入命令：git clone [https://github.com/medcl/elasticsearch-analysis-ik][https_github.com_medcl_elasticsearch-analysis-ik]，如果没有安装git,则直接下载zip包。
2.  下载之后进入到下载的文件夹下，如图所示：
    
    ![分析器][SouthEast 1]
3.  因为其源码使用的maven开发，故而使用maven编译项目。编译成功在下面会提示Succes。
    
    ![分析器][SouthEast 2]
4.  打开编译后的target\\releases，解压压缩包，然后进入解压的压缩包里面可以看到几个jar包和配置文件。
5.  在Elasticsearch的安装的plugin下创建文件夹ik。

![分析器][SouthEast 3]

1.  跳转到ik文件夹下，将4中所说的文件拷贝到5中ik文件夹下。
    
    ![分析器][SouthEast 4]
2.  重新启动ElasticSearch，使用`http://localhost:9200/_analyze?analyzer=ik_max_word&&text=%E4%BD%A0%E5%A5%BD%EF%BC%8C%E6%AC%A2%E8%BF%8E%E6%82%A8`访问浏览器，如果分词，则说明配置成功。
    
    ![分析器][SouthEast 5]
    
    异常：
    
    ![分析器][SouthEast 6]
    
    异常的提示已经告诉我们是为什么了，大家自己留意version问题。

dedc大神的sample elasticsearch中文发行版，针对中文集成了相关插件，方便新手学习测试. 可直接运行。[前往GitHub][GitHub]

--------------------

参考资料：  
网上资料  
备注：  
转载请注明出处：[http://blog.csdn.net/wsyw126/article/details/71080285][http_blog.csdn.net_wsyw126_article_details_71080285]  
作者：WSYW126

[SouthEast]: /images/20220616/3696a8f5b498466a86a5605ce11d132b.png
[https_github.com_medcl_elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik
[SouthEast 1]: /images/20220616/d5fa5fe8459a457691f658863f479ba5.png
[SouthEast 2]: /images/20220616/a7e38c16bf0f42efaa790c5f89c13a2e.png
[SouthEast 3]: /images/20220616/2e60ae328d5c4c5193f4eaf81861259d.png
[SouthEast 4]: /images/20220616/d7ba4f4339d949d39fc92cc9928b1c3e.png
[SouthEast 5]: /images/20220616/5d66323e09104650b3600bfc9c822fac.png
[SouthEast 6]: /images/20220616/16505f6b000046ba87947fe10d1f104a.png
[GitHub]: https://github.com/medcl/elasticsearch-rtf
[http_blog.csdn.net_wsyw126_article_details_71080285]: http://blog.csdn.net/wsyw126/article/details/71080285