二、ElasticSearch内置分词器

柔光的暖阳◎ 2023-06-27 05:55 1阅读 0赞

这里讲解下常见的几个分词器：`Standard Analyzer`、`Simple Analyzer`、`whitespace Analyzer`。

1、Standard Analyzer(默认)

**1）示例**

standard 是默认的分析器。它提供了基于语法的标记化（基于Unicode文本分割算法），适用于大多数语言

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70][]

**2）配置**

标准分析器接受下列参数：

*  max\_token\_length ： 最大token长度，默认255
 *  stopwords ： 预定义的停止词列表，如`_english_`或 包含停止词列表的数组，默认是 `_none_`
 *  stopwords\_path ： 包含停止词的文件路径

PUT new_index
    {
      "settings": {
        "analysis": {
          "analyzer": {
            "my_english_analyzer": {
              "type": "standard",       #设置分词器为standard
              "max_token_length": 5,    #设置分词最大为5
              "stopwords": "_english_"  #设置过滤词
            }
          }
        }
      }
    }

2、Simple Analyzer

simple 分析器当它遇到**只要不是字母的字符**，就将文本解析成term，而且所有的term都是小写的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 1][]

3、Whitespace Analyzer

POST _analyze
    {
      "analyzer": "whitespace",
      "text":     "Like X 国庆放假 的"
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 2][]

# java学习讨论群：725562382  #

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200104105228230.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200104105803945.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200104110057717.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw==,size_16,color_FFFFFF,t_70