Elasticsearch-分析器详解

快来打我* 2023-06-20 06:42 3阅读 0赞

## 前言 ##

本文基于elasticsearch7.3.0版本

分析就是将文本(例如电子邮件的正文)转换为tokens或terms的过程, 然后将它们添加到倒排索引中以便进行搜索。  
本文内容包括:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4OTg4OTY5_size_16_color_FFFFFF_t_70]

## 测试分析器 ##

创建索引

PUT analyzer_test
    { 
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text",
            "analyzer": "pinyin"
          }
        }
      }
    }

测试分词

## 不指定索引, 指定分析器
    POST _analyze
    { 
      "text": ["中文分词测试"],
      "analyzer": "ik_smart"
    }
    
    ## 不指定索引, 自定义分析器
    POST _analyze
    { 
      "text": ["中文分词测试"],
      "char_filter": [],
      "tokenizer": "ik_smart",
      "filter": []
    }
    
    ## 指定索引, 指定分析器
    POST analyzer_test/_analyze
    { 
      "text": ["中文分词测试"],
      "analyzer": "ik_smart"
    }
    
    ## 指定索引, 指定字段
    POST analyzer_test/_analyze
    { 
      "text":["中文分词测试"],
      "field": "desc"
    }

查看分词效果

{ 
      "tokens" : [
        { 
          "token" : "中文",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "CN_WORD",
          "position" : 0
        },
        { 
          "token" : "分词",
          "start_offset" : 2,
          "end_offset" : 4,
          "type" : "CN_WORD",
          "position" : 1
        },
        { 
          "token" : "测试",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 2
        }
      ]
    }

## 分析器-索引时分析 ##

优先级如下  
**1.mappings中text字段指定的analyzer**

PUT analyzer_test
    { 
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text",
            "analyzer": "pinyin"
          }
        }
      }
    }

**2.前面一步没有找到,索引设置中名为default的分析器**

PUT analyzer_test
    { 
      "settings": { 
        "analysis": { 
          "analyzer": { 
            "default":{ 
              "type":"ik_max_word"
            }
          }
        }
      },
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text"
          }
        }
      }
    }

**3.前面一步没有找到,默认使用standard分析器(内置)**

PUT analyzer_test
    { 
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text"
          }
        }
      }
    }

## 分析器-查询时分析 ##

优先级如下  
**1.查询中指定的分析器**

## 创建索引
    PUT analyzer_test
    { 
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text"
          }
        }
      }
    }
    
    ## 索引一条文档
    PUT analyzer_test/_doc/1
    { 
      "desc":"中文分词测试"
    }
    
    ## 查询
    GET analyzer_test/_search
    { 
      "query": { 
        "match": { 
          "desc": { 
            "query": "中文",
            "analyzer": "pinyin"
          }
        }
      }
    }

**2.前面一步没有找到,mappings中这个字段的search\_analyzer**

## 索引
    PUT analyzer_test
    { 
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text",
            "search_analyzer": "ik_smart"
          }
        }
      }
    }
    
    ## 查询
    GET analyzer_test/_search
    { 
      "query": { 
        "match": { 
          "desc": "中文"
        }
      }
    }

**3.前面一步没有找到,mappings中这个字段的analyzer**

## 索引
    PUT analyzer_test
    { 
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text",
            "analyzer": "ik_smart"
          }
        }
      }
    }
    
    ## 查询
    GET analyzer_test/_search
    { 
      "query": { 
        "match": { 
          "desc": "中文"
        }
      }
    }

**4.前面一步没有找到,索引设置中名为default\_search的分析器**

## 索引
    PUT analyzer_test
    { 
      "settings": { 
        "analysis": { 
          "analyzer": { 
            "default_search":{ 
              "type":"pinyin"
            }
          }
        }
      },
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text"
          }
        }
      }
    }
    
    ## 查询
    GET analyzer_test/_search
    { 
      "query": { 
        "match": { 
          "desc": "中文"
        }
      }
    }

**5.前面一步没有找到,索引设置中名为default的分析器**

## 索引
    PUT analyzer_test
    { 
      "settings": { 
        "analysis": { 
          "analyzer": { 
            "default":{ 
              "type":"ik_max_word"
            }
          }
        }
      },
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text"
          }
        }
      }
    }
    
    ## 查询
    GET analyzer_test/_search
    { 
      "query": { 
        "match": { 
          "desc": "中文"
        }
      }
    }

**6.前面一步没有找到,默认使用standard分析器(内置)**

PUT analyzer_test
    { 
      "mappings": { 
        "properties": { 
          "desc":{ 
            "type": "text"
          }
        }
      }
    }
    
    ## 查询
    GET analyzer_test/_search
    { 
      "query": { 
        "match": { 
          "desc": "中文"
        }
      }
    }

## 分析器组成 ##

一个分析器,不管是内置的还是自定义的,都是由三个部分组成:字符过滤器,分词器,token过滤器  
**字符过滤器-character filters**  
官方文档:[Elasticsearch字符过滤器][Elasticsearch]  
一个分析器有0个或多个字符过滤器,按照顺序使用  
作用:字符过滤器以字符流的形式接收原始文本,并可以通过添加、删除或更改字符来转换流。  
例子:去除html标签;把’&‘转换成’且’

**分词器-tokenizer**  
官方文档:[Elasticsearch分词器][Elasticsearch 1]  
一个分析器有且仅有一个分词器  
作用:分词器接收字符流,将其分解为单个字符。  
分词器还负责记录每个token的位置,开始和结束的字符偏移量

{ 
          "token" : "测试",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 2
        }

**token过滤器-token filters**  
官方文档:[Elasticsearchtoken过滤器][Elasticsearchtoken]  
一个分析器有0个或多个token过滤器,按照顺序使用  
作用:token过滤器接收token流，并可以添加、删除或更改token。  
例子:lowercase token过滤器将所有token转换为小写  
注意:token过滤器不允许更改每个token的位置或者字符偏移量

## elasticsearch内置分析器 ##

基本很少使用, 详情请参考官方文档:[Elasticsearch分析器][Elasticsearch 2]

## 自定义分析器 ##

如果找不到适合的分析器,则可以创建custom分析器,实际情况中使用较多

模板

{ 
        "settings":{ 
            "analysis":{ 
                "analyzer":{ 
                    "analyzer_name":{ 
                        "type":"custom",
                        "char_filter":[],
                        "tokenizer":"",
                        "filter":[]
                    }
                },
                "char_filter":{ },
                "tokenizer":{ },
                "filter":{ }
            }
        }
    }

例子

## 创建索引
    PUT analyzer_test
    { 
        "settings":{ 
            "analysis":{ 
                "analyzer":{ 
                    "ik_pinyin_analyzer":{ 
                        "type":"custom",
                        "char_filter":[
                            "emoticons"
                        ],
                        "tokenizer":"ik_max_word",
                        "filter":[
                            "pinyin_filter"
                        ]
                    }
                },
                "char_filter":{ 
                    "emoticons":{ 
                        "type":"mapping",
                        "mappings":[
                            ":) => _happy_",
                            ":( => _sad_"
                        ]
                    }
                },
                "tokenizer":{ 
                    "punctuation":{ 
                        "type":"pattern",
                        "pattern":"[ .,!?]"
                    }
                },
                "filter":{ 
                    "pinyin_filter":{ 
                        "type":"pinyin",
                        "keep_original":true
                    }
                }
            }
        },
        "mappings":{ 
            "properties":{ 
                "desc":{ 
                    "type":"text",
                    "analyzer":"ik_pinyin_analyzer"
                }
            }
        }
    }

测试分析器

## 指定索引, 指定字段
    POST analyzer_test/_analyze
    { 
      "text": [":) :(中文分词测试"],
      "field": "desc"
    }

## 常用中文分析器 ##

[ElasticSearch学习 - （八）安装中文分词器IK和拼音分词器][ElasticSearch_ - _IK]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4OTg4OTY5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191209153109973.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4OTg4OTY5,size_16,color_FFFFFF,t_70
[Elasticsearch]: https://www.elastic.co/guide/en/elasticsearch/reference/7.x/analysis-charfilters.html
[Elasticsearch 1]: https://www.elastic.co/guide/en/elasticsearch/reference/7.x/analysis-tokenizers.html
[Elasticsearchtoken]: https://www.elastic.co/guide/en/elasticsearch/reference/7.x/analysis-tokenfilters.html
[Elasticsearch 2]: https://www.elastic.co/guide/en/elasticsearch/reference/7.x/analysis-analyzers.html
[ElasticSearch_ - _IK]: https://blog.csdn.net/qq_28988969/article/details/79540620