Elasticsearch模糊查询精讲

川长思鸟来 2023-10-02 22:09 24阅读 0赞

**目录**

一.3种模糊查询的区别 以及 常用的查询手段

1.wildcard

2.prefix

3.fuzzy

4.exists query

二. terms\_set(主要用于数组检索)

1.数据准备

2.minimum\_should\_match\_field

3.minimum\_should\_match\_script

4.terms\_set与match query的比较

三.其他查询

1.regexp （使用正则表达式术语查询）

2.ids

四.Elasticsearch Term-level queries（磁条级搜索）总结大全

--------------------

学习目标：

1、wildcard、prefix、fuzzy这3种模糊查询的异同点是什么？

2、如何使用 terms\_set检索Array类型的字段？

3、Term-level queries（磁条级搜索）总结大全

### 一.3种模糊查询的区别 以及 常用的查询手段 ###

#### 1.wildcard ####

查询包含通配符表达式字段的文档。【ps：等价于mysql 的 like 查询】

通配符 *：它匹配任何字符序列（包括空字符）
    
    占位符 ?：它匹配任何单个字符。
    
    说明：请注意，此查询的速度可能很慢，因为它需要迭代许多项。为了防止极慢的通配符查询，通配符术语不应以通配符*或？之一开头。

（1）通配符\*

GET /blogs_index/_search
    {
        "query": {
            "wildcard" : { "author": "方*" }
        }
    }

上述DSL语句，可以检索到所有文档。**等价于sql【where author like "方%”】**

（2）占位符?

GET /blogs_index/_search
    {
        "query": {
            "wildcard" : { "author": "方?" }
        }
    }

上述DSL语句，检索结果为空。**等价于sql【where author like "方\_”】**

#### 2.prefix ####

查找指定字段包含**以指定确切前缀开头**的术语的文档。

GET /_search
    { "query": {
        "prefix" : { "author": "方" }
      }
    }

该DSL等价于 wildcard query 的 **"wildcard"** : \{ "author": "方\*" \}，**等价于sql【where author like "方%”】**

#### 3.**fuzzy**  ####

模糊查询使用基于Levenshtein编辑距离的相似度。是一种误拼写时的fuzzy**模糊搜索**技术，用于搜索的时候可能输入的文本会出现误拼写的情况。

比如输入"**方财兄"**，这时候也要匹配到**“方才兄”**。

GET /blogs_index/_search
    {
        "query": {
            "fuzzy" : {
                "author": {
                    "value": "方财兄",
                    "fuzziness": 1,
                    "prefix_length": 1,
                    "max_expansions": 100
                }
            }
        }
    }

fuzziness：最大编辑距离【一个字符串要与另一个字符串相同必须更改的一个字符数】。默认为AUTO。
    prefix_length：不会被“模糊化”的初始字符数。这有助于减少必须检查的术语数量。默认为0。
    max_expansions：fuzzy查询将扩展到的最大术语数。默认为50。
    transpositions：是否支持模糊转置（ab→ ba）。默认值为false。

上述DSL**等价于sql【**

**where author like “方\_兄”or author like “方财\_”or author like “方\_财兄”or author like “方财\_兄”or author like “方财兄\_”**

】**会根据上述的4个参数穷尽所有可能组合。**

注意：如果prefix_length将设置为0，并且max_expansions将设置为很高的数字，
    则此查询可能会很繁琐。这可能会导致索引中的每一项都受到检查！

#### 4.**exists query** ####

（1）查找指定字段包含任何非空值【不是null 也不是\[ \]】的文档。【ps：等价于mysql 的 is null】

注意：这些值不属于空值

1、空字符串，例如""或"-" 
    2、包含null和另一个值的数组，例如[null, "foo"] 
    3、自定义null-value，在字段映射中定义

1、查询 title字段不为 null 的文档
    GET /blogs_index/_search
    {
        "query": {
            "exists" : { "field" : "title" }
        }
    }

（2）查询为null的字段，应该使用：must\_not + exists

2、查询 title字段为 null 的文档
    GET /blogs_index/_search
    {
        "query": {
            "bool": {
                "must_not": {
                    "exists": {
                        "field": "title"
                    }
                }
            }
        }
    }

### 二. **terms\_set**(主要用于数组检索) ###

返回的文档至少匹配一个或多个检索的术语。这些术语未进行分析，因此必须完全匹配。每个文档中必须匹配的术语数会有所不同，并由“最小匹配项”字段控制，或者由“最小匹配项”脚本中的每个文档计算。

说明：
    1.terms_set query 在对Array类型的字段做检索时非常有用，特别是对于每个文档，
    需要匹配的数量不一致时。如果所有文档需要匹配的数量一致，可以使用match query替代。
    
    2.控制必须匹配术语的数量的字段必须是数字字段

#### 1.数据准备 ####

PUT /term_set_index
    {
      "mappings": {
        "_doc": {
          "properties": {
            "codes": {
              "type": "keyword"
            },
            "required_matches": {
              "type": "integer"
            }
          }
        }
      }
    }
    
    PUT /term_set_index/_doc/1?refresh
    {
        "codes": ["系统学习", "es","关注我"],
        "required_matches": 2
    }
    PUT /term_set_index/_doc/2?refresh
    {
        "codes": ["系统", "学习"],
        "required_matches": 1
    }

#### 2.**minimum\_should\_match\_field** ####

GET /term_set_index/_search
    {
      "query": {
        "terms_set": {
          "codes": {
            "terms": [
              "关注我",
              "学习"
            ],
            "minimum_should_match_field": "required_matches"
          }
        }
      }
    }

#### 3.**minimum\_should\_match\_script** ####

GET /term_set_index/_search
    {
      "query": {
        "terms_set": {
          "codes": {
            "terms": [
              "系统学习",
              "关注我"
            ],
            "minimum_should_match_script": {
              "source": " doc['required_matches'].value"
            }
          }
        }
      }
    }

上2、3 的dsl是等价的关系，搜索结果如下：

可以检索到文档2。对于文档1，需要至少匹配2个term，但是在检索terms里，只能匹配上【关注我】一个term，所以文档1不符合检索条件；对于文档2，只需要匹配一个term，刚好能匹配上检索terms里的【学习】。

#### 4.**terms\_set与match query的比较** ####

当每个文档的required\_matches值都相同时，上述两句DSL与下面的match query 语句检索效果完全一致：

GET /term_set_index/_search
    {
        "query": {
            "match": {
                "codes" : {
                    "query":  "系统学习 关注我",
                    "analyzer": "whitespace",
                    "minimum_should_match": 2
                }
            }
        }
    }

分析：DSL语句使用 "analyzer": "whitespace", 
    所以 query会被分词两个Token/term【系统学习】【关注我】。
    "minimum_should_match": 2，所以可以检索到文档1。

### 三.其他查询 ###

#### 1.**regexp （使用正则表达式术语查询）** ####

GET /_search
    {
        "query": {
            "regexp":{
                "name.first": "s.*y"
            }
        }
    }

注意：**regexp查询的性能在很大程度上取决于所选的正则表达式。**匹配所有类似的东西.\*都很慢，而且使用环视正则表达式也很慢。如果可能，应在正则表达式开始之前尝试使用长前缀。

#### 2.**ids**  ####

根据index的**\_id 字段**检索文档

GET /_search
    {
        "query": {
            "ids" : {
                "type" : "_doc",
                "values" : ["1", "4", "100"]
            }
        }
    }

### 四.Elasticsearch Term-level queries（磁条级搜索）总结大全 ###

![f8ba1e2464454bc5a8bc82ac296904f7.png][]

[f8ba1e2464454bc5a8bc82ac296904f7.png]: https://img-blog.csdnimg.cn/f8ba1e2464454bc5a8bc82ac296904f7.png