ES索引设计&查询优化

朱雀 2022-12-26 09:26 226阅读 0赞

> 推荐掘金原文查看：[https://juejin.cn/post/6902254166953967630][https_juejin.cn_post_6902254166953967630]

## 1.背景 ##

*  小组项目在搭建属于自己的业务定制搜索服务；
 *  项目原先接入了平台部门的通用搜索服务，在进行全链路压测时，es搜索成为瓶颈；
 *  故统一在业务定制搜索服务中进行整改优化；

## 2.现象 ##

1.压测条件：并发线程数 `10 * 30`（并发线程数 \* 节点数）下，出现大量查询超时（`>500ms`），基本一压就挂；  
![037e16e425a0364d211ce21b4dfe5e88.png][]  
2.通过日志查询执行dsl语句，如下，在多查询条件下，包含大量`match`条件的`bool`评分查询语句：  
![f3c22cfd6be30900adbd55144ff614e5.png][]  
3.手动执行dsl，进一步确认dsl语句本身执行就很慢：  
![4681006ab27039d93e86a0f0c7cc81ac.png][]  
4. es在对该请求进行分片缓存后，时延降低：  
![6692f2e07fe640f5bb11c589d3af2939.png][]  
5.但压测条件下仍然出现大量时延（分片级别缓存失效条件，后面会分析），该dsl本身具有很大的优化空间：  
![cf012809a875f45f69f3708c72fb3141.png][]  
6.而平常生产环境偶发延迟，本身原搜索平台的qps较低（15左右），所以问题没有被放大出来，但风险仍在：  
![70550f518c38cbbbc29f983bde9c3206.png][]  
![56b0ffc1cbc53a6548e4fd999dca0a95.png][]

## 3.问题分析 ##

1.从日志中获取慢dsl语句如下：  
(业务字段用`field1，field2，field3`表示)

{ 
        "query":{ 
            "bool":{ 
                "filter":[
                    { 
                        "match":{ 
                            "field1":"111"
                        }
                    },
                    { 
                        "match":{ 
                            "field2":"0"
                        }
                    },
                    { 
                        "match":{ 
                            "field3":"3"
                        }
                    }
                ],
                "must":[
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field1":"222"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field1":"333"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field1":"444"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    },
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field2":"555"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"666"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"777"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"888"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"999"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    },
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field2":"111"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"222"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    },
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field3":"333"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"a"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"b"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"c"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"d"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"e"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"f"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"g"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"h"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"i"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"j"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"k"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"l"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    },
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field2":"111"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"222"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"333"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    },
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field2":"111"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"222"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"333"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"444"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"555"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    },
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field2":"666"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field2":"777"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    },
                    { 
                        "bool":{ 
                            "should":[
                                { 
                                    "match":{ 
                                        "field3":"a"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"b"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"c"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"d"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"e"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"f"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"g"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"h"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"i"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"j"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"k"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"l"
                                    }
                                },
                                { 
                                    "match":{ 
                                        "field3":"m"
                                    }
                                }
                            ],
                            "minimum_should_match":"1"
                        }
                    }
                ]
            }
        },
        "_source":[
            "uid"
        ],
        "sort":[
            { 
                "sort":{ 
                    "order":"desc"
                }
            }
        ]
    }

2.查询条件基本落在了must的bool子查询，这类查询并不会走Node Query Cache(Filter Cache)查询，而是走Shard Request Cache分片级别缓存，并被单个分片实例使用；  
  
3.该缓存的实现在indicesRequestCache类中，缓存的key是一个复合结构，主要包括cacheEntity, readerVersion, cacheKey信息：  
![f19885a87647138943999cdc209c8f88.png][]  
其中，缓存cacheKey：

*  主要是整个客户端请求的请求体（source）和请求参数（preference、indexRoutings、requestCache等）。
 *  由于客户端请求信息直接序列化为二进制作为缓存 key 的一部分，所以客户端请求的 json 顺序，聚合名称等变化都会导致 cache 无法命中。  
    本次dsl嵌套match数目会随着搜索数目条件变化而变化，本身作为缓存key容易导致cache无法命中，呈现压测“缓存不生效”的现象，导致查询时延很高；

4.QueryCache结构：

exp：对chapterIds和knowledgeIds字段的两个子查询，Lucene在查询过程中遍历每一个segemnt, 检查其是否命中。segment3命中了对chapterIds字段缓存，segment5命中对chapterIds和knowledgeIds；

segment3没有命中knowledgeIds字段，将会执行查询过程：  
![a561ab3c06641e8e69c5eaaedad27473.png][]

## 4.解决 ##

本次优化从两个方面考虑，索引设计，dsl优化；

### 4.1 索引设计优化 ###

**结构设计**

*  检索实体扁平化，以使用单索引搜索优势；
 *  目前资源服务对于全文搜索能力要求并不高，较多使用于多条件精确查询，将不需要进行全文检索的字符串字段均设置为keyword，以支持精确多条件匹配检索；
 *  业务扩展字段，使用Object类型以高效实现对象关系查询；

{ 
        "mappings":{ 
            "_doc":{ 
                "properties":{ 
                    "field1":{ 
                        "type":"keyword"
                    },
                    "field2":{ 
                        "type":"keyword"
                    },
                    "textField":{ 
                        "analyzer":"ik_max_word",
                        "type":"text",
                        "fields":{ 
                            "keyword":{ 
                                "ignore_above":256,
                                "type":"keyword"
                            }
                        }
                    },
                    "objectExtend":{ 
                        "type":"object"
                    }
                }
            }
        }
    }

### 4.2 DSL优化 ###

> Filter + term + constant\_score + range

*  根据逻辑组装精确多条件搜索term精确匹配语句，将先前大量must bool中的条件提取到filter中；
 *  评分查询在dsl查询中是比较耗时的阶段，而只有在使用全文检索条件下，该值对于业务才是有意义的，故在精确多条件搜索下，不计算评分，使用constant\_score+filter子句跳过评分阶段（全文检索questionText字段则需加入bool评分子查询，但不计算精确匹配部分评分）；
 *  使用range限定搜索范围；

> Filter缓存说明：
> 
>  *  Filter查询会使用到Node Query Cache节点级别缓存，缓存key为filter子查询结构（query clause），该缓存很容易被业务使用到；
>  *  使用位图bitset结构进行匹配结果缓存，与单个分片上下文无关，可以被单个搜索里的所有分片实例所重用；
>  *  对于一个segment的doc数量需要大于10000，并且占整个分片的3%以上才会走cache策略；

### 4.3 对比验证 ###

1.  压测任务编写;  
    2.为了对比本次压测环境下dsl变更前后的性能差异，未优化前搜索dsl如下：

{ 
      "query": { 
      "bool" : { 
        "must" : [
          { 
            "bool" : { 
              "should" : [
                { 
                  "term" : { 
                    "field1" : { 
                      "value" : "111",
                      "boost" : 1.0
                    }
                  }
                },
                { 
                  "term" : { 
                    "field1" : { 
                      "value" : "222",
                      "boost" : 1.0
                    }
                  }
                }
              ],
              "adjust_pure_negative" : true,
              "minimum_should_match" : "1",
              "boost" : 1.0
            }
          },
          { 
            "bool" : { 
              "should" : [
                { 
                  "term" : { 
                    "field2" : { 
                      "value" : "222",
                      "boost" : 1.0
                    }
                  }
                },
                { 
                  "term" : { 
                    "field2" : { 
                      "value" : "222",
                      "boost" : 1.0
                    }
                  }
                }
              ],
              "adjust_pure_negative" : true,
              "minimum_should_match" : "1",
              "boost" : 1.0
            }
          },
          { 
            "bool" : { 
              "should" : [
                { 
                  "term" : { 
                    "appCode" : { 
                      "value" : "a",
                      "boost" : 1.0
                    }
                  }
                }
              ],
              "adjust_pure_negative" : true,
              "minimum_should_match" : "1",
              "boost" : 1.0
            }
          }
        ]}
    }
    }

3.并发线程数：1000*4（并发线程数*节点数），效果与原线上类似，复现类似缓存失效的效果，出现大量查询超时：  
![dd97d8f35dc69bfd3d07ad2c048a2933.png][]  
4.进行dsl优化：

{ 
        "from":0,
        "size":5,
        "query":{ 
            "bool":{ 
                "filter":[
                    { 
                        "terms":{ 
                            "field1":[
                                "111",
                                "222"
                            ],
                            "boost":1
                        }
                    },
                    { 
                        "terms":{ 
                            "field2":[
                                "222",
                                "333"
                            ],
                            "boost":1
                        }
                    },
                    { 
                        "terms":{ 
                            "appCode":[
                                "a"
                            ],
                            "boost":1
                        }
                    }
                ],
                "adjust_pure_negative":true,
                "boost":1
            }
        },
        "version":true,
        "_source":{ 
            "includes":[
                "uid"
            ],
            "excludes":[
    
            ]
        },
        "sort":[
            { 
                "sort":{ 
                    "order":"desc"
                }
            }
        ]
    }

同样压测条件下进行验证,平均耗时在6ms左右：(文档数量在几百万左右)  
![e80fda7ea09c728e8768ba1c62937f9a.png][]  
执行计划：命中四个分片，执行非评分constantScore查询后加入结果集返回：  
![138e067277bff4c56ef41d6ad90ca8ee.png][]  
查看监控数据，单节点ES；  
![c67cead551fda9fc858b62c4554fcf75.png][]  
查询速率也较为稳定：  
![de4a4db8a42da7d0b299d8f28f1d7cde.png][]  
CPU负载稳定在61%：  
![fe697e06ae5f912eabbc43620cb8a5b4.png][]  
平均时延低：  
![55f854f3d372d65f385fafb37db5917c.png][]

## 总结 ##

1.业务静态索引设计需要根据业务场景，定义好字段类型，区分精确和全文检索，结构扁平化等；  
2.dsl尽可能使用filter过滤器缓存，根据业务场景去编写，这里使用：`Filter + term + constant_score + range`

[https_juejin.cn_post_6902254166953967630]: https://juejin.cn/post/6902254166953967630
[037e16e425a0364d211ce21b4dfe5e88.png]: /images/20221120/15f569865f5f4d6daea4f7a0e54f6288.png
[f3c22cfd6be30900adbd55144ff614e5.png]: /images/20221120/a93d4af0cb714702acabf158bf3d9978.png
[4681006ab27039d93e86a0f0c7cc81ac.png]: /images/20221120/fc30a401c787474faea5628465ba07bb.png
[6692f2e07fe640f5bb11c589d3af2939.png]: /images/20221120/4aee30eef1ae4dbf9acb42d8694d41de.png
[cf012809a875f45f69f3708c72fb3141.png]: /images/20221120/876986dd14474dcaa12f6d7252e1aa23.png
[70550f518c38cbbbc29f983bde9c3206.png]: /images/20221120/032de74eb0f74e399dbc0441494bb2f2.png
[56b0ffc1cbc53a6548e4fd999dca0a95.png]: /images/20221120/a5d35bb88c4d421aa77da148e12827dc.png
[f19885a87647138943999cdc209c8f88.png]: /images/20221120/8a02619f672d41c895015e04c6ba941e.png
[a561ab3c06641e8e69c5eaaedad27473.png]: /images/20221120/2d44b37a38d94b5cb727258761301663.png
[dd97d8f35dc69bfd3d07ad2c048a2933.png]: /images/20221120/0f89ec1f3e0147389a012c4101559a24.png
[e80fda7ea09c728e8768ba1c62937f9a.png]: /images/20221120/d395a694bffb4b03bdb29c1fd4b36a49.png
[138e067277bff4c56ef41d6ad90ca8ee.png]: /images/20221120/fedba245108449879393d1945cc396e4.png
[c67cead551fda9fc858b62c4554fcf75.png]: /images/20221120/7fc4464650a8407c840d5c3486906fde.png
[de4a4db8a42da7d0b299d8f28f1d7cde.png]: /images/20221120/a3d1b3d425a44017ba24c0c352cfdf98.png
[fe697e06ae5f912eabbc43620cb8a5b4.png]: /images/20221120/556c49730cb64dbaa1ccc26a35e01017.png
[55f854f3d372d65f385fafb37db5917c.png]: /images/20221120/15238d719ca143b293332b605538f8f3.png