Elasticsearch completion suggest解析

朱雀 2022-05-21 06:52 303阅读 0赞

例如，“天上人间” 分析为：“天上人间”、“天上”、“上人”、“人间” 四个词条。 要注意这4个词条还有顺序，也就是position分别为0, 1, 2, 3。  
   
FST实际上是前缀编码，这些词被顺序串联在一起进行编码，并记录了每个词条的相对位置，编码后形如:  
天上人间|天上|上人|人间  
0            1       2       3  
   
特别注意，这时候所有的查找都只能从0位置的“天”开始。  
   
做completion suggest的时候， 输入的词条经过分析后， 必须有相同的前缀和相对位址。 因为你的搜索用的simple  analyzer，当输入"天"的时候， 分析出来的是"天" (0)， 在FST里是从起始位置开始可以匹配到。其他输入“天上”  “天上人” 都是从位置0开始的前缀，也都可以匹配。  
但是如果你输入“上”， simple analyzer分析出来的是"上" (0)， 去FST里查，第一个就不匹配，所以没结果。  
   
为了帮助理解，针对你的例子，可以试一下如下的搜索:

POST test_suggestion/_search
    {
      "suggest": {
        "term-suggestion": {
          "prefix": "天上人间 天上 上",
          "completion": {
            "field": "keyword_suggestion"
          }
        }
      }
    }

你会发现，上面用空格分隔的3个词，也可以match。 原因在于搜索用的simple analyzer是用空格一类的分隔符分词的，分词结果是  
天上人间|天上|上  
0           1      2  
顺着FST走下去，可以做到前缀匹配。    
   
总结来说，当使用completion suggester的时候， 不是用于完成 类似于 "\*关键词\*"这样的模糊匹配场景，而是用于完成关键词前缀匹配的。 对于汉字的处理，无需使用ik/ HanLP一类的分词器，直接使用keyword analyzer，配合去除一些不需要的stop word即可。  
   
举个例子，做火车站站名的自动提示补全，你可能希望用户输入“上海”  或者 “虹桥” 都提示"上海虹桥火车站“ 。 如果想使用completion suggester来做，正确的方法是为"上海虹桥火车站“这个站名准备2个completion词条，分别是:  
"上海虹桥火车站"  
"虹桥火车站"

这样用户的输入不管是从“上海”开始还是“虹桥”开始，都可以得到"上海虹桥火车站"的提示。

文章来源：[https://elasticsearch.cn/question/1869][https_elasticsearch.cn_question_1869]

[https_elasticsearch.cn_question_1869]: https://elasticsearch.cn/question/1869