ElasticSearch教程——自定义相关度分数算法和常见的相关度分数优化方法

ゞ浴缸里的玫瑰 2021-09-27 20:44 514阅读 0赞

**ElasticSearch汇总请查看：[ElasticSearch教程——汇总篇][ElasticSearch]**

之前[ElasticSearch教程——lucene的相关度评分TF&IDF算法以及向量空间模型算法][ElasticSearch_lucene_TF_IDF]，已经很了解整个es的相关度评分的算法了，算法思想，TF/IDF，vector model，boolean model; 实际的公式，query norm，query coordination，boost。

# 自定义相关度分数算法 #

我们可以做到自定义一个function\_score函数，自己将某个field的值，跟es内置算出来的分数进行运算，然后由自己指定的field来进行分数的增强

给所有的帖子数据增加follower数量

POST /forum/article/_bulk
    { "update": { "_id": "1"} }
    { "doc" : {"follower_num" : 5} }
    { "update": { "_id": "2"} }
    { "doc" : {"follower_num" : 10} }
    { "update": { "_id": "3"} }
    { "doc" : {"follower_num" : 25} }
    { "update": { "_id": "4"} }
    { "doc" : {"follower_num" : 3} }
    { "update": { "_id": "5"} }
    { "doc" : {"follower_num" : 60} }

将对帖子搜索得到的分数，跟follower\_num进行运算，由follower\_num在一定程度上增强帖子的分数  
看帖子的人越多，那么帖子的分数就越高

GET /forum/article/_search
    {
      "query": {
        "function_score": {
          "query": {
            "multi_match": {
              "query": "java elasticsearch",
              "fields": ["tile", "content"]
            }
          },
          "field_value_factor": {
            "field": "follower_num",
            "modifier": "log1p",
            "factor": 0.5
          },
          "boost_mode": "sum",
          "max_boost": 2
        }
      }
    }

如果只有field，那么会将每个doc的分数都乘以follower\_num，如果有的doc follower是0，那么分数就会变为0，效果很不好。因此一般会加个log1p函数，公式会变为，new\_score = \_score \* log(1 + number\_of\_votes)，这样出来的分数会比较合理

再加个factor，可以进一步影响分数，new\_score = \_score \* log(1 + factor \* number\_of\_votes) \* factor

boost\_mode，可以决定ES分数(\_score)与指定字段的值(new\_score)如何计算，multiply（默认），sum，min，max，replace

max\_boost，限制计算出来的分数不要超过max\_boost指定的值

#    相关度分数优化方法 #

对相关度评分进行调节和优化的常见的4种方法

## 1、query-time boost （增加某个term的权重）     ##

GET /forum/article/_search
    {
      "query": {
        "bool": {
          "should": [
            {
              "match": {
                "title": {
                  "query": "java spark",
                  "boost": 2
                }
              }
            },
            {
              "match": {
                "content": "java spark"
              }
            }
          ]
        }
      }
    }

## 2、重构查询结构     ##

重构查询结果，在es新版本中，影响越来越小了。一般情况下，没什么必要的话，大家不用也行。

GET /forum/article/_search 
    {
      "query": {
        "bool": {
          "should": [
            {
              "match": {
                "content": "java" // 权重 1/3 
              }
            },
            {
              "match": {
                "content": "spark" // 权重 1/3 
              }
            },
            {
              "bool": {
                "should": [
                  {
                    "match": {
                      "content": "solution" // 权重 1/6
                    }
                  },
                  {
                    "match": {
                      "content": "beginner" // 权重 1/6
                    }
                  }
                ]
              }
            }
          ]
        }
      }
    }

## 3、negative boost ##

搜索包含java，不包含spark的doc，但是这样子很死板  
搜索包含java，尽量不包含spark的doc，如果包含了spark，不会说排除掉这个doc，而是说将这个doc的分数降低  
包含了negative term的doc，分数乘以negative boost，分数降低

GET /forum/article/_search 
    {
      "query": {
        "boosting": {
          "positive": {
            "match": {
              "content": "java"
            }
          },
          "negative": {
            "match": {
              "content": "spark"
            }
          },
          "negative_boost": 0.2
        }
      }
    }

## negative的doc，会乘以negative\_boost，降低分数         4、constant\_score     ##

如果你压根儿不需要相关度评分，直接走constant\_score加filter，所有的doc分数都是1，没有评分的概念了

GET /forum/article/_search 
    {
      "query": {
        "bool": {
          "should": [
            {
              "constant_score": {
                "query": {
                  "match": {
                    "title": "java"
                  }
                }
              }
            },
            {
              "constant_score": {
                "query": {
                  "match": {
                    "title": "spark"
                  }
                }
              }
            }
          ]
        }
      }
    }

[ElasticSearch]: https://blog.csdn.net/gwd1154978352/article/details/82781731
[ElasticSearch_lucene_TF_IDF]: https://blog.csdn.net/gwd1154978352/article/details/84198489