关于Elasticsearch里面聚合group的坑(少计算shard)

忘是亡心i 2022-09-12 06:48 22阅读 0赞

**具体的坑在哪里呢？**

具体就是会有个别的shard不被统计进来，也就是group by的和，会少于直接利用sum得出的结果。

**具体表现**

执行sum的命令和结果

命令：

GET /transaction/_search
    {
      "aggs": {
              "sum_coins": { "sum": { "field": "consumeInfo.coins" }}
      },
      "query":{
           "bool": {
              "should": [
                    {
                    "match_phrase": {
                            "consumeInfo.promotionId": "shopping_mall_buy_single"
                           }
                    }
                  ],
                      "minimum_should_match": 1
                  } 
              }
    }

结果：

"aggregations" : {
        "sum_coins" : {
          "value" : 94684.0
        }
      }

执行group by的命令和结果：

命令：

GET /transaction/_search
    {
         "aggs": {
          "group_by_refId": {
            "terms": { "field": "consumeInfo.refId" },
            "aggs" : { 
              "sum_coins": { "sum": { "field": "consumeInfo.coins" }}
              }
        }
      },
      "query":{
           "bool": {
              "should": [
                    {
                    "match_phrase": {
                            "consumeInfo.promotionId": "shopping_mall_buy_single"
                           }
                    }
                  ],
                      "minimum_should_match": 0
                  } 
              }
    }

结果：

"aggregations" : {
        "group_by_refId" : {
          "doc_count_error_upper_bound" : 0,
          "sum_other_doc_count" : 6,
          "buckets" : [
            {
              "key" : "15",
              "doc_count" : 84,
              "sum_coins" : {
                "value" : 7107.0
              }
            },
            {
              "key" : "12",
              "doc_count" : 70,
              "sum_coins" : {
                "value" : 3960.0
              }
            },
            {
              "key" : "19",
              "doc_count" : 61,
              "sum_coins" : {
                "value" : 9035.0
              }
            },
            {
              "key" : "14",
              "doc_count" : 32,
              "sum_coins" : {
                "value" : 6368.0
              }
            },
            {
              "key" : "20",
              "doc_count" : 26,
              "sum_coins" : {
                "value" : 10374.0
              }
            },
            {
              "key" : "8",
              "doc_count" : 24,
              "sum_coins" : {
                "value" : 7176.0
              }
            },
            {
              "key" : "9",
              "doc_count" : 16,
              "sum_coins" : {
                "value" : 9584.0
              }
            },
            {
              "key" : "16",
              "doc_count" : 13,
              "sum_coins" : {
                "value" : 10387.0
              }
            },
            {
              "key" : "22",
              "doc_count" : 13,
              "sum_coins" : {
                "value" : 7500.0
              }
            },
            {
              "key" : "11",
              "doc_count" : 4,
              "sum_coins" : {
                "value" : 5196.0
              }
            }
          ]
        }
      }

分析：

分析上述两个命令可以发现，通过group by的和只有7万多，与sum的相比要少1万多，那么具体是少哪些数据呢？

具体是少了两个被group by的 consumeInfo.refId的11和14，而其他已经被group by是正确的。

**如何解决**

解决方法就是通过写代码，将详细的列出来然后加和。