Kibana查询ES报错:[circuit_breaking_exception] [parent] Data too large

忘是亡心i 2022-10-25 16:18 364阅读 0赞

## 一、kibana浏览器报错 ##

\{"statusCode":429,"error":"Too Many Requests","message":"\[circuit\_breaking\_exception\] \[parent\] Data too large, data for \[<http\_request>\] would be \[2047795096/1.9gb\], which is larger than the limit of \[2023548518/1.8gb\], real usage: \[2047795096/1.9gb\], new bytes reserved: \[0/0b\], usages \[request=72/72b, fielddata=82564/80.6kb, in\_flight\_requests=0/0b, accounting=236571283/225.6mb\], with \{ bytes\_wanted=2047795096 & bytes\_limit=2023548518 & durability=\\"PERMANENT\\" \}"\}

## 二、原因 ##

索引的大小已经超过了es内存缓存的大小

### 三、解决方法 ###

1、增加es堆内存

./elasticsearch -Xms30g -Xmx30g

-Xms30g 表示JVM Heap（堆内存）最小为30g，初始化内存大小

-Xmx30g表示应用JVM最大允许分配的堆内存，程序能够使用的最大内存数

2、设置es缓存回收大小

# 缓存回收大小，无默认值
    # 有了这个设置，最久未使用（LRU）的 fielddata 会被回收为新数据腾出空间
    # 控制fielddata允许内存大小，达到HEAP 20% 自动清理旧cache
    indices.fielddata.cache.size: 20%
    indices.breaker.total.use_real_memory: false
    # fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
    indices.breaker.fielddata.limit: 40%
    # request 断路器估算需要完成其他请求部分的结构大小，例如创建一个聚合桶，默认限制是堆内存的 40%。
    indices.breaker.request.limit: 40%
    # total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%(默认值)。
    indices.breaker.total.limit: 95%

重新启动es

或者

PUT /_cluster/settings
    {
      "persistent": {
        "indices.breaker.fielddata.limit": "60%"
      }
    } 
     
     
    PUT /_cluster/settings
    {
      "persistent": {
        "indices.breaker.request.limit": "40%"
      }
    } 
     
     
    PUT /_cluster/settings
    {
      "persistent": {
        "indices.breaker.total.limit": "70%"
      }
    }