Elasticsearch出现circuit_breaking_exception异常

今天药忘吃喽~ 2023-07-05 11:57 4阅读 0赞

## 1. 产生Data too large异常 ##

异常如下：CircuitBreakingException[[FIELDDATA] Data too large, data for [proccessDate] would be larger than limit of [xxxgb]

经排查，原来是ES默认的缓存设置让缓存区只进不出引起的，具体分析一下。

## 2. ES缓存区概述 ##

首先简单描述一下ES的缓存机制。ES在查询时，会将索引数据缓存在内存（JVM）中： 
    
    驱逐线 和 断路器。当缓存数据到达驱逐线时，会自动驱逐掉部分数据，把缓存保持在安全的范围内。当用户准备执行某个查询操作时，断路器就起作用了，缓存数据+当前查询需要缓存的数据量到达断路器限制时，会返回Data too large错误，阻止用户进行这个查询操作。ES把缓存数据分成两类，FieldData和其他数据，我们接下来详细看FieldData，它是造成我们这次异常的“元凶”。
    
    ES配置中提到的FieldData指的是字段数据。当排序（sort），统计（aggs）时，ES把涉及到的字段数据全部读取到内存（JVM Heap）中进行操作。相当于进行了数据缓存，提升查询效率

**3.1** 监控FieldData

仔细监控fielddata使用了多少内存以及是否有数据被驱逐是非常重要的。

Fielddata缓存使用可以通过下面的方式来监控：

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

对于单个索引使用
    GET /_stats/fielddata?fields=*
    
    对于单个节点使用
    GET /_nodes/stats/indices/fielddata?fields=*
    
    或者甚至单个节点单个索引
    GET /_nodes/stats/indices/fielddata?level=indices&fields=*
    
    通过设置 ?fields=* 内存使用按照每个字段分解了.
    在产生Data too large异常时，可以看到 memory_size_in_bytes 用到了整个JVM内存的60%（可用上限），而evictions（驱逐）为0。且经过一段时间观察，字段所占内存大小都没有变化。由此推断，当下的缓存处于无法有效驱逐的状态。

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

**3.2** Cache配置

关于FieldData的配置在elasticsearch.yml中，也可以通过调用setting接口来修改。API文档里的介绍如下：

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

indices.fielddata.cache.size：The max size of the field data cache, eg 30% of node heap space, or an absolute value, eg 12GB. Defaults to unbounded.
    indices.fielddata.cache.expire：[experimental] This functionality is experimental and may be changed or removed completely in a future release. A time based setting that expires field data after a certain time of inactivity. Defaults to -1. For example, can be set to 5m for a 5 minute expiry.
    
    简而言之： 
    indices.fielddata.cache.size   配置fieldData的Cache大小，可以配百分比也可以配一个准确的数值。cache到达约定的内存大小时会自动清理，驱逐一部分FieldData数据以便容纳新数据。默认值为unbounded无限。 
    indices.fielddata.cache.expire  用于约定多久没有访问到的数据会被驱逐，默认值为-1，即无限。expire配置不推荐使用，按时间驱逐数据会大量消耗性能。而且这个设置在不久之后的版本中将会废弃。
    看来，Data too large异常就是由于fielddata.cache的默认值为unbounded导致的了。

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

**3.3** FieldData格式

*除了缓存取大小之外，我们还可以控制字段数据缓存到内存中的格式。*

在mapping中，我们可以这样设置：

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

1 {
    2     "tag": {
    3         "type":      "string",
    4         "fielddata": {
    5             "format": "fst"
    6         }
    7     }
    8 }

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

对于String类型，format有以下几种：

paged_bytes       (默认值) 使用大量的内存来存储这个字段的terms和索引。
    fst               用`FST`的形式来存储terms。这在terms有较多共同前缀的情况下可以节约使用的内存，但访问速度上比paged_bytes 要慢。
    doc_values        fieldData 始终存放在disk中，不加载进内存。访问速度最慢且只有在index:no/not_analyzed的情况适用。

*对于数字和地理数据也有可选的format，但相对String更为简单，具体可在api中查看。  
从上面我们可以得知一个信息：我们除了配置缓存区大小以外，还可以对不是特别重要却量很大的String类型字段选择使用fst缓存类型来压缩大小。*

## 4. 断路器 ##

fieldData的缓存配置中，有一个点会引起我们的疑问：fielddata的大小是在数据被加载之后才校验的。假如下一个查询准备加载进来的fieldData让缓存区超过可用堆大小会发生什么？很遗憾的是，它将产生一个OOM异常。  
断路器就是用来控制cache加载的，它预估当前查询申请使用内存的量，并加以限制。断路器的配置如下：

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

indices.breaker.fielddata.limit 这个 fielddata 断路器限制fielddata的大小，默认情况下为堆大小的60%。 
    indices.breaker.request.limit        
    这个 request 断路器估算完成查询的其他部分要求的结构的大小， 默认情况下限制它们到堆大小的40%。
    
    indices.breaker.total.limit          
    这个 total 断路器封装了 request 和 fielddata 断路器去确保默认情况下这2个部分使用的总内存不超过堆大小的70%。

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

断路器限制可以通过文件 config/elasticsearch.yml 指定，也可以在集群上动态更新：

PUT /\_cluster/settings

{
      "persistent" : {
        "indices.breaker.fielddata.limit" : "40%" 
      }
    }

当缓存区大小到达断路器所配置的大小时会发生什么事呢？答案是：会返回开头我们说的Data too large异常。这个设定是希望引起用户对ES服务的反思，我们的配置有问题吗？是不是查询语句的形式不对，一条查询语句需要使用这么多缓存吗？

## 5. 总结 ##

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

1. 这次Data too large异常是ES默认配置的一个坑，我们没有配置indices.fielddata.cache.size，它就不回收缓存了。缓存到达限制大小，无法往里插入数据。个人感觉这个默认配置不友好，不知ES是否在未来版本有所改进。
    
    2. 当前fieldData缓存区大小 < indices.fielddata.cache.size 
    　　当前fieldData缓存区大小+下一个查询加载进来的fieldData < indices.breaker.fielddata.limit 
    　　fielddata.limit的配置需要比fielddata.cache.size稍大。而fieldData缓存到达fielddata.cache.size的时候就会启动自动清理机制。expire配置不建议使用。
    
    3. indices.breaker.request.limit限制查询的其他部分需要用的内存大小。indices.breaker.total.limit限制总（fieldData+其他部分）大小。
    
    4. 创建mapping时，可以设置fieldData format控制缓存数据格式。
    
    5. 查询使用 sort、agg 是考虑使用字段的内存，慎用sort、agg

[aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 SpringMVC出现406的异常

天在做项目的时候，突然出现406的异常。解决办法如下：在pom中引入这段代码。成功解决。 </dependency> ...

朱雀/ 2024年04月17日 05:43/ 0 赞/ 90 阅读

相关 Elasticsearch-head 出现cors 跨域问题

问题场景： Elasticsearch-head 访问es出现跨域问题 -------------------- 解决方案： > 提示：这里填写该问题的具体解决

一时失言乱红尘/ 2024年03月23日 18:08/ 0 赞/ 62 阅读

相关 git出现异常处理

这个教程，错过了，就错过了，各位！！！文章目录前言异常解决最后前言有时候，公司提交的代码必须使用公司邮箱，而你误操作，直接

男娘i/ 2023年10月05日 18:39/ 0 赞/ 61 阅读

相关 Elasticsearch出现circuit_breaking_exception异常

1. 产生Data too large异常异常如下：CircuitBreakingException[[FIELDDATA] Data too large, d

今天药忘吃喽~/ 2023年07月05日 11:57/ 0 赞/ 5 阅读

相关集合中出现ConcurrentModificationException异常

项目中用了集合的subList方法，然后又size一下。后来跑起来的时候报异常：ConcurrentModificationException。第一次遇见这个异常，仅从字面意思

￡神魔★判官ぃ/ 2022年07月16日 12:40/ 0 赞/ 242 阅读

相关 Hadoop格式化后出现异常

我在正常安装Hadoop 格式化后正常启动，在安装成功后再次格式化就出现了异常，对文件进行上传和删除时都出现了同样的异常说是DataNode没有启动，我使用jps查看一下别

￡神魔★判官ぃ/ 2022年06月10日 11:08/ 0 赞/ 250 阅读

相关 Jedis连接出现异常解决

总的来说，Jedis连接出现问题会有以下几点： 1. 关闭LINUX上的防火墙 2. 修改redis配置文件中的本地绑定（注释掉bind 127.0.0.1） 3. 提

约定不等于承诺〃/ 2022年06月08日 22:47/ 0 赞/ 512 阅读

相关异常——map.containsKey(n)出现NullPointerException异常

刚才遇到这个异常，记录一下。我将一个map放在for循环里面存储东西，里面还嵌套了一些别的逻辑，在每次循环的最后，将map置为null。在运行的时候，遇到了空指针异常。后来

Bertha 。/ 2022年01月26日 05:11/ 0 赞/ 573 阅读

相关 springboot出现异常整合

1.缺少注解@SpringBootApplication 异常：org.springframework.context.ApplicationContextException

末蓝、/ 2022年01月14日 03:09/ 0 赞/ 671 阅读

相关 elasticsearch CircuitBreakingException FIELDDATA Data too large 异常

本文全部参照：[https://blog.csdn.net/hereiskxm/article/details/46744985][https_blog.csdn.net_he

妖狐艹你老母/ 2021年11月22日 04:58/ 0 赞/ 262 阅读