【Kafka】TimeoutException: Topic device-state-in-topic not present in metadata after 60000 ms.

柔情只为你懂 2023-10-14 08:34 19阅读 0赞

## 1.问题原因 ##

org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException: 
    Topic device-state-in-topic not present in metadata after 60000 ms.

翻译过来就是：因为Kafka生产者在发送消息时，无法在指定的时间内获取到topic的元数据信息。

## 2.问题排查 ##

**1. Kafka集群中的某个broker宕机或不可用，导致无法获取到topic的元数据信息。**  
查看集群监控，每个节点都能ping通所以这个没问题。

**2. 网络连接不稳定或延迟过高，导致无法及时获取到topic的元数据信息。**  
相同节点的topic都在正常生产和消费也不是这个问题

**3.Kafka版本不兼容，导致无法获取到topic的元数据信息。**  
这个也不是，版本之前都核对过了

**4.项目配置或者业务问题**  
我们生产到这个topic是一天发一次，在项目里面的其他topic几分钟一次或者实时的都没有问题，那怀疑是不是发送间隔时间太长了，导致的这个问题，我开始写了一个定时任务5分钟往这个topic发一条空数据，观察一天后，果然是这个原因。

我查看了一些kafka的生产者配置 看到下面的配置：

kafka:
            #连接地址
            bootstrap-servers: 127.0.0.1:9092
            producer:
                properties:
                    metadata:
                        max:
                            age:
                                ms: 300000

这个参数意思是：  
metadata.max.age.ms是Kafka配置中的一个参数，用于指定元数据的最大生存时间(以毫秒为单位)。

元数据是Kafka中存储有关topic、partition、broker等信息的数据结构。当客户端连接到Kafka集群时，它会向集群的每个broker发送请求以获取元数据。如果元数据在一定时间内没有被更新，那么它将过期并需要重新获取。

我设置成5分钟，元数据在 metadata.max.age.ms 所限定的时间范围内没有进行更新，则会被强制更新，就解决了这个问题。