wurstmeister/kafka设置__consumer_offsets主题副本数

秒速五厘米 2023-01-09 15:33 176阅读 0赞

新版本的kafka会把每个主题消费进度保存在kafka所在机器的\_\_consumer\_offsets主题下面，该主题默认副本数为1，当一台机器down掉后，该机器保存的主题消费进度就会丢失，为了保证kafka的高可用，我们必须保证\_\_consumer\_offsets的副本数大于1，比如3台kafka集群时可以设置副本数为2，这样当其中一台kafka服务down掉后，仍能保证kafka集群的高可用性，为了实现这个目的，只需在启动kafka docker服务时传入副本参数配置即可，下面以dockcer-compose配置为例来说明：

kafka3:
        restart: always
        image: "wurstmeister/kafka:2.12-2.3.0"
        environment:
          KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
          KAFKA_LISTENERS: INSIDE://:9093,OUTSIDE://:9092
          KAFKA_ADVERTISED_LISTENERS: INSIDE://:9093,OUTSIDE://kafka3:9092
          KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
          KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
          KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true'
          KAFKA_LOG_RETENTION_BYTES: 1073741824
          KAFKA_LOG_SEGMENT_BYTES: 268435456
          KAFKA_LOG_RETENTION_HOURS: 72
          KAFKA_LOG_CLEANUP_POLICY: delete
          KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2
        links:
          - zk1
          - zk2
          - zk3
        depends_on:
          - zk1
          - zk2
          - zk3

KAFKA\_OFFSETS\_TOPIC\_REPLICATION\_FACTOR这个参数就是用来配置\_\_consumer\_offsets副本数的。

执行效果如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pvaG4xMzM3_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pvaG4xMzM3_size_16_color_FFFFFF_t_70]: /images/20221119/a27774312b11452daf0a9e0c3717fd02.png