Kafka 常用命令行工具

小鱼儿 2023-01-03 14:09 139阅读 0赞

创建主题`kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zjwblog`

查看所有主题`kafka-topics.sh --zookeeper localhost:2181 --list`

查看指定主题的详细信息`kafka-topics.sh --zookeeper localhost:2181 --topic zjwblog --describe`

命令行生产者`kafka-console-producer.sh --broker-list localhost:9092 --topic zjwblog`

行消费者消费所有历史数据`kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --from-beginning`

消费者从最新处开始消费（历史数据不关心）`kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog`

消费者从最新处开始消费（历史数据不关心），并指定消费者组`kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group`

列出所有的消费组`kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list`

查看kafka消息队列特定组的消费积压情况（主要看CURRENT-OFFSET、LOG-END-OFFSET的值，判断Kafka堆积情况）`kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group g1`

查看指定topic上每个partition的offset`kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic zjwblog`

例子：

# 创建一个主题
    kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic zjwblog
    # 启动一个生产者
    kafka-console-producer.sh --broker-list localhost:9092 --topic zjwblog
    # 启动一个消费者组（3个成员），会占用三个终端
    kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group
    kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group
    kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group
    # 启动一个消费者默认组（1个成员），占用一个终端
    kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog
    # 查看当前消费者组
    kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
    
    # 在生产者中写入数据，观察消费者组情况