查看kafka消费数据

以你之姓@ 2022-05-25 13:20 343阅读 0赞

storm jar接收程序，如果指定了forceFromStart=false,则从最新的数据开始读，最新是指多长时间的，有具体的参数设置
如果指定了为true，则从最老的数据开始消费。

如何查看目前的消费者是否已经读到最新的数据：

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker

#kafka查看topic各个分区的消息的信息
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker —group ** —topic *** —zookeeper *:2181,*:2181,*:2181/kafka

--zookeeper

那里是指kafka在zk中的path,即使zk有多个机器，如果在其中一台上执行此命令，显示连接不上，只写那台机器的地址端口+kafka的path即可

指定自己的分组 自己消费的topic会显示kafka总共有多少数据，以及已经被消费了多少条
结果：
GROUP TOPIC PID OFFSET LOGSIZE LAG
消费者组 话题id 分区id 当前已消费的条数 总条数 未消费的条数

注意：以kafkaspout类作为消费者去读kafka数据，相当于直接从kafka server上取文件，没有消费者组的概念

每次读的数据存在自己zk的offet中，所以不能通过上述命令查看

本文参考：https://blog.csdn.net/shj1119/article/details/49274575

发表评论

表情：
评论列表 （有 0 条评论，343人围观）

还没有评论，来说两句吧...

相关阅读

    相关 查看kafka消费数据

    storm jar接收程序，如果指定了forceFromStart=false,则从最新的数据开始读，最新是指多长时间的，有具体的参数设置 如果指定了为true，则从最老的

    以你之姓@以你之姓@/ 0 赞/ 344 阅读

    相关 Kafka重复消费数据问题

      kafka重复消费的问题,主要的原因还是在指定的时间内,没有进行kafka的位移提交,导致根据上一次的位移重新poll出新的数据,而这个数据就是上一次没有消费处理完全的(

    骑猪看日落骑猪看日落/ 0 赞/ 751 阅读

    相关 Flink 二 消费kafka数据

    前言： Flink的DataSoures模块中，定义了DataStream API的数据输入操作，Flink将数据源主要分为内置和第三方数据源，内置数据源包含文件、Soc...

    亦凉亦凉/ 0 赞/ 842 阅读