如何用Know Streaming来查询Kafka的消息

清疚 2024-04-01 16:34 30阅读 0赞

### 功能简介 ###

Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。

目前KnowStreaming的实现方式是使用Consumer客户端来拉取数据

### 操作流程 ###

①. Topic列表 - > Topic详情 -> Messages

![在这里插入图片描述][25a58433ae144686bbcfd4cdaec72224.png]

### 操作亮点 ###

#### 多维度过滤查询 ####

1.  选择offset类型： latest(最近) | earliest (最早)  
    ![在这里插入图片描述][4de938e73d4a45b783a85bdb4160da90.png]
2.  选择指定分区  
    ![在这里插入图片描述][befb2c97d6d9438e916b20b36a5a19cc.png]
3.  指定Key / Value  
    ![在这里插入图片描述][c700fd2dded04b60b710b72fb249ed96.png]

#### 数据截断 ####

![在这里插入图片描述][b6d0f11e49fe40d5afa0fd619d032351.png]

### 实现原理 ###

构建KafkaConsumer客户端，调用KafkaAdminClient请求获取数据。

### Know Streaming介绍 ###

> Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛  
> 不会对Apache Kafka做侵入性改造，就可纳管0.10.x-3.x集群版本，帮助您提升集群管理水平；我们屏蔽了流处理的复杂性，让普通运维人员都能成为流处理专家

[Know Streaming Github][]

[Know Streaming 官网][Know Streaming]

[如何参与共建][Link 1]

[25a58433ae144686bbcfd4cdaec72224.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/370c75aa1d504badb6467535982be416.png
[4de938e73d4a45b783a85bdb4160da90.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1ba519219f05460d9c9ac9017a5cce24.png
[befb2c97d6d9438e916b20b36a5a19cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/188950349e94466593ef7ef4335220f2.png
[c700fd2dded04b60b710b72fb249ed96.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a8790408c7064871bd5221a908d40365.png
[b6d0f11e49fe40d5afa0fd619d032351.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c437dcc42b3f48cd9d921bf9d5199cde.png
[Know Streaming Github]: https://github.com/didi/KnowStreaming
[Know Streaming]: https://doc.knowstreaming.com
[Link 1]: https://doc.knowstreaming.com/product/10-contribution