kafka操作实例

悠悠 2021-05-16 20:36 412阅读 0赞

kafka是一款基于发布与订阅的消息系统，一定顺序持久化记录，通过重建这些日志可以重建系统的状态

1.producer：消息生产者。
    2.broker：kafka 集群中包含的服务器。
    3.topic：每条发布到 kafka 集群的消息属于的类别。
    4.partition：每个 topic 包含一个或多个 partition。
    5.consumer：消费消息者。
    6.Consumer group：每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。
    7.replica：partition 的副本，保障高可用。
    8.leader：replica 中的一个角色， producer 和 consumer 只跟 leader 交互。主
    9.follower：replica 中的一个角色，从 leader 中复制数据。从
    10.controller：kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover。
    12.zookeeper：kafka 通过 zookeeper 来存储集群的 meta 信息

1. 创建主题topic ，创建分区partitions ，创建副本因子replication-factor

.\\bin\\windows\\kafka-topics.bat --create --zookeeper localhost:2181 --topic test --partitions 3 -  
\-replication-factor 1

topic 为 test partitions 为3 replication-factor 为1

![20191023160506920.png][]

2 修改数量，只能减

.\\bin\\windows\\kafka-topics.bat --alter --zookeeper localhost:2181 --topic topic5 --partitions 12

![201910231605389.png][]

3查看topic

.\\bin\\windows\\kafka-topics.bat --zookeeper localhost:2181 --describe --topic test

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3MDgxMDE1_size_16_color_FFFFFF_t_70][]

[20191023160506920.png]: /images/20210516/16bd0dc998704330b4bd030211d7252a.png
[201910231605389.png]: /images/20210516/f4bfd2a370104a80bd9124bc817bcd78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3MDgxMDE1_size_16_color_FFFFFF_t_70]: /images/20210516/be217e0222cc4450a03b6b43de98a58c.png