五.Spark Streaming之kafka单节点多broker部署及使用(二)

╰+哭是因爲堅強的太久メ 2022-04-16 07:15 204阅读 0赞

**一.引言**  
    对于Kafka，一个代理只是一个大小为1的集群，所以除了启动更多的代理实例之外，不会有什么变化。但是为了了解它，让我们将集群扩展到三个节点(仍然都在本地机器上)。

**二.单节点多Broker部署及使用**  
具体的环境搭建配置请点击[环境搭建参考][Link 1]

第一步.复制server.properties为:

server-1.properties
    server-2.properties
    server-3.properties

第二步.修改其中的配置文件:

server-1.properties:

broker.id = 1
    listeners=PLAINTEXT://:9093
    log.dirs=/root/data/tmp/kafka-logs-1

server-2.properties:

broker.id = 2
    listeners=PLAINTEXT://:9094
    log.dirs=/root/data/tmp/kafka-logs-2

server-3.properties

broker.id = 3
    listeners=PLAINTEXT://:9095
    log.dirs=/root/data/tmp/kafka-logs-3

第三步.分别启动:

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
    
    kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
    
    kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &

\-damon : 是以后台的方式启动,即便启动页面关了也不影响

第四步. 创建topic:

kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

创建完成之后查看注册中心:

kafka-topics.sh --list --zookeeper hadoop000:2181

显示结果如下:  
![在这里插入图片描述][20181119112117411.png]  
查看详细信息:

kafka-topics.sh --describe --zookeeper hadoop000:2181

显示结果:  
![在这里插入图片描述][20181119112240166.png]  
解释:  
“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的领导者。  
“replicas”是复制此分区日志的节点列表，无论它们是否为领导者，或者即使它们当前处于活动状态。  
“isr”是“同步”复制品的集合。这是副本列表的子集，该列表当前处于活跃状态并且已经被领导者捕获。

第五步.发送消息:

kafka-console-producer.sh --broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replicated-topic

然后在发送消息界面中输入内容,生产出消息供消费者消费消息:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70]

第六步.消费消息:

kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic my-replicated-topic

消费名为my-replicated-topic的topic,检查控制台是否有相应的输出:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70 1]

至此就完成了kafka单节点多broker的部署及使用。

今天周一,心情不知道为什么有点烦,让我想起了一句话"自古圣贤皆寂寞",人生漫漫唯有忙碌使我快乐。

[Link 1]: https://blog.csdn.net/ligh_sqh/article/details/84141725
[20181119112117411.png]: /images/20220416/c7a52fe9e16a44c283a93e8efd810237.png
[20181119112240166.png]: /images/20220416/ac32b6d645804c38a128a09c5bbdc6c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70]: /images/20220416/8da64c6cdc244586aefa716170ecdc99.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZ2hfc3Fo_size_16_color_FFFFFF_t_70 1]: /images/20220416/c6d0ccf7cc5849a78db8958cf894367a.png