Kafaka高可用集群环境搭建

傷城~ 2022-01-28 11:39 366阅读 0赞

# [Kafaka高可用集群环境搭建][Kafaka] #

zk集群环境搭建：https://www.cnblogs.com/toov5/p/9897868.html

三台主机每台的Java版本1.8

下面kafka集群的搭建：

** 3台虚拟机均进行以下操作： **

// 解压下载好的kafka压缩包并重命名  
cd /home

wget http://mirror.bit.edu.cn/apache/kafka/1.1.1/kafka\_2.11-1.1.1.tgz

tar -xzvf kafka\_2.11-1.1.1.tgz

mv kafka\_2.11-1.1.1 kafka

// 修改配置文件

vi ./kafka/config/server.properties

修改如下：

主机1的：（其他主机类似）

broker.id=0  \#做标记的哦 其他的主机 1  2   **与Zookeeper的data目录下的myId一致！**

listeners=PLAINTEXT://192.168.91.1:9092  \#监听的IP地址和端口号  这其实是个协议 要写全！  监听的本机的ip端口号哈     其他的主机ip地址更改

zookeeper.connect=192.168.91.1:2181,192.168.91.3:2181,192.168.91.4:2181    \#zk的集群地址

然后修改系统环境中配置kafka的路径

vi /etc/profile

// 在文件最下方添加kafka路径

export KAFKA\_HOME=/home/kafaka/kafka

// PATH的修改 多路径PATH写法为PATH=$\{ZOOKEEPER\_HOME\}/bin:$\{KAFKA\_HOME\}/bin:$PATH

$PATH:$\{KAFKA\_HOME\}/bin

我的配置后：

export PATH=$PATH:$\{KAFKA\_HOME\}/bin:$JAVA\_HOME/bin:$ZOOKEEPER\_HOME/bin:$PATH

![1179709-20190120034849715-1568360261.png][]

// 使修改完的环境变量生效

source /etc/profile

此时 其他的两台

scp -r ./kafaka/ root@192.168.91.3:/home

scp -r ./kafaka/ root@192.168.91.4:/home

然后分别修改server.properties

broker.id=X  \#做标记的哦 其他的主机 X =1 和  2

listeners=PLAINTEXT://192.168.91.X:9092  \#监听的IP地址和端口号  这其实是个协议 要写全！  监听的本机的ip端口号哈     其他的主机ip地址更改

，修改 /etc/profile  与第一台一致

此时的环境便搭建完毕！

**先启动Zookeeper集群，**

逐个主机启动： /home/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start

查看启动状态： /home/zookeeper/zookeeper-3.4.6/bin/zkServer.sh status

**再启动kafka集群**

2、在后台开启3台虚拟机的kafka程序

/home/kafaka/kafka

./bin/kafka-server-start.sh -daemon config/server.properties

**启动成功！**

![1179709-20190120122634504-1585258224.png][]

注意每个服务器要关闭防火墙！！

Kafka 没有后台图形化 不跟rabbitmq似的哈哈

查看Zookeeper：

![1179709-20190120124925861-1236574373.png][]

每个broker启动后 会去zk注册信息，创建节点信息

![1179709-20190120125056402-394448266.png][]

**下面创建个topic试试：**

**![1179709-20190120135353818-1732727073.png][]**

**    参考官网：http://kafka.apachecn.org/quickstart.html **

**     创建topic时候 需要指定分区partition  1 表示只在一个broker里面存放。（单节点存放）**

**                                                                   3 表示三个broker里面存放 。生产者投递消息时候 均摊存放！**

![1179709-20190120123028539-1398855935.png][]

只会在1个broker进行创建

在某一台服务器上创建 topic：

/home/kafaka/kafka/bin/kafka-topics.sh --create --**zookeeper** 192.168.91.1:2181 --replication-factor 1 --partitions **1** \--topic test   \# 创建topic时候 会向zk进行连接 1表示在单机上存储创建

![1179709-20190120140036582-737228899.png][]

zk查看：

![1179709-20190120140245170-139252247.png][]

broker就是我们指定的这台服务器上   partition是1 的话每次都投递到 0这个broker上哦

下面介绍下日志查看：

kafka的日志存放是在配置中的 server.properties:

![1179709-20190120140757939-640794716.png][]

创新topic后发送消息

往指定的broker发送消息

bin/kafka-console-producer.sh --broker-list 192.168.91.1:9092 --topic test

![1179709-20190120142940630-2011863897.png][]

启动consumer进行消费：连接的不是同一台主机，也可以进行消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.91.3:9092 --topic test --from-beginning

![1179709-20190120142953811-160430534.png][]

同是一个集群。互通的 ，只是消息存放的地方有别而已。

继续创建topic，存放到三个broker：

/home/kafaka/kafka/bin/kafka-topics.sh --create --**zookeeper** 192.168.91.1:2181 --replication-factor 1 --partitions **3 **\--topic  **my\_test\_topic**

创建成功后查看日志目录：

broker0

![1179709-20190120144501031-927332249.png][]

broker1

![1179709-20190120144515014-1989617658.png][]

broker2

![1179709-20190120144525738-807500912.png][]

通过test-0  my\_test\_topic\_x 可以看出编号是有自己的算法的

得出的结论是 topic 在三台不同的节点进行存放的，生产者投递消费进行均摊。

[Kafaka]: https://www.cnblogs.com/toov5/p/10293917.html
[1179709-20190120034849715-1568360261.png]: /images/20220128/447a73de4d1444a69c560cf5e1b1d359.png
[1179709-20190120122634504-1585258224.png]: /images/20220128/be97fd1f5faa4e7c8548e42445833b09.png
[1179709-20190120124925861-1236574373.png]: /images/20220128/7fbaf6d158c048bd85ec0bc9c58642df.png
[1179709-20190120125056402-394448266.png]: /images/20220128/e55f3aa153b74c1e9736a8976e2dfebb.png
[1179709-20190120135353818-1732727073.png]: /images/20220128/e17cf63c9be54629b9198a1ae53a4b9b.png
[1179709-20190120123028539-1398855935.png]: /images/20220128/9fdf48498896477fa5580c617644a564.png
[1179709-20190120140036582-737228899.png]: /images/20220128/e8c2944294654318b4a590ad43bec7f2.png
[1179709-20190120140245170-139252247.png]: /images/20220128/aa64abe51d254fb6825fb6ea8d427288.png
[1179709-20190120140757939-640794716.png]: /images/20220128/d9321b5d8d224bf4887fc99c9e72c54b.png
[1179709-20190120142940630-2011863897.png]: /images/20220128/1807b88cc7a24e31b9988d7a4e35611e.png
[1179709-20190120142953811-160430534.png]: /images/20220128/91051d90ab884c2993d1ece159e6ad19.png
[1179709-20190120144501031-927332249.png]: /images/20220128/0f864727dda140faaed846fb740430a3.png
[1179709-20190120144515014-1989617658.png]: /images/20220128/80614e376a1b45938d8dc734be471844.png
[1179709-20190120144525738-807500912.png]: /images/20220128/47e39a528eb04429bea9f15c551134d9.png