kafka连接zookeeper配置搭建环境、安装和启动，Windows环境下

待我称王封你为后i 2023-10-01 19:41 23阅读 0赞

kafka，分布式集群架构下，高性能的流式事件数据（主要是消息）集成、发布（生产）和订阅（分发、消费）组件（中间件）。

kafka依赖zooeeper（数据后端），这里有Windows下安装配置启动zookeeper的 文章（1）：

[Windows 10环境zookeeper单机伪集群部署和配置\_Zhang Phil-CSDN博客Windows 10环境zookeeper单机伪集群部署和配置1，首先到zookeeper项目主页地址下载项目包，https://archive.apache.org/dist/zookeeper/本文基于zookeeper-3.5.52，本例目的是在一台Windows 10（64位）机器上，部署三个zookeeper节点，因此把第1步解压后的包：复...![favicon32.ico][]https://blog.csdn.net/zhangphil/article/details/99990669][Windows 10_zookeeper_Zhang Phil-CSDN_Windows 10_zookeeper_1_zookeeper_https_archive.apache.org_dist_zookeeper_zookeeper-3.5.52_Windows 10_64_zookeeper_1_..._favicon32.ico_https_blog.csdn.net_zhangphil_article_details_99990669]

如果zookeeper过于陈旧，需要更新，那么zookeeper最新的下载链接：

[Apache ZooKeeper![favicon.ico][]https://zookeeper.apache.org/releases.html\#download][Apache ZooKeeper_favicon.ico_https_zookeeper.apache.org_releases.html_download]

kafka最新下载链接：

[Apache Kafka![icon-default.png_t_M1L8][]https://kafka.apache.org/downloads.html][Apache Kafka_icon-default.png_t_M1L8_https_kafka.apache.org_downloads.html]

实际上最新版的kafka已经内置、集成了zookeeper，可以按照kafka官方文档的快速启动文档跳过zookeeper配置，直接投入使用kafka，发布和订阅消息。不过鉴于系统各个关键组件和模块要解耦的思想，本文单独基于独立安装配置启动的zookeeper，然后由kafka连接到zookeeper，然后再启动kafka。

**（第一部分）安装配置启动zookeeper。**

这里重新简单介绍一下如何配置安装配置启动zookeeper。具体可参考文章（1）。

（1）解压从Apache下载的zookeeper压缩包后，进入/cof目录，里面有有一个zoo\_sample.cfg文件，这个文件是zookeeper的配置文件，重命名该文件为zoo.cfg，并修改这个文件里面的内容，修改dataDir：

dataDir=E:/zk/tmp/data

这里存放zookeeper存储的数据。

（2）新增log日志存放目录：

dataLogDir=E:/zk/tmp/log

（3）本例只使用集群中的一个机器，所以简单配置一个：

server.1=127.0.0.1:2889:3889

（4）写一个叫做 myid的文件，把该文件复制一份，myid里面写入（3）中的 1，放到/tmp/data/目录下面。

（5）启动zookeeper。

通过Windows控制台，进入/bin目录下，运行zkServer.bat，即启动了zookeeper：

**（第二部分）安装配置启动kafka。**

如果是一台单点机器，kafka配置文件可不用修改，直接到bin目录下启动kafka-server-start即可。若是分布式集群，就需要配置kafka。

找到config\\server.properties文件，里面的zookeeper.connect即为kafka要连接的zookeeper的地址，根据自己部署的zookeeper地址进行配置：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAemhhbmdwaGls_size_20_color_FFFFFF_t_70_g_se_x_16][]

log.dirs配置自己设备上用于存放kafka日志的路径：

![0580722694dc4787b7fcc9217acac6f3.png][]

以上配置完成后，进入bin/windows目录下，找到kafka-server-start.bat文件，启动：

kafka-server-start.bat E:/kafka/config/server.properties

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAemhhbmdwaGls_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

启动成功。

**（第三部分）基于命令行，在kafka中发布消息/订阅查看消息。**

（1）创新主题topic。

kafka创建主题topic需要配置两个核心参数：

replication-factor  
partitions

replication-factor：表示副本数量。每个topic可以有多个副本，副本位于集群中不同的broker上，副本的数量不能超过broker数量，否则创建主题会失败。  
partitions：主题topic的分区数。kafka通过分区策略，把不同分区分配在集群中的broker上，一般会分散在不同的broker上，当只有一个broker时，所有分区就只分配到该broker上。消息会通过负载均衡发布到不同的分区上，消费者监控偏移量感知哪个分区有新数据，然后从该分区拉取新消息数据。

在旧版kafka中，创建主题topic需要，新版的kafka不需要。创建一个叫做zhangphil\_demo的主题topic：

kafka-topics.bat --create --topic zhangphil_demo --bootstrap-server localhost:9092

创建成功后系统输出：

WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.
    Created topic zhangphil_demo.

查看刚才新建的主题zhangphil\_demo的详细信息：

kafka-topics.bat --describe --topic zhangphil_demo --bootstrap-server localhost:9092

输出：

![bf3ff9570d174c7da0a24cec887e4b2f.png][]

（2）在主题topic写入/发布数据（生产者），消费/订阅数据（消费者）。

kafka-console-producer.bat --topic zhangphil_demo --bootstrap-server localhost:9092

该命令是在名为zhangphil\_demo的主题topic下写入数据。

为了观察效果，最好先启动kafka的消费者（订阅者），订阅主题topic：zhangphil\_demo：

kafka-console-consumer.bat --topic zhangphil_demo --from-beginning --bootstrap-server localhost:9092

即，先启动kafka的订阅消费者，接受来自主题zhangphil\_demo的消息。这时候，再在主题zhangphil\_demo写入消息，如图：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAemhhbmdwaGls_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

没在主题zhangphil\_demo里面写入一条消息，hello,world! x，订阅者/消费者就能收到发布者的消息。

[favicon32.ico]: https://g.csdnimg.cn/static/logo/favicon32.ico
[Windows 10_zookeeper_Zhang Phil-CSDN_Windows 10_zookeeper_1_zookeeper_https_archive.apache.org_dist_zookeeper_zookeeper-3.5.52_Windows 10_64_zookeeper_1_..._favicon32.ico_https_blog.csdn.net_zhangphil_article_details_99990669]: https://blog.csdn.net/zhangphil/article/details/99990669
[favicon.ico]: https://zookeeper.apache.org/images/favicon.ico
[Apache ZooKeeper_favicon.ico_https_zookeeper.apache.org_releases.html_download]: https://zookeeper.apache.org/releases.html#download
[icon-default.png_t_M1L8]: https://csdnimg.cn/release/blog_editor_html/release2.0.7/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=M1L8
[Apache Kafka_icon-default.png_t_M1L8_https_kafka.apache.org_downloads.html]: https://kafka.apache.org/downloads.html
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAemhhbmdwaGls_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/ddd697832e3041d888890df06b22a050.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAemhhbmdwaGls,size_20,color_FFFFFF,t_70,g_se,x_16
[0580722694dc4787b7fcc9217acac6f3.png]: https://img-blog.csdnimg.cn/0580722694dc4787b7fcc9217acac6f3.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAemhhbmdwaGls_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/08b9c898dfeb41ad85443a04b35dd61c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAemhhbmdwaGls,size_20,color_FFFFFF,t_70,g_se,x_16
[bf3ff9570d174c7da0a24cec887e4b2f.png]: https://img-blog.csdnimg.cn/bf3ff9570d174c7da0a24cec887e4b2f.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAemhhbmdwaGls_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/a10556d37dcf4b3e8eb9853849cf2d90.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAemhhbmdwaGls,size_20,color_FFFFFF,t_70,g_se,x_16