【原】无脑操作：Windows下搭建Kafka运行环境

冷不防 2022-01-07 08:49 316阅读 0赞

![438252-20190321195622059-191064781.png][]

Kafka是一种高吞吐量的分布式发布订阅消息系统

1、优点：  
① 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。  
② 高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。  
③ 支持通过Kafka服务器和消费机集群来分区消息。  
④ 支持Hadoop并行数据加载。

2、基本概念：

① Broker：Kafka集群包含的一个或多个服务器  
② Topic：每条发布到Kafka集群的消息都有一个类别主题。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）  
③ Partition：分区，每个Topic包含一个或多个Partition  
④ Producer：负责发布消息到Kafka broker  
⑤ Consumer：消息消费者，向Kafka broker读取消息的客户端  
⑥ Consumer Group：每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

3、环境准备：

① Windows 7 64位旗舰版

② Zookeeper文件一份zookeeper-3.4.13.tar.gz（下载地址：[http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/][http_mirrors.tuna.tsinghua.edu.cn_apache_zookeeper]），下载完毕后解压至D:\\Kafka

③ Kafka文件一份kafka\_2.12-2.1.1.tgz（下载地址：[http://kafka.apache.org/downloads.html][http_kafka.apache.org_downloads.html]），下载完毕后解压至D:\\Kafka

4、配置设定：

① 环境变量的系统变量中添加ZOOKEEPER\_HOME=D:\\Kafka\\zookeeper-3.4.11，系统变量path中追加;%ZOOKEEPER\_HOME%\\bin

② D:\\Kafka\\zookeeper-3.4.13\\conf目录中，zoo\_sample.cfg文件改名为zoo.cfg

③ zoo.cfg文件中12行的dataDir=/tmp/zookeeper，修改为：dataDir=D:\\\\Kafka\\\\zookeeper-3.4.13\\\\tmp

④ D:\\Kafka\\kafka\_2.12-2.1.1\\config目录中，找到server.properties文件，60行的log.dirs=/tmp/kafka-logs，修改为：log.dirs=D:\\\\Kafka\\\\kafka\_2.12-2.1.1\\\\kafka-logs

5、测试运行：

① 启动Zookeeper

在D:\\Kafka\\zookeeper-3.4.13\\bin目录下，找到zkServer.cmd文件，双击执行，看到如下提示，说明Zookeeper正常启动

注意：启动后不要关闭窗口

![438252-20190321205510562-1802958937.png][]

② 启动Kafka

在D:\\Kafka\\kafka\_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：

.\bin\windows\kafka-server-start.bat .\config\server.properties

看到如下提示，说明Kafka正常启动

![438252-20190321205919187-882355829.png][]

注意：启动后不要关闭窗口

③ 创建及查看Topic

在D:\\Kafka\\kafka\_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

看到如下提示，说明创建成功

![438252-20190321210422197-891551905.png][]

想查看创建过的Topic，可以继续输入：

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

看到如下提示，即列出创建过的Topic列表

![438252-20190321210746444-1712627911.png][]

④ 创建生产者

在D:\\Kafka\\kafka\_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

看到如下提示，说明等待生产

![438252-20190321211518194-868601383.png][]

⑤ 创建消费者

在D:\\Kafka\\kafka\_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

看到如下提示，说明等待消费

![438252-20190321211633100-1449629383.png][]

⑥ 在生产者窗口中输入内容模拟生产，可以在消费者窗口中看到内容

![438252-20190321211803673-1702450787.png][]

转载于:https://www.cnblogs.com/iflytek/p/10574717.html

[438252-20190321195622059-191064781.png]: /images/20211223/1afc3e47fb9c4a2f9c95b61ae5c0cfca.png
[http_mirrors.tuna.tsinghua.edu.cn_apache_zookeeper]: http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
[http_kafka.apache.org_downloads.html]: http://kafka.apache.org/downloads.html
[438252-20190321205510562-1802958937.png]: /images/20211223/a664627783e94c5492b5455cfbf8c4b8.png
[438252-20190321205919187-882355829.png]: /images/20211223/ec4e4b4e788b416dacc4205c2b53c223.png
[438252-20190321210422197-891551905.png]: /images/20211223/9fcd4a5af07c43419a2a719cd0ad13b5.png
[438252-20190321210746444-1712627911.png]: /images/20211223/aa8d9079d2cc44ffb627ea62fca89b96.png
[438252-20190321211518194-868601383.png]: /images/20211223/d4cad74166a74728a7c61a575be87400.png
[438252-20190321211633100-1449629383.png]: /images/20211223/0abd300cc9d94db99b3be7aff9647455.png
[438252-20190321211803673-1702450787.png]: /images/20211223/cf59b031f8fa4a95b59cd0ca2a431d39.png