kafka入门小结（ windows本地环境）

阳光穿透心脏的1/2处 2024-04-01 15:59 54阅读 0赞

## \# 1 kafka简介 ##

Apache Kafka是分布式发布 - 订阅消息系统。  
官网：http://kafka.apache.org

用途：收集大数据、进行实时分析和处理实时数据流,  
每秒超过一百万条消息。

特性：Kafka 速度快、体积大、可靠性高。

应用场景有：日志收集系统和消息系统。

### 1.1 kafka基本架构 ###

Kafka 消息传递架构由三个组件组成：生产者、 Kafka代理和消费者。  
![在这里插入图片描述][91f95504815448bc81eed3c03b4c5d2c.png]  
Kafka 的架构包括以下组件：  
1、生产者（Producer）：发布消息；  
2、服务代理（Broker）：已发布的消息保存在一组服务器中，它们被称为代理（Broker）或 Kafka 集群；  
3、消费者（Consumer）：可以订阅一个或多个话题，并从 Broker接收的消息；

生产者将数据发送到 Broker 代理，Broker 代理有多个话题 topic ，消费者从 Broker 获取数据。。

### 1.2 kafka消息 ###

主题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），主题是消息的分类名；  
分区（partition）： 所有主题都划分为分区，分区可以放在不同的代理上。

## \# 2 kafka的下载与安装 ##

### 2.1 kafka的下载 ###

下载地址：[https://archive.apache.org/dist/kafka/][https_archive.apache.org_dist_kafka]  
这里下载的版本：kafka\_2.12-3.3.1.tgz

### 2.2 kafka的安装 ###

第1步：下载到E盘，下载之后解压即可。  
![在这里插入图片描述][2b354c5b9a7442cea1a1d34b3b8fea23.png]  
解压后修改文件名为kafka（路径去掉版本号，简单一些）。  
进入bin目录可以看到已经内置支持zookeeper了。  
![在这里插入图片描述][1850ae3d396c4e168702152df803e2a9.png]

第2步：当前目录创建两个文件夹data、kafka-logs;  
![在这里插入图片描述][153dc179eb104286ab2b14d9b838c5d2.png]

第3步：config目录下,打开zookeeper的配置文件zookeeper.properties；修改数据存储的路径：  
![在这里插入图片描述][c1f33921cc07496a99969ff65474a05a.png]

第4步：config目录下,打开kafka的配置文件server.properties；修改服务host和日志存储的路径：  
![在这里插入图片描述][9a5961714ad442c9ae7c83bcf43a154b.png]  
![在这里插入图片描述][db562e8305314b6785ab8ef9cf53dd32.png]

## \# 3 kafka的启动测试 ##

第1步：启动ZooKeeper服务；  
输入命令：

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

![在这里插入图片描述][1f8bcfaed77a457f9adfb937ac6d961f.png]

第2步：启动kafka服务：  
输入命令：

.\bin\windows\kafka-server-start.bat .\config\server.properties

![在这里插入图片描述][888f9d967f86458d963e2afe0a64f189.png]  
第3步：创建topic；test  
输入命令：

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testkafka-topics.bat --create --bootstrap-server  localhost:2181 --replication-factor 1 --partitions 1 --topic test

第4步：打开新的cmd窗口，启动producer；  
输入命令：

.\bin\windows\ testkafka-console-producer.bat --broker-list localhost:9092 --topic test

![在这里插入图片描述][8938ca1fb22b43ecbf52714522dbf2db.png]  
然后就可以发送消息；

第5步：打开新的cmd窗口，启动consumer；  
输入命令：

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

![在这里插入图片描述][fbe25a6428da47fc84cbfe32c1a9be53.png]  
第6步：producer窗口发送“hello kafka!”，consumer窗口收到消息：  
![在这里插入图片描述][ca321f2ba4ab4e688d07d3a0d9843f2b.png]  
说明kafka启动测试成功。

[91f95504815448bc81eed3c03b4c5d2c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b7b7e19e4c9440ed903cfd7cc46c1a03.png
[https_archive.apache.org_dist_kafka]: https://archive.apache.org/dist/kafka/
[2b354c5b9a7442cea1a1d34b3b8fea23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/0534c79adab840289927e6180d0ad0f4.png
[1850ae3d396c4e168702152df803e2a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f5e8f156e35b4d32a8b64a208d2e6c00.png
[153dc179eb104286ab2b14d9b838c5d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/0d5635f0d4a0405395594c44e4b4e6c4.png
[c1f33921cc07496a99969ff65474a05a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/99f093442eb840d8971d575a572e10a5.png
[9a5961714ad442c9ae7c83bcf43a154b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/42e85f7dd2904a34914f4a326d99dc3f.png
[db562e8305314b6785ab8ef9cf53dd32.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/35e1e9a4abb84839821660dccba57b74.png
[1f8bcfaed77a457f9adfb937ac6d961f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/5392f71841bc4e268ab7d7e1cd8ebff9.png
[888f9d967f86458d963e2afe0a64f189.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/81b5f702c3604054aa0da5421b6615e2.png
[8938ca1fb22b43ecbf52714522dbf2db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/58c0a0c12ee04c9b9a9100e1b733cdaa.png
[fbe25a6428da47fc84cbfe32c1a9be53.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2c763bafa9c143909d8c5c5a9d731af8.png
[ca321f2ba4ab4e688d07d3a0d9843f2b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f58a33a889f84a13a859c8e107c90b3d.png