大数据技术之 Kafka (第 2 章 Kafka快速入门)

悠悠 2023-05-28 08:26 23阅读 0赞

#                                    第 2 章 Kafka 快速入门  #

### 下载安装kafka集群 ###

1.需要jdk

2.需要zookeeper，这个东西在最新版的Kafka中内置。

3.下载Kafka安装包 （下载官网地址：[http://kafka.apache.org/downloads.html][http_kafka.apache.org_downloads.html]）

### **一，下载**Kafka安装包 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 1][]

### 二，Kafka安装包上传linux ###

这里我选择了最新版本下载，然后上传到centos7下，这里我使用xftp5这个工具上传到usr/local/software目录下（这里我上台机器都上传了，为了后面搭建集群使用）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 2][]

上传已经ok，那我们使用xshell工具链接到字节的虚拟机centos7

首先进入到/usr/local/software这个目录

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 3][]

我们已经看见kafka的这个tar包

### 三，接下来我们需要解压这个tar包 ###

1）使用这个命令解压这里我的解压目录是 /usr/local/hadoop/kafka/       tar -zxvf kafka\_2.12-2.4.1.tgz -C /usr/local/hadoop/kafka/

![20200328171221756.png][]

2）修改解压后的文件名称

这里我没有修改目录名字              可以修改   mv kafka\_2.12-2.4.1/ kafka   我不改的原因是这样看起来直观知道用的那个版本的

3）在/usr/local/hadoop/kafka/kafka\_2.12-2.4.1/  目录下创建 logs 文件夹

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 4][]

4）修改配置文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 5][]

#broker 的全局唯一编号，不能重复 broker.id=0 
    #删除 topic 功能使能 delete.topic.enable=true 
    #处理网络请求的线程数量 num.network.threads=3 
    #用来处理磁盘 IO 的现成数量 num.io.threads=8 
    #发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 
    #接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 
    #请求套接字的缓冲区大小 socket.request.max.bytes=104857600 
    #kafka 运行日志存放的路径 log.dirs=/usr/local/hadoop/kafka/kafka_2.12-2.4.1/logs 
    #topic 在当前 broker 上的分区个数 num.partitions=1 
    #用来恢复和清理 data 下数据的线程数量 num.recovery.threads.per.data.dir=1 
    #segment 文件保留的最长时间，超时将被删除 log.retention.hours=168 
    #配置连接 Zookeeper 集群地址 zookeeper.connect=backup01:2181,backup02:2181,backup03:2181

**注意新版本是kafka是内置zookeeper  我们可以看见这个zookeeper.properties这个配置文件**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 6][]

**注意：这里根据你的需要选择是内置zookeeper还是自己安装的zookeeper，我使用的是自己安装的zookeeper。**

### 四，环境变量的配置    vim /etc/profile ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 7][]

[root@backup01 java]# source /etc/profile

### **五，将配置好的zookeeper分发到集群的所有机器** ###

经过上面的四个步骤kafka已经配置完毕，然后将其依次拷贝的集群的其他机器中。快捷一点可以使用 **scp** 命令来做这件事：

scp 本地zookeeper安装目录 登陆远程机器的用户名@远程机器地址 : 远程机器存放kafka的地址
    
    eg:scp -r kafka skyler@slave1:/usr/local/hadoop/

### 六，不知道大家有没有关注到前面说过的  server.properties ###

#broker 的全局唯一编号，不能重复 broker.id=0

所以我们需要修改集群下的这个全局唯一编号  broker.id（注意这个id只能是Interger类型）

将集群backup02  backup03机器侠的kafkabroker.id分别改为1和2

cd /usr/local/hadoop/kafka/kafka_2.12-2.4.1/config
    vim server.properties

![20200329093111234.png][]

到这里基本搭建完成

启动zk [zk的集群安装和启动参考这篇博客][zk]

启动kafka集群

依次在 backup01、backup02、backup03 节点上启动 kafka 
    cd /usr/local/hadoop/kafka/kafka_2.12-2.4.1/
    [root@backup01 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties
    [root@backup02 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties
    [root@backup03 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties

[启动报内存不足解决办法][Link 1]

[http_kafka.apache.org_downloads.html]: http://kafka.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70]: /images/20230528/7320a25017f5471d968401b587597e40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 1]: /images/20230528/652db409f2594b57a3ffb0fceae78cc3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 2]: /images/20230528/a944c9e1bcce4416b07542ffbb00e8f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 3]: /images/20230528/bc5c80ba4cd14aea971df97b679e5cdc.png
[20200328171221756.png]: /images/20230528/e4a77d6088e548b98fcc8add9384d01a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 4]: /images/20230528/9592d812cbe1422e88bac7fa3cfa0414.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 5]: /images/20230528/e93c10fc0a2b48eab3a77abfa16f1cc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 6]: /images/20230528/84ed4e32e2ac42a3aad20e9cf4df484b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l3bDQ3MDgxMjA4Nw_size_16_color_FFFFFF_t_70 7]: /images/20230528/77d94a33f826469aa96b7bcb46363e99.png
[20200329093111234.png]: /images/20230528/c87db87f8c574a2a83a1c6d75b017d5b.png
[zk]: https://blog.csdn.net/ywl470812087/article/details/84074517
[Link 1]: https://blog.csdn.net/ywl470812087/article/details/105174441