Kafka Manager部署及使用

清疚 2022-03-15 02:18 370阅读 0赞

1.  **配置Java环境变量**
    
        [root@node00 profile.d]# pwd
        /etc/profile.d
        [root@node00 profile.d]# cat java.sh 
        export JAVA_HOME=/usr/java/default
        export PATH=$PATH:$JAVA_HOME/bin
    
    执行如下命令使环境变量生效并查看java版本
    
        [root@node00 ~]# java -version
        java version "1.8.0_162"
        Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
        Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)
2.  **下载kafka-manager源码**  
    命令行使用git命令将kafka-manager的源码下载到本地
    
        [root@node00  ~]# git clone https://github.com/yahoo/kafka-manager.git
3.  **编译kafka-manager**
    
        [root@node00 ~]# cd kafka-manager/
        [root@node00 kafka-manager]# ./sbt clean dist
    
    注：若出现sbt的错误，可能是没有安装sbt 。`yum install -y sbt`  
    在编译的过程中，日志中有warn可以，但不要有error。有错误则检查解决。
    
    编译需要耗费大量的时间，需要耐心等待。
4.  **编译完成后，找到编译好的压缩包kafka-manager-1.3.3.22.zip**
    
        [root@node00 universal]# pwd
        /root/soft/kafka-manager/target/universal
        [root@node00 universal]# ll
        total 82444
        -rw-r--r-- 1 root root 84416362 Feb 28 13:31 kafka-manager-1.3.3.22.zip
        drwxr-xr-x 3 root root     4096 Feb 28 13:31 scripts
5.  **部署Kafka-Manager**  
    将上述编译好的zip压缩包，拷贝至/opt/cloudera目录下并解压
    
        [root@node00 universal]# cp kafka-manager-1.3.3.22.zip /opt/cloudera/
        [root@node00 universal]# cd /opt/cloudera/
        [root@node00 cloudera]# unzip kafka-manager-1.3.3.22.zip
    
    若提示没有unzip命令，安装一下：`yum install -y unzip`
6.  **修改application.conf配置**
    
        [root@node00 conf]# pwd
        /opt/cloudera/kafka-manager-1.3.3.22/conf
        [root@node00 conf]# ll
        total 24
        -rw-r--r-- 1 root root 2650 Feb 28 15:00 application.conf       (修改此文件)
        -rw-r--r-- 1 root root  184 Feb 28 12:43 consumer.properties
        -rw-r--r-- 1 root root 2108 Feb 28 12:43 logback.xml
        -rw-r--r-- 1 root root 1367 Feb 28 12:43 logger.xml
        -rw-r--r-- 1 root root 7423 Feb 28 12:43 routes
    
    修改如下配置：
    
    1.  zoopkeeper地址
    2.  用户名
    3.  密码
    
        kafka-manager.zkhosts="node00:2181,node01:2181,node02:2181"        # zoopkeeper地址 
        kafka-manager.zkhosts=${?ZK_HOSTS}
        ...
        basicAuthentication.username="admin"                                # 用户名 
        basicAuthentication.username=${?KAFKA_MANAGER_USERNAME}
        basicAuthentication.password="123456"                                # 密码
        basicAuthentication.password=${?KAFKA_MANAGER_PASSWORD}
7.  **启动Kafka-Manager**
    
    Kafka-Manager启动默认端口号为9000，可以通过-Dhttp.port来指定端口号
    
        [root@node00 kafka-manager-1.3.3.22]# nohup bin/kafka-manager -Dhttp.port=8090 > nohup.out 2>&1 &
    
    监听8090端口
    
        [root@node00 universal]# netstat -apn | grep 8090
        tcp6       0      0 :::8090                 :::*                    LISTEN      16508/java
8.  **访问登录http://172.16.10.190:8090**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70]
9.  **停止Kafka-Manager**
    
        # 查看进程号
        [root@node00 kafka-manager-1.3.3.22]# cat RUNNING_PID 
        16508
        # 杀死进程
        [root@node00 kafka-manager-1.3.3.22]# kill -9 16508
        # 删除RUNNING_PID 文件
        [root@node00 kafka-manager-1.3.3.22]# rm -rf RUNNING_PID
10. **Kafka-Manager使用**
    
    1.  点击Cluster菜单，添加一个Kafka集群  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 1]
    2.  输入Kafka集群的相关信息![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 2] 查看kafka版本 (2.11是Scala 的版本，1.0.1才是kafka的版本)
        
            [root@node00 kafka]# pwd
            /opt/cloudera/parcels/KAFKA/lib/kafka
            [root@node00 kafka]# find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
            kafka_2.11-1.0.1-kafka-3.1.0-SNAPSHOT.jar
        
        根据自己当前Kafka集群的环境进行相应的配置，点击“Save”完成集群添加  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 3]
    3.  点击 Kafka-CDH 连接，进入Kafka集群的详细界面，下图为Kafka的统计信息  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 4]
11. **启停脚本**
    
        #! /bin/bash
        
        case $1 in
        "start"){ 
                echo " -------- 启动 KafkaManager -------"
                nohup /usr/local/kafka-manager-1.3.3.22/bin/kafka-manager   -Dhttp.port=8090 >start.log 2>&1 &
        };;
        "stop"){ 
                echo " -------- 停止 KafkaManager -------"
                ps -ef | grep ProdServerStart | grep -v grep |awk "{print \$2}" | xargs kill 
        };;
        esac

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70]: /images/20220315/5705e8682289455ca1fa8a789c7c340c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 1]: /images/20220315/007ef64f93c04b77ae58909415c9aa69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 2]: /images/20220315/12df13f3902a4e739305b38ac536845c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 3]: /images/20220315/1dd50c38c1ee4ad7a912fb3ace36d75f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 4]: /images/20220315/63d4ba6c7061483cb3f46639d60ce4fe.png