docker compose部署kafka

谁践踏了优雅 2022-10-31 00:37 398阅读 0赞

## 安装compose ##

安装目录：/root/container/docker

sudo curl -L "https://get.daocloud.io/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /root/container/docker
    chmod +x/usr/local/bin/docker-compose

## 创建/修改compose配置文件 ##

编辑配置文件docker-compose.yml

version: '3'
    services:
      zookeeper:
        image: wurstmeister/zookeeper
        volumes:
          - ./data:/data
        ports:
          - "2183:2181"
    
      kafka:
        image: wurstmeister/kafka
        depends_on: [ zookeeper ]	// 依赖启动项，当zookeeper启动完成后，才启动kafka
        ports:
          - "9025:9092"  // 025为宿主机对外端口，9092为docker内服务端口
        environment:
          KAFKA_ADVERTISED_HOST_NAME: 172.16.3.1
          KAFKA_CREATE_TOPICS: "appLogs:1:1"	// kafka启动时自动创建topic，名为 appLogs
          KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"
        volumes:
          - ./kafka-logs:/kafka
          - /var/run/docker.sock:/var/run/docker.sock
    
      kafka-manager:
        image: sheepkiller/kafka-manager
        ports:
          - "9000:9000"
        environment:
          ZK_HOSTS: "zookeeper:2181"
        depends_on:
          - kafka  // 依赖启动项，当kafka启动完成后，才启动kafka-manager

## 启动服务 ##

docker-compose up -d	// 启动镜像    -d 表示后台静默启动
    docker-compose down	// 关闭镜像
    docker-compose ps  // 查看当前compose进程列表
    lsof -i:9000	// 查看占用9000端口的进程
    docker logs -f zookeeper // 查看启动日志，zookeeper是容器名

## 查看及操作Topic ##

##### 进入docker-kafka容器 #####

// docker_kafka_1是容器名，可以通过ps命令看到
    docker exec -it docker_kafka_1 /bin/bash

查看topic列表
    kafka-topics.sh  --zookeeper 172.16.3.1:2183 --list
    
    创建topic（tLog)
    kafka-topics.sh  --zookeeper 172.16.3.1:2183 --create --replication-factor 1 --partitions 1 --topic tLog
    
    删除topic（tLog)
    kafka-topics.sh --delete --zookeeper 172.16.3.1: 9025 --topic tLog
    
    模拟生产者
    kafka-console-producer.sh --broker-list 172.16.3.1:9025 --topic tLog
    
    模拟消费者（新开终端）
    kafka-console-consumer.sh --bootstrap-server 172.16.3.1:9025 --topic tLog --from-beginning

##### 进入kafka主目录 #####

cd opt/kafka

## kafka版本信息 ##

查看kafka版本（需先进入kafka容器）

find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

![前面为scala版本，后面为kafka版本。][scala_kafka]  
前面为scala版本，后面为kafka版本。(2.7.0)

##### 与spring版本对应关系 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU2NTA5NQ_size_16_color_FFFFFF_t_70]

###### 与zk版本对应关系 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU2NTA5NQ_size_16_color_FFFFFF_t_70 1]

## 参考 ##

[Docker Compose安装kafka和springboot整合kafka][Docker Compose_kafka_springboot_kafka]  
[spring.io - Spring for Apache Kafka][]

[scala_kafka]: /images/20221024/73aab2840c214cd990ae20e3b7e10dc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU2NTA5NQ_size_16_color_FFFFFF_t_70]: /images/20221024/a7de2c53c7d4445d9cfd8eb5c043b757.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU2NTA5NQ_size_16_color_FFFFFF_t_70 1]: /images/20221024/f7268d1af91b4b80b1436e199e2f9db9.png
[Docker Compose_kafka_springboot_kafka]: https://www.cnblogs.com/Lambquan/p/13649715.html
[spring.io - Spring for Apache Kafka]: https://spring.io/projects/spring-kafka#overview