docker-compose部署ELK(可跟踪多个日志文件)

矫情吗；* 2022-10-14 13:52 337阅读 0赞

## 使用docker-compose部署ELK ##

### docker下载部署所需镜像 ###

kibana 7.5.0 docker pull kibana:7.5.0
    elasticsearch 7.5.0 docker pull elasticsearch：7.5.0
    logstash 7.5.0 docker pull logstash:7.5.0
    elasticsearch-head:5 docker pull mobz/elasticsearch-head:5
    filebeat 7.5.0  docker pull registry.cn-hongkong.aliyuncs.com/hyn-beats/filebeat:7.5.0

### vim docker-compose.yml ###

version: '3'
    services:
      elasticsearch:
        image: elasticsearch:7.5.0
        container_name: elasticsearch
        environment:
          - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
          - "discovery.type=single-node" #以单一节点模式启动
          - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
          - TZ=Asia/Shanghai
        volumes:
          - /work/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
          - /work/elk/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
        ports:
          - 9200:9200
      kibana:
        image: kibana:7.5.0
        container_name: kibana
        links:
          - elasticsearch:elasticsearch #可以用elasticsearch这个域名访问elasticsearch服务
        depends_on:
          - elasticsearch #kibana在elasticsearch启动之后再启动
        environment:
          - "elasticsearch.hosts=http://elasticsearch:9200" #设置访问elasticsearch的地址
          - TZ=Asia/Shanghai
          - I18N_LOCALE=zh-CN
        ports:
          - 5601:5601
      logstash:
        image: logstash:7.5.0
        container_name: logstash
        volumes:
          - /work/elk/logstash/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
          - /work/elk/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml
        environment:
          - TZ=Asia/Shanghai #环境设置时区
        depends_on:
          - elasticsearch #kibana在elasticsearch启动之后再启动
        links:
          - elasticsearch:elasticsearch #可以用es这个域名访问elasticsearch服务
        ports:
          - 5044:5044

### 新建文件夹 ###

/work/elk/elasticsearch/data
    /work/elk/elasticsearch/plugins

### 设置文件夹权限 ###

chmod -R 777 data
    chmod -R 777 plugins

### vim /work/elk/logstash/logstash-springboot.conf ###

## logtash.conf
    input { 
      beats { 
        port => "5044"
        codec => "json"
      }
    }
    
    
    output { 
      stdout {  codec => rubydebug }
      elasticsearch { 
            hosts => [ "{主机IP地址}:9200" ]
        }
    }

### vim /work/elk/logstash/logstash.yml ###

http.host: "0.0.0.0"
    # es-head连接es可能是连不上的，是因为es没有开启跨域(不安装es-head不需要增加下面的配置)
    http.cors.enabled: true
    http.cors.allow-origin: "*"

### 执行 ###

docker-compose up -d

### 查看结果 ###

docker ps  
![在这里插入图片描述][20210521204145268.png_pic_center]

### 编写filebeat的docker-compose.yml ###

version: '3'
    services:
      filebeat:
        image: store/elastic/filebeat:7.5.0 # 你下载的镜像的版本，
        container_name: filebeat
        restart: always
        volumes:
        # 对应你要映射的日志文件 
        - /work/ggfw/pw/:/work/ggfw/pw/
        - /work/ggfw/cw/:/work/ggfw/cw/
        - /opt/nginx/logs/:/opt/nginx/logs/
        ........ # 可以配置多个
        # 下面的固定加的
        - /work/elk/filebeat/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro
        - /var/lib/docker/containers:/var/lib/docker/containers:ro
        - /var/run/docker.sock:/var/run/docker.sock:ro
        network_mode: "host"  # 可加可不加，由于项目中用dubbo，消费者出现了filebeat的网络ip

### 编写filebeat本地配置 ###

vim /work/elk/filebeat/filebeat.docker.yml

#filebeat.config:
    filebeat.inputs:
    - type: log
      enabled: true
      paths:
      - /work/ggfw/pw/app.log
      fields: 
        service: pw
      fields_under_root: true
    - type: log
      enabled: true
      paths:
      - /work/ggfw/cw/app.log
      fields:
        service: cw
      fields_under_root: true
    ...... # 可以加多个日志文件，如果一个文件夹下有多个日志文件，也可以使用*.log
       
    #日志输出配置(采用 logstash 收集日志，5044为logstash端口)
    output.logstash:
      hosts: ['{IP地址}:5044']

### 执行 ###

docker-compose up -d  
以上，服务器端配置完成，查看kabana，访问：

http://{IP地址}:5601/

在索引管理里就可以看到将所有指定的日志文件对应的索引了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwNzQxMTMz_size_16_color_FFFFFF_t_70_pic_center]

一顿添加操作后，可以在Discover里看到日志内容了。然后按照自己的想看的去筛选各个微服务的日志。可以进行保存，方便下次打开。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwNzQxMTMz_size_16_color_FFFFFF_t_70_pic_center 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwNzQxMTMz_size_16_color_FFFFFF_t_70_pic_center 2]

[20210521204145268.png_pic_center]: /images/20221014/34d615face034495b20777e63d82abca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwNzQxMTMz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221014/61cd03c57b4e43cf888265ab5a3a8203.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwNzQxMTMz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221014/1c50f55b2994447ba8fe5f6edfb580a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwNzQxMTMz_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221014/4872be7f923b43fe8887e58d3903e548.png