Logback+kafka+ELK搭建微服务日志

痛定思痛。 2021-11-05 05:48 731阅读 0赞

### Logback+kafka+ELK搭建微服务日志 ###

*  前言
 *  环境准备
 *   *  安装zookeeper
     *  安装kafka
     *  安装elasticsearch
     *  安装logstash
     *  安装kibana
     *  配置Logback
     *   *  pom文件改造
         *  新增logback-spring.xml
         *  boot配置文件一下
     *  测试
     *  kibana使用

# 前言 #

微服务下的日志不能采用原先单一架构的日志系统，因为日志文件分散在各个服务器上面，对于排查问题很不友好。我们的目标是把所有的服务产生的日志都聚合到一起。所以采用Logback+kafka+ELK的方法来搭建微服务日志。  
大体流程是是通过logback打印日志，然后将日志通过kafka消息队列发送到Logstash,经过处理以后存储到Elasticsearch中，然后通过Kibana图形化界面进行分析和处理。

# 环境准备 #

1.  window环境
2.  Spring boot 2.0.3.RELEASE
3.  elasticsearch-7.3.0
4.  kafka\_2.11-2.3.0
5.  kibana-7.3.0-windows-x86\_64
6.  logstash-7.3.0
7.  zookeeper-3.4.12

## 安装zookeeper ##

下载地址:[http://mirror.bit.edu.cn/apache/zookeeper/][http_mirror.bit.edu.cn_apache_zookeeper]  
因为kafka依赖zookeeper，所以我们需要按照zookeeper。下载下来之后直接解压。  
将目录中conf下的配置文件 zoo\_sample.cfg 重命名 zoo.cfg即可(使用默认配置即可)。

#默认端口2181 
    clientPort=2181
    之后 双击bin\zkServer.cmd 即可

## 安装kafka ##

下载地址:[http://kafka.apache.org/downloads][http_kafka.apache.org_downloads]  
注意要下载二进制的别下载源码  
下载下来之后直接解压。一样使用默认的配置文件即可

# 如果zookeeper的端口修改过 则需要将这里需要改一下
    zookeeper.connect=localhost:2181
    (建议把地址改成ip)
    listeners=PLAINTEXT://172.16.12.67:9092
    cmd启动 bin\windows>kafka-server-start.bat ..\..\config\server.properties

## 安装elasticsearch ##

下载地址:[https://www.elastic.co/cn/downloads/elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]  
下载下来之后直接解压。一样使用默认的配置文件即可

双击 bin\elasticsearch.bat

## 安装logstash ##

下载地址:[https://www.elastic.co/cn/downloads/logstash][https_www.elastic.co_cn_downloads_logstash]  
下载下来之后直接解压。

# 修改logstash-simple.con  注意这里写的kafka配置到时候要和Logback配置的一样
    input {
        kafka {
            bootstrap_servers => "172.16.12.67:9092"
            topics => ["kafka-log"]
            codec => json
            }
    }
     
    output {
        elasticsearch {
            hosts => ["127.0.0.1:9200"]
            index => "kafka-log-%{+YYYY.MM.dd}"
        }
        stdout{
            codec=>rubydebug
        }
    }
    
    cmd启动 logstash.bat -f logstash-simple.conf (我把配置文件放到bin目录下了 不放的话就写配置文件的相对地址)

## 安装kibana ##

下载地址:[https://www.elastic.co/cn/downloads/kibana][https_www.elastic.co_cn_downloads_kibana]  
下载下来之后直接解压。一样使用默认的配置文件即可

双击启动 kibana.bat即可

## 配置Logback ##

### pom文件改造 ###

<dependency>
                    <groupId>org.apache.kafka</groupId>
                    <artifactId>kafka-clients</artifactId>
                    <version>2.1.1</version>
                </dependency>
                <dependency>
                    <groupId>net.logstash.logback</groupId>
                    <artifactId>logstash-logback-encoder</artifactId>
                    <version>4.11</version>
                </dependency>
                <dependency>
                    <groupId>com.github.danielwegener</groupId>
                    <artifactId>logback-kafka-appender</artifactId>
                    <version>0.1.0</version>
                    <scope>runtime</scope>
                </dependency>

### 新增logback-spring.xml ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70]

<?xml version="1.0" encoding="UTF-8"?>
    
    
    <configuration>
    
        
        <contextName>kafka-log-test</contextName>
        
        <property name="logDir" value="D:/springcloud-log/kafka-log" />
        
        <property name="logName" value="kafkaLog"></property>
    
        
        <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
            
            <encoder>
                <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern>
            </encoder>
        </appender>
    
        
        <appender name="logfile" class="ch.qos.logback.core.rolling.RollingFileAppender">
            
            <File>${logDir}/${logName}.log</File>
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                <FileNamePattern>${logDir}/history/${myspringboottest_log}.%d{yyyy-MM-dd}.rar</FileNamePattern>
                <maxHistory>30</maxHistory>
            </rollingPolicy>
            <encoder>
                <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern>
            </encoder>
        </appender>
    
    
        <appender name="kafkaAppender" class="com.github.danielwegener.logback.kafka.KafkaAppender">
            <encoder class="com.github.danielwegener.logback.kafka.encoding.LayoutKafkaMessageEncoder">
                <layout class="net.logstash.logback.layout.LogstashLayout" >
                    <includeContext>false</includeContext>
                    <includeCallerData>true</includeCallerData>
                    <customFields>{"system":"kafka-log-test"}</customFields>
                    <fieldNames class="net.logstash.logback.fieldnames.ShortenedFieldNames"/>
                </layout>
                <charset>UTF-8</charset>
            </encoder>
            
            <topic>kafka</topic>
            <keyingStrategy class="com.github.danielwegener.logback.kafka.keying.HostNameKeyingStrategy" />
            <deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy" />
            <producerConfig>bootstrap.servers=172.16.12.67:9092</producerConfig>
    
        </appender>
    
    
        
        <appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender">
            <neverBlock>true</neverBlock>
            <includeCallerData>true</includeCallerData>
            <discardingThreshold>0</discardingThreshold>
            <queueSize>2048</queueSize>
            <appender-ref ref="kafkaAppender" />
        </appender>
    
        <root level="INFO">
            <appender-ref ref="CONSOLE" />
            <appender-ref ref="logfile"/>
            <appender-ref ref="ASYNC" />
        </root>
    
    </configuration>

### boot配置文件一下 ###

logging:
      config: classpath:logback-spring.xml

## 测试 ##

logger.info("调用成功");

如果出现这种的日志则说明ok了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70 1]

## kibana使用 ##

新建一下index patterns 就行了 索引就是logstash配置文件里面配置的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70 3]

[http_mirror.bit.edu.cn_apache_zookeeper]: http://mirror.bit.edu.cn/apache/zookeeper/
[http_kafka.apache.org_downloads]: http://kafka.apache.org/downloads
[https_www.elastic.co_cn_downloads_elasticsearch]: https://www.elastic.co/cn/downloads/elasticsearch
[https_www.elastic.co_cn_downloads_logstash]: https://www.elastic.co/cn/downloads/logstash
[https_www.elastic.co_cn_downloads_kibana]: https://www.elastic.co/cn/downloads/kibana
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70]: /images/20211104/6bf88be7a40b4645bb59b1bffed8b291.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70 1]: /images/20211104/d41ab3caf4754db39645ad76003718e6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70 2]: /images/20211104/00ef7f0f1b7d4d369244fc3e5c15fa43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyOTQ2MzQ0NzM_size_16_color_FFFFFF_t_70 3]: /images/20211104/b20a6f2ff8ff45f2b71d94014f53eed1.png