「转载」微服务分布式架构中，如何实现日志链路跟踪？

梦里梦外; 2022-12-18 12:56 158阅读 0赞

IT实战联盟博客：[http://blog.100boot.cn/][http_blog.100boot.cn]

# 背景 #

开发排查系统问题用得**最多的手段就是查看系统日志**，在分布式环境中一般**使用ELK来统一收集日志**，但是在并发大时使用**日志定位问题还是比较麻烦，**我们来看下面的图

![微服务分布式架构中，如何实现日志链路跟踪？][37275c8dc24e3682cd97e2b6deae52c9.png]

> 上图一个用户请求一个url，整个链路如图，每个处理层都会产生日志，那我们如何把这些日志串在一些，形成一个请求全路径日志。

在现有的系统中，由于大量的其他用户/其他线程的日志也一起输出**穿行其中导致很难筛选出指定请求的全部相关日志。**那我们如何来处理呢？

# 解决思路 #

我们可以把**每个请求弄一个唯一标识**，然后我们**可以在日志打印的时候代上每个请求都使用一个唯一标识**，而且那个**唯一标识需要传递给下游服务**，**下游服务打印日志的时候也带上这个唯一标识**，这样就很好的追踪全部的链路显示在日志中。

那技术实现方案是什么呢？我们应该尽可能的**对代码无入侵**，使用**Logback的MDC机制日志模板中加入traceId标识，取值方式为%X\{traceId\}**。

# 什么是MDC #

MDC（Mapped Diagnostic Context，映射调试上下文）**是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能**。**MDC 可以看成是一个与当前线程绑定的Map**，可以**往其中添加键值对**。

**MDC 中包含的内容可以被同一线程中执行的代码所访问**。当前线程的子线程会继承其父线程中的 MDC 的内容。当需要记录日志时，**只需要从 MDC 中获取所需的信息即可**。MDC 的内容则由程序在适当的时候保存进去。对于一个 Web 应用来说，通常是在请求被处理的最开始保存这些数据。

# 方案实现 #

由于MDC内部使用的是**ThreadLocal所以只有本线程才有效**，子线程和下游的服务MDC里的值会丢失；所以**方案主要的难点是解决值的传递问题**，主要包括以几下部分：

*  API网关中的MDC数据如何传递给下游服务
 *  服务如何接收数据，并且调用其他远程服务时如何继续传递
 *  异步的情况下(线程池)如何传给子线程

# 修改日志模板 #

logback配置文件日志格式添加该标识

![微服务分布式架构中，如何实现日志链路跟踪？][e6cb9f81cad6bc1f5e5137dd04683a17.png]

# 网关添加过滤器 #

此过滤器就是来解决网关如何把MDC的数据传递给下游服务

**生成traceId并通过header传递给下游服务**

![微服务分布式架构中，如何实现日志链路跟踪？][0a9c4fafb62cd45543f00440b559880a.png]

上面代码有个MDC是属于org.slf4j.MDC中的，下面就是常量的值

/**
    * 日志链路追踪id信息头
    */
    String TRACE_ID_HEADER = "x-traceId-header";
    /**
    * 日志链路追踪id日志标志
    */
    String LOG_TRACE_ID = "traceId";

# 下游服务增加spring拦截器 #

接收并保存traceId的值

![微服务分布式架构中，如何实现日志链路跟踪？][f93332003479376f4b755f3384ffe08f.png]

# 下游服务增加feign拦截器 #

继续把当前服务的traceId值传递给下游服务

![微服务分布式架构中，如何实现日志链路跟踪？][82f93a99be7d0a9fdc56cb1dd419a05b.png]

# 解决父子线程传递问题 #

主要针对业务会使用线程池(异步、并行处理)，并且spring自己也有@Async注解来使用线程池，要解决这个问题需要以下两个步骤:

**重写logback的LogbackMDCAdapter**

> 由于logback的MDC实现内部使用的是ThreadLocal不能传递子线程，所以需要重写替换为阿里的TransmittableThreadLocal

**TransmittableThreadLocal 是Alibaba开源的**、用于**解决 “在使用线程池等会缓存线程的组件情况下传递ThreadLocal” 问题的 InheritableThreadLocal 扩展**。若希望 TransmittableThreadLocal 在线程池与主线程间传递，需配合TtlRunnable和TtlCallable使用。

![微服务分布式架构中，如何实现日志链路跟踪？][add2d30266b570ced2487ecf7bcfa2a3.png]

> 其他代码与ch.qos.logback.classic.util.LogbackMDCAdapter一样，只需改为调用copyOnInheritThreadLocal变量

**TtlMDCAdapterInitializer类**用于程序启动时加载自己的mdcAdapter实现

![微服务分布式架构中，如何实现日志链路跟踪？][650963a2d7275d807bbfb27af9c88d6e.png]

# 扩展线程池实现 #

增加TtlRunnable和TtlCallable扩展

![微服务分布式架构中，如何实现日志链路跟踪？][fa2b4e5491e0cc794d896c976e3c6c9b.png]

![微服务分布式架构中，如何实现日志链路跟踪？][020e561c63d91a5179dc6e9a7d7b88c6.png]

# 场景测试 #

**测试代码如下**

log.info("测试")
    
    
    @Async
    public void test(){
      log.info("测试1")
    }
    
    
    userService.findByUserName("gu")

**api网关打印的日志**

![微服务分布式架构中，如何实现日志链路跟踪？][5a9ae0a1b5c9c7c6835cd911f800b7dd.png]

**ELK聚合日志通过traceId查询整条链路日志**

当系统出现异常时，可直接通过该异常日志的traceId的值，在日志中心中询该请求的所有日志信息，类似下图

![微服务分布式架构中，如何实现日志链路跟踪？][c492c10433b3e68e639f21913a4af4a0.png]

# 总结 #

到此分布式的日志跟踪就已经完成了，这样就很好的可以排查整个微服务的日志链路，谢谢！！！

**---End---**

### 相关链接 ###

*  作者介绍：[点击查看][Link 1]
 *  原文地址：[点击下载][Link 2]

[http_blog.100boot.cn]: http://blog.100boot.cn/
[37275c8dc24e3682cd97e2b6deae52c9.png]: /images/20221122/257a34f1e722490b90dfb8ee98e911a9.png
[e6cb9f81cad6bc1f5e5137dd04683a17.png]: /images/20221122/0358460b51ec4d568c3d7f9e4fda23eb.png
[0a9c4fafb62cd45543f00440b559880a.png]: /images/20221122/b9e2b42c5a5647099f262638f9425918.png
[f93332003479376f4b755f3384ffe08f.png]: /images/20221122/3d1692d31e254f95b2d220206c3f0ae5.png
[82f93a99be7d0a9fdc56cb1dd419a05b.png]: /images/20221122/eaa89d7891044f558d8fbc3517afb7b6.png
[add2d30266b570ced2487ecf7bcfa2a3.png]: /images/20221122/308c489c59404bcb961176d248b0b34e.png
[650963a2d7275d807bbfb27af9c88d6e.png]: /images/20221122/a2c0b2d50d624c68a9d07c6e8889ccd3.png
[fa2b4e5491e0cc794d896c976e3c6c9b.png]: /images/20221122/102fe14778b94351a179008c504995fc.png
[020e561c63d91a5179dc6e9a7d7b88c6.png]: /images/20221122/ed9ecd65ad504704aeff9e4297ab3ffc.png
[5a9ae0a1b5c9c7c6835cd911f800b7dd.png]: /images/20221122/a3a69da1204d4b18920f622d0f6be4e7.png
[c492c10433b3e68e639f21913a4af4a0.png]: /images/20221122/08fed218ef5d4729999c5fcadc7ec63b.png
[Link 1]: https://www.toutiao.com/c/user/token/MS4wLjABAAAALjM7S9KoF_dphyiVt6NwMDjl0DTmSOs8SqYhO9ZWuGA/
[Link 2]: https://www.toutiao.com/i6835779216810705422