基于CentOS搭建基于 ZIPKIN 的数据追踪系统

不念不忘少年蓝@ 2022-02-05 03:29 581阅读 0赞

Zipkin

Zipkin是一个分布式跟踪系统。它有助于收集用于解决微服务架构中的延迟问题所需的时序数据。它管理数据的收集和查找。Zipkin的设计是基于Google Dapper paper。

应用程序被用来向Zipkin报告定时数据。ZIPKIN UI还提供了一个依赖关系图，显示了多少跟踪请求遍历每个应用程序。如果您正在排除延迟问题或错误，可以根据应用程序、跟踪长度、注释或时间戳筛选或排序所有跟踪。一旦选择了一个跟踪，就可以看到每一个跨度所占的总跟踪时间的百分比，这允许您识别问题应用程序。   
简单来说，这个框架就是用来在生产环境跟踪问题的，可以直观的看出每个service之间的调用和消耗的时间。

如图，在复杂的调用链路中假设存在一条调用链路响应缓慢，如何定位其中延迟高的服务呢？

日志： 通过分析调用链路上的每个服务日志得到结果  
zipkin：使用zipkin的web UI可以一眼看出延迟高的服务

如图所示，各业务系统在彼此调用时，将特定的跟踪消息传递至zipkin,zipkin在收集到跟踪信息后将其聚合处理、存储、展示等，用户可通过web UI方便获得网络延迟、调用链路、系统依赖等等。

组件  
zipkin主要涉及四个组件 collector storage search web UI

Collector接收各service传输的数据  
Cassandra作为Storage的一种，也可以是mysql等，默认存储在内存中，配置cassandra可以参考这里  
Query负责查询Storage中存储的数据,提供简单的JSON API获取数据，主要提供给web UI使用  
Web 提供简单的web界面  
Zipkin的安装  
Zipkin的使用比较简单，官网有说明几种方式：   
1、容器   
Docker Zipkin项目能够建立docker镜像，提供脚本和docker-compose.yml来启动预构建的图像。最快的开始是直接运行最新镜像：

docker run -d -p 9411:9411 openzipkin/zipkin

2、下载jar   
如果你有java 8或更高版本，上手最快的方法是把新版本作为一个独立的可执行jar，Zipkin使用springboot来构建的：

curl -sSL https://zipkin.io/quickstart.sh | bash -s
    java -jar zipkin.jar

3、下载源代码运行   
Zipkin可以从源运行，如果你正在开发新的功能。要实现这一点，需要获取Zipkin的源代码并构建它。

# get the latest source
    git clone https://github.com/openzipkin/zipkin
    cd zipkin
    # Build the server and also make its dependencies
    ./mvnw -DskipTests --also-make -pl zipkin-server clean install
    # Run the server
    java -jar ./zipkin-server/target/zipkin-server-*exec.jar

通过以上步骤的任意一一步运行Zipkin之后，游览器 可以打开http://你的ip:9411   
如下图所示：

三、Zipkin功能解说

**zipkin作用**  
全链路追踪工具（根据依赖关系）  
查看每个接口、每个service的执行速度（定位问题发生点或者寻找性能瓶颈）

**zipkin工作原理**  
创造一些追踪标识符（tracingId，spanId，parentId），最终将一个request的流程树构建出来

**zipkin架构**

![907596-20161229173053226-1398958540.png][]

其中：  
Collector接收各service传输的数据；  
Cassandra作为Storage的一种，也可以是mysql等，默认存储在内存中，配置cassandra可以参考这里；  
Query负责查询Storage中存储的数据,提供简单的JSON API获取数据，主要提供给web UI使用；  
Web 提供简单的web界面；

**zipkin分布式跟踪系统的目的：**  
zipkin为分布式链路调用监控系统，聚合各业务系统调用延迟数据，达到链路调用监控跟踪；  
zipkin通过采集跟踪数据可以帮助开发者深入了解在分布式系统中某一个特定的请求时如何执行的；  
假如我们现在有一个用户请求超时，我们就可以将这个超时的请求调用链展示在UI当中；我们可以很快度的定位到导致响应很慢的服务究竟是什么。如果对这个服务细节也很很清晰，那么我们还可以定位是服务中的哪个问题导致超时；  
zipkin系统让开发者可通过一个Web前端轻松的收集和分析数据，例如用户每次请求服务的处理时间等，可方便的监测系统中存在的瓶颈。

例如下图：  
在复杂的调用链路中假设存在一条调用链路响应缓慢，如何定位其中延迟高的服务呢？  
1）日志：通过分析调用链路上的每个服务日志得到结果  
2）zipkin：使用zipkin的web UI可以一眼看出延迟高的服务

![907596-20161229173535179-291468528.png][]

各业务系统在彼此调用时，将特定的跟踪消息传递至zipkin,zipkin在收集到跟踪信息后将其聚合处理、存储、展示等，用户可通过web UI方便   
获得网络延迟、调用链路、系统依赖等等。

![907596-20161229173558804-2080260104.png][]

transport作用：收集被trace的services的spans，并将它们转化为zipkin common Span，之后把这些Spans传递的存储层。  
有三种主要的transport：  
      HTTP（默认）  
           通过http headers来传递追踪信息  
           header中的key  
                X-B3-TraceId: 64 encoded bits（id被encode为hex Strings）  
                X-B3-SpanId: 64 encoded bits  
                X-B3-ParentSpanId: 64 encoded bits  
                X-B3-Sampled: Boolean (either “1” or “0”)（下面的调用是否进行采样）  
                X-B3-Flags: a Long  
               Scribe  
               Kafka

**zipkin基础架构**（4个组件：collector、storage、search、webUI）  
collector  
        作用：zipkin collector会对一个到来的被trace的数据（span）进行验证、存储并设置索引。  
storage  
        in-memory（默认）  
              仅用于测试，因为采集数据不会持久化  
              默认使用这个存储，若要使用其他存储，查看：  
              [https://github.com/openzipkin/zipkin/tree/master/zipkin-server][https_github.com_openzipkin_zipkin_tree_master_zipkin-server]  
              [https://github.com/openzipkin/zipkin-dependencies][https_github.com_openzipkin_zipkin-dependencies]  
       JDBC (mysql)  
             如果采集数据量很大的话，查询速度会比较慢  
       Cassandra  
             zipkin最初始内建的存储（扩展性好、schema灵活）  
             This store requires a spark job to aggregate dependency links  
       Elasticsearch  
             This store requires a spark job to aggregate dependency links  
             被设计用于大规模  
             存储形式为json  
search  
webUI

**zipkin核心数据结构**  
            Annotation（用途：用于定位一个request的开始和结束，cs/sr/ss/cr含有额外的信息，比如说时间点）  
                   cs：Client Start,表示客户端发起请求  
                          一个span的开始  
                   sr：Server Receive,表示服务端收到请求  
                   ss：Server Send,表示服务端完成处理，并将结果发送给客户端  
                   cr：Client Received,表示客户端获取到服务端返回信息  
                         一个span的结束  
                         当这个annotation被记录了，这个RPC也被认为完成了  
          BinaryAnnotation（用途：提供一些额外信息，一般已key-value对出现）  
          Span：一个请求（包含一组Annotation和BinaryAnnotation）；它是基本工作单元，一次链路调用(可以是RPC，DB等没有特定的限制)创建一个span，通过一个64位ID标识它。  
                  span通过还有其他的数据，例如描述信息，时间戳，key-value对的(Annotation)tag信息，parent-id等,其中parent-id   
                  可以表示span调用链路来源，通俗的理解span就是一次请求信息  
          Trace：类似于树结构的Span集合，表示一条调用链路，存在唯一标识  
                  Traces are built by collecting all Spans that share a traceId  
                  通过traceId、spanId和parentId，被收集到的span会汇聚成一个tree，从而提供出一个request的整体流程。（这也是zipkin的工作原理）  
注意：时间点计算  
sr-cs：网络延迟  
ss-sr：逻辑处理时间  
cr-cs：整个流程时间

Trace identifiers  
         含义：通过下边3个Id，对数据进行重组  
         三个Id（64位 long型数据）  
               TraceId  
                     The overall ID of the trace.  
                     Every span in a trace will share this ID.  
              SpanId  
                     The ID for a particular span.  
                     This may or may not be the same as the trace id.  
              ParentId  
                     This is an optional ID that will only be present on child spans.  
                     That is the span without a parent id is considered the root of the trace.

**zipkin工作流程图（完整的调用链路）**

![907596-20161228193030664-423176275.png][]

上图说明：X和A可以相等  
上图表示一请求链路，一条链路通过Trace Id唯一标识，Span标识发起的请求信息，各span通过parent id关联起来；  
父子span关系：

![907596-20161228193055867-2025673007.png][]

说明：parentId==null，表示该span就是root span。  
整个链路的依赖关系如下:

![907596-20161228193112945-84331690.png][]

完成链路调用的记录后，如何来计算调用的延迟呢，这就需要利用`Annotation`信息：

![907596-20161228193131507-1740291973.png][]

总结两点：  
1）使用zipkin，必须使用java8  
2）在生产环境，不会对每个请求都进行采样追踪（降低trace对整个服务的性能损耗）

[907596-20161229173053226-1398958540.png]: /images/20220205/9f8e64bd18a04e12acaee1e05f9bb461.png
[907596-20161229173535179-291468528.png]: /images/20220205/557f540faf7641f98749a5c4ff8b1453.png
[907596-20161229173558804-2080260104.png]: /images/20220205/0869d6c685b24d7092ebb4ae539c805e.png
[https_github.com_openzipkin_zipkin_tree_master_zipkin-server]: https://github.com/openzipkin/zipkin/tree/master/zipkin-server
[https_github.com_openzipkin_zipkin-dependencies]: https://github.com/openzipkin/zipkin-dependencies
[907596-20161228193030664-423176275.png]: /images/20220205/47dafca9ddba412eaf7efc3eff230faf.png
[907596-20161228193055867-2025673007.png]: /images/20220205/d74a206c77e74332a349a23475c9b7e2.png
[907596-20161228193112945-84331690.png]: /images/20220205/e7f2a6974ee2477db63b320285be14d7.png
[907596-20161228193131507-1740291973.png]: /images/20220205/53afd9a9a6c04443807c55b5129a8e81.png