微服务链路追踪组件Skywalking介绍

╰半夏微凉° 2022-09-03 15:12 664阅读 0赞

# 微服务链路追踪组件Skywalking介绍 #

每天多学一点点~  
话不多说，这就开始吧…

### 文章目录 ###

*  微服务链路追踪组件Skywalking介绍
 *   *  1.前言
     *  2. 调用链选型
     *  3. Skywalking整体架构
     *  4. SkyWalking 环境搭建部署
     *  5. SkyWalking Agent跟踪单个服务
     *  6. SkyWalking Agent跟踪微服务
     *  7. SkyWalking Agent持久化
     *  8.SkyWalking Agent集群部署
     *  9.SkyWalking Agent高阶特性
     *  10 .结语

## 1.前言 ##

之前一直想学习一下分布式链路调用，今天正好闲暇，遂研究研究~  
对于一个大型的几十个、几百个微服务构成的微服务架构系统，通常会遇到下面一些问题，比如：

1.  如何串联整个调用链路，快速定位问题？
2.  如何理清各个微服务之间的依赖关系？
3.  如何进行各个微服务接口的性能分折？
4.  如何跟踪整个业务流程的调用处理顺序？

skywalking是一个国产开源框架，2015年由吴晟开源 ， 2017年加入Apache孵化器。skywalking是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。SkyWalking 是观察性分析平台和应用性能管理系统，提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。  
官网：http://skywalking.apache.org/  
下载：http://skywalking.apache.org/downloads/  
Github：https://github.com/apache/skywalking  
文档： https://skywalking.apache.org/docs/main/v8.4.0/readme/  
中文文档： https://skyapm.github.io/document-cn-translation-of-skywalking/

## 2. 调用链选型 ##

1.  Zipkin是Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量，使用部署简单。
2.  Pinpoint是韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能强大，接入端无代码侵入。
3.  SkyWalking是本土开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能较强，接入端无代码侵入。目前已加入Apache孵化器。
4.  CAT是大众点评开源的基于编码和配置的调用链分析，应用监控分析，日志采集，监控报警等一系列的监控平台工具。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70]  
探针性能对比  
模拟了三种并发用户：500，750，1000。使用jmeter测试，每个线程发送30个请求，设置思考时间为10ms。使用的采样率为1，即100%，这边与生产可能有差别。pinpoint默认的采样率为20，即50%，通过设置agent的配置文件改为100%。zipkin默认也是1。组合起来，一共有12种。下面看下汇总表：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 1]

从上表可以看出，在三种链路监控组件中，skywalking的探针对吞吐量的影响最小，zipkin的吞吐量居中。pinpoint的探针对吞吐量的影响较为明显，在500并发用户时，测试服务的吞吐量从1385降低到774，影响很大。然后再看下CPU和memory的影响，在内部服务器进行的压测，对CPU和memory的影响都差不多在10%之内。

## 3. Skywalking整体架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 2]  
**整个架构分成四部分**：  
1、上部分Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器；  
2、下部分 SkyWalking OAP ：负责接收Agent发送的Tracing数据信息，然后进行分析(Analysis Core)，存储到外部存储器(Storage)，最终提供查询(Query)功能；  
3、右部分Storage：Tracing数据存储，目前支持ES、MySQL、Sharding Sphere、TiDB、H2多种存储器，目前采用较多的是ES，主要考虑是SkyWalking开发团队自己的生产环境采用ES为主；  
4、左部分SkyWalking UI：负责提供控制台，查看链路等等；

**SkyWalking支持三种探针**：  
● Agent – 基于ByteBuddy字节码增强技术实现，通过jvm的agent参数加载，并在程序启动时拦截指定的方法来收集数据。  
● SDK – 程序中显式调用SkyWalking提供的SDK来收集数据，对应用有侵入。  
● Service Mesh – 通过Service mesh的网络代理来收集数据。

**后端（Backend）**  
接受探针发送过来的数据，进行度量分析，调用链分析和存储。后端主要分为两部分：  
● OAP（Observability Analysis Platform）- 进行度量分析和调用链分析的后端平台，并支持将数据存储到各种数据库中，如：ElasticSearch，MySQL，InfluxDB等。  
● OAL（Observability Analysis Language）- 用来进行度量分析的DSL，类似于SQL，用于查询度量分析结果和警报。

**界面(UI)**  
● RocketBot UI – SkyWalking 7.0.0 的默认web UI  
● CLI – 命令行界面  
这三个模块的交互流程：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 3]

## 4. SkyWalking 环境搭建部署 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 4]

*  skywalking agent和业务系统绑定在一起，负责收集各种监控数据
 *  Skywalking oapservice是负责处理监控数据的，比如接受skywalking agent的监控数据，并存储在数据库中;接受skywalking webapp的前端请求，从数据库查询数据，并返回数据给前端。Skywalking oapservice通常以集群的形式存在。
 *  skywalking webapp，前端界面，用于展示数据。
 *  用于存储监控数据的数据库，比如mysql、elasticsearch等。

1.  准备一台虚拟机 192.168.73.132机器
2.  下载  
    下载：http://skywalking.apache.org/downloads/  
    本文选用 8.4.0 版本  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 5]  
    目录结构![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 6]
3.  搭建SkyWalking OAP 服务  
    这里先选用默认h2数据库(重启之后数据就没了，不会持久化)

启动脚本bin/startup.sh
    若权限不够，则  chmod u+x *.sh

![在这里插入图片描述][3e70c4f89b6443a3b71e875ce2902460.png]  
启动成功后会启动两个服务，一个是skywalking-oap-server，一个是skywalking-web-ui  
skywalking-oap-server服务启动后会暴露11800 和 12800 两个端口，分别为 收集监控数据的端口11800 和 接受前端请求的端口12800，修改端口可以修改config/applicaiton.yml

skywalking-web-ui服务会占用 8080 端口， 修改端口可以修改webapp/webapp.yml

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 7]  
server.port：SkyWalking UI服务端口，默认是8080；  
collector.ribbon.listOfServers：SkyWalking OAP服务地址数组，SkyWalking UI界面的数据是通过请求SkyWalking OAP服务来获得；

成功之后 访问 http://192.168.73.132:8080/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 8]

## 5. SkyWalking Agent跟踪单个服务 ##

SkyWalking 是 零侵入的，所以 用起来十分简单。

1.  jar包方式启动  
    随便找一个springboot项目，以 springboot-skywalking-demo-0.0.1-SNAPSHOT.jar为例

java -javaagent:/usr/local/skywalking/apache-skywalking-apm-bin-es7/agent/skywalking-agent.jar -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 -DSW_AGENT_NAME=springboot-skywalking-demo -jar springboot-skywalking-demo-0.0.1-SNAPSHOT.jar

这样就可以了，调调接口，ui界面就会有显示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 9]

1.  在idea中使用  
    第一种是在服务器上使用，idea也十分简单。  
    注意点：本地idea启动一定要有 agent 这个文件夹  
    在idea中指定jvm参数即可：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 10]

-javaagent:F:\java\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
    -DSW_AGENT_NAME=springboot-skywalking-demo
    -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.73.132:11800 
     # 192.168.73.132 为服务器地址

## 6. SkyWalking Agent跟踪微服务 ##

Skywalking跨多个微服务跟踪，只需要每个微服务启动时添加javaagent参数即可。(参数中名字别起一样的记住)

**但是这个和有坑，跟踪链路不显示gateway**

拷贝agent/optional-plugins目录下的gateway插件到agent/plugins目录 即可。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 11]  
这里启动三个服务，直接用idea测试一下：

微服务 
    认证中心
    -javaagent:F:\java\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
    -DSW_AGENT_NAME=cloud-authcenter
    -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.73.132:11800 
    
    网关
    -javaagent:F:\java\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
    -DSW_AGENT_NAME=cloud-gateway
    -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.73.132:11800 
    
    农污
    -javaagent:F:\java\apache-skywalking-apm-bin-es7\agent\skywalking-agent.jar
    -DSW_AGENT_NAME=cloud-nongwu
    -DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.73.132:11800

项目启动，调一下接口，skywalking界面如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 13]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 14]

## 7. SkyWalking Agent持久化 ##

1.  基于mysql 的持久化  
    修改config目录下的application.yml，使用mysql作为持久化存储的仓库  
    ![在这里插入图片描述][3a4d62eef8304351a67c0f47cb901345.png]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 15]

storage:
      #选择使用mysql   默认使用h2，不会持久化，重启skyWalking之前的数据会丢失
      selector: ${ SW_STORAGE:mysql}
      #使用mysql作为持久化存储的仓库
      mysql:
        properties:
          #数据库连接地址
          jdbcUrl: ${ SW_JDBC_URL:"jdbc:mysql://1ocalhost:3306/skywalking"}
          #用户名
          dataSource.user: ${ SW_DATA_SOURCE_USER:root}
          #密码
          dataSource.password: ${ SW_DATA_SOURCE_PASSWORD:root}

**注意：需要添加mysql数据驱动包，因为在lib目录下是没有mysql数据驱动包的，所以修改完配置启动是会报错，启动失败的。**  
添加mysql数据驱动包到oap-libs目录下  
![在这里插入图片描述][a858163f8c844bb0a0bade2afc0266b9.png]  
查看skywalking数据库，可以看到生成了很多表。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 16]  
2. 基于es7 的持久化  
没有玩过es的小伙伴，可以看看博主之前搭建es的文章。  
[elk相关文章][elk]

准备好es环境  
修改config/application.yml配置文件：  
![在这里插入图片描述][a1c5260262134a7d9d593a3eca19e669.png]  
修改elasticsearch7的连接配置

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 17]  
重启服务，启动时 会向elasticsearch中创建大量的index索引用于持久化数据，每天会产生一个新的索引文件。  
测试：  
启动应用程序，查看跟踪数据是否已经持久化到elasticsearch的索引中，然后重启skywalking，验证跟踪数据会不会丢失

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 18]

## 8.SkyWalking Agent集群部署 ##

Skywalking集群是将skywalking oap作为一个服务注册到nacos上，只要skywalking oap服务没有全部宕机，保证有一个skywalking oap在运行，就能进行跟踪。  
搭建一个skywalking oap集群需要：

*  至少一个Nacos（也可以是nacos集群）
 *  至少一个ElasticSearch（也可以是es集群）
 *  至少2个skywalking oap服务；
 *  至少1个UI（UI也可以集群多个，用Nginx代理统一入口）

1.  修改config/application.yml文件  
    使用nacos作为注册中心  
    ![在这里插入图片描述][c7e946eb73ba4d4292e9995963460d0c.png]
2.  修改nacos配置  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 19]  
    可以选择性修改监听端口  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 20]  
    修改存储策略，使用elasticsearch7作为storage  
    ![在这里插入图片描述][4c5692394f064998ad012856f3b42c4a.png]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 21]
3.  配置ui服务webapp.yml文件的listOfServers，写两个地址  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 22]
4.  启动服务测试  
    启动Skywalking服务，指定springboot应用的jvm参数

-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.73.131:12800,192.168.73.132:12800

**idea测试同理**

## 9.SkyWalking Agent高阶特性 ##

SkyWalking 还有很多功能，比如：

*  告警通知
 *  自定义链路追踪
 *  集成日志框架  
    等等，大家想学的可以去官网深度学习一下。 有时间再写一遍博客介绍介绍~

## 10 .结语 ##

**世上无难事，只  
怕有心人，每天积累一点点，fighting！！！  
2021，加油，fighting，希望可以少些crud啦！**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70]: /images/20220829/35486ac62a4a4c00be5e70d9f91d33f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 1]: /images/20220829/2de49e092660435e87b3d365b2bef3a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 2]: /images/20220829/0a1e05eeda4a457ea3591c59197f9f68.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 3]: /images/20220829/9425acd74f304e06b915291f52da18f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 4]: /images/20220829/6cb8fdffe9704d768e8b0f03db7d537a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 5]: /images/20220829/c3d7e1bcd3ad4cca8d137c1702b8d870.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 6]: /images/20220829/3c38460fd5ec471d9f5dcf0a494bf6e3.png
[3e70c4f89b6443a3b71e875ce2902460.png]: /images/20220829/3af70eeefc7a42969e1f7d69440c3b82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 7]: /images/20220829/3e39817793bd451ca3cacc6fb50ed719.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 8]: /images/20220829/f9a24674eb274cb086a5050ff53f1380.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 9]: /images/20220829/366ad9fcf311447b9c43ae6d8dba2b8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 10]: /images/20220829/5b7b11e2ae3b41cca3e19590546f4a86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 11]: /images/20220829/d2eb936f96474cf9965467186988d854.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 12]: /images/20220829/235f5ab43f1942a28f6ac8f2e5e5af76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 13]: /images/20220829/e168335978e147cf9020efa3a72ba8f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 14]: /images/20220829/8e3f5f408dff4481a7ee28cbef3bd701.png
[3a4d62eef8304351a67c0f47cb901345.png]: /images/20220829/f19a06ee635b44c98d29c7565065ab97.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 15]: /images/20220829/6c9d64ee03094016bfa443156d8263ab.png
[a858163f8c844bb0a0bade2afc0266b9.png]: /images/20220829/1d53c85833214190b870785f75d36030.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 16]: /images/20220829/b26565dba57f4d8aa117f542f03530eb.png
[elk]: https://blog.csdn.net/weixin_42437633/category_9628471.html
[a1c5260262134a7d9d593a3eca19e669.png]: /images/20220829/8c812b27c2d74b42b974860b18def80c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 17]: /images/20220829/40245fb972a44c1a9231129a6ca0255b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 18]: /images/20220829/a1f646fda0d544f2aa230f96d039af36.png
[c7e946eb73ba4d4292e9995963460d0c.png]: /images/20220829/3793e65392904b978dd8f6f4977613e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 19]: /images/20220829/b9d232b5f84c414597f93aeb45759f3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 20]: /images/20220829/2f57eb1ecf3f4aaaa899512bc5290aac.png
[4c5692394f064998ad012856f3b42c4a.png]: /images/20220829/e04bbd39cc194290aad4a94272f67e07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 21]: /images/20220829/b22bbb9081bf4bdb8b29dc1ea6bb940b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQzNzYzMw_size_16_color_FFFFFF_t_70 22]: /images/20220829/acd8d92bdc73490c87e83a526cad07d1.png