CAT分布式监控系统（一）：CAT功能介绍 CAT监控系统是什么、能做什么？

朱雀 2022-01-23 11:41 800阅读 0赞

# CAT分布式监控系统（一）：CAT监控系统功能介绍 #

**       本文概要：**

**             1、CAT监控系统是什么。**

**              2、CAT监控系统能做什么，能监控些什么。**

**      ** 下面有些截图是CAT 2.0版本的，但和3.0版本没什么区别的。

## **一、 ****简介** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70][]

**CAT（Central Application Tracking）是美团开源的基于Java开发的实时分布式应用监控平台，提供了全面的监控服务和业务决策支持。**

CAT监控系统的定位：

cat本质上一个实时监控系统，主要体现在监控报表Transaction、event、problem、heartbeat等，cat系统定制的监控模型以及定制的实时分析报表也是cat系统核心优势。

logview是cat原始的log采集方式，cat的logview使用的技术是threadlocal，将一个thread里面的打点聚合上报，有一点弱化版本的链路功能，但是cat并不是一个标准的全链路系统，全链路系统参考dapper的论文，业内比较知名的鹰眼，zipkin等，其实经常拿cat和这类系统进行比较其实是不合适的。cat的logview在异步线程等等一些场景下，其实不合适，cat本身模型并不适合这个。在美团点评内部，有mtrace专门做全链路分析。

**也就是说：CAT定义了一个基本的监控模型，可以用来实时监控，至于要监控些什么可以自己定义，比如要做分布式全链路跟踪监控，可以自己埋点获取监控信息；**

**怎么埋点也是有参考方案的，下篇博文将会介绍本人重新封装的客户端埋点SDK。**

**另外，CAT倾向于指标、链路事件监控，不太适用于大量业务日志的场景，因为无法搜索、分析，CAT只看看到最新的样本数据和出问题的数据。大量业务日志的场景应该用ELK。**

**         github：[https://github.com/dianping/cat][https_github.com_dianping_cat]**

**         官方DOME：[http://unidal.org/cat/r/t?ip=All&queryname=&domain=cat][http_unidal.org_cat_r_t_ip_All_queryname_domain_cat]**

## **二、****系统/应用状态监控** ##

接入CAT客户端后，CAT客户端每分钟发送一次自身的状态信息。

状态信息包括：服务器系统信息、JVM 内存/GC信息、线程信息、CAT监控使用信息等。详情如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 1][]

状态信息的原始数据可以查看“Transaction“中的System类型信息，如下图：

![20190603204626813.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 2][]

“Heartbeat”实时报表用来展示状态信息，可以看到当前项目下所有的部署机器（支付中心只有一台服务器），如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 3][]

配置说明：这个功能无需其他配置，接入就自动上传状态监控信息。

## **三、****程序代码运行情况监控** ##

监控一段代码运行情况：运行时间统计、次数、错误次数等等。如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 5][]

上面图一展示的是请求过程中监控的不同代码段类型的执行情况，不同类型表示范围不一样；图二展示方法类型里各方法的执行情况。一次请求过程原始监控数据如下（注意类型和上面图一对应）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 6][]

下面对图中报表进行解释：

**                a****）Type统计界面**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 7][]

**                b****）Name统计界面**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 8][]

**                c****）一个小时内详细指标统计**

1. Duration Distribution表示transaction的执行时间分布，这个图可以看出，大部分shopcheckin是在16-64毫秒完成，还有很少部分在512-1024毫秒完成。

2. HitOverTime、Averager Duration Over Time,Failures Over Time 纵轴都是以5分钟为单位，HitOverTime表示5分钟内的访问次数。

3. Averager Duration Over Time表示5分钟内的平均处理时间。

4. Failures Over Time表示5分钟内的Transaction失败次数。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 9][]

配置说明：代码监控需要相关埋点配置，如方法监控可用包路径、或用@CatMethodMonitori注解配置，更多配置详情请参考《项目接入说明》。

## **四、****全链路监控分析** ##

上面我们也看到了一次请求过程的原始监控信息，包括URL、METHOD的耗时、参数、返回值等，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 10][]

其中经历了一次跨服务调用service-ribbon à service-hi（注意：跨服务是图中第二个红框到第三个红框，而第一个红框到第二个红框是穿透Hystrix熔断器异步线程的），耗时图形分析如下：

![20190603205142179.png][]

![20190603205206794.png][]

![20190603205222782.png][]

“Cross”报表展示了跨服务调用的情况，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 11][]

相关配置：默认开启，暂时支持该功能的通信组件：Spring Cloud Ribbon、Spring Cloud Feign（不兼容Sleuth）、Dubbo RPC，更多详情请参考《项目接入说明》。

## **五、****异常/错误等问题监控** ##

Problem记录整个项目在运行过程中出现的问题，包括一些错误、访问较长的行为。Problem的类型如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 12][]

1、“Problem”实时报表介绍

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 13][]

All的错误界面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 14][]

错误一个小时内的实时趋势图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 15][]

点击机器IP，进入某一台机器出现的具体问题，这个包括了All中出现的所有错误统计之外，还增加了以分钟和线程为单位的错误分布图，具体如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 16][]

2、“Problem”历史报表介绍

1）在选择了特定的域、报表类型、时间和IP之后，点击\[:: show ::\] 查看某一Type下的Problem出现次数的分布图。(当前这一天、上一天、上周这一天)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 17][]

2）进一步，可以查看该Type下，某个Status的Problem出现次数的分布图。(当前这一天、上一天、上周这一天)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 18][]

相关配置：URL、方法监控会自动记录异常名称，如果需要集成日志框架（log4j、logback）打印上传错误信息，请参考《项目接入说明》。

## **六、****SQL****执行监控** ##

SQL执行监控可以看到每个DAO方法执行解析的SQL语句、SQL语句执行时长、以及连接到哪个数据库（URL）执行；如果SQL执行出现异常，还会记录异常信息；另外还可以过滤出慢SQL。

SQL监控执行整体情况如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 19][]

各DAO方法监控如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 20][]

测试一个方法里执行CURD的“Log View”信息如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 21][]

SQL类型（insert/select/update/delete）执行情况的统计如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 22][]

每个数据库执行情况的统计如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 23][]

另外，还可以在“Problem”标签页面过滤出慢SQL，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 24][]

相关配置：支持Mybatis的SQL监控，需要配置Mybatis监控插件，请参考《项目接入说明》。

## **七、****自定义监控/业务监控** ##

上面介绍这些功能主要是gc-cat-client SDK中实现的，稍微配置一下就可以使用。

除此外，还有可以自定义监控以实现业务监控，CAT客户端本身提供了几种监控类型的API， CAT支持的监控消息类型包括：

1）、Transaction：适合记录跨越系统边界的程序访问行为,比如远程调用，数据库调用，也适合执行时间较长的业务逻辑监控，Transaction用来记录一段代码的执行时间和次数。

2）、Event：用来记录一件事发生的次数，比如记录系统异常，它和transaction相比缺少了时间的统计，开销比transaction要小。

3）、Heartbeat：表示程序内定期产生的统计信息, 如CPU%, MEM%, 连接池状态, 系统负载等。

4）、Metric：用于记录业务指标、指标可能包含对一个指标记录次数、记录平均值、记录总和，业务指标最低统计粒度为1分钟。

Metric一共有三个API，分别用来记录次数、平均、总和，统一粒度为一分钟：

a).logMetricForCount：用于记录一个指标值出现的次数。

b).logMetricForDuration：用于记录一个指标出现的平均值。

c).logMetricForSum：用于记录一个指标出现的总和。

看到这些类型名称，可知我们前面介绍的这些功能也是基于这几种监控消息类型的API实现的。

一份埋点的样例：

Transaction：用来记录一段程序响应时间；Even：用来记录一行code的执行次数；Metric：用来记录一个业务指标。这些指标都是独立的，可以单独使用，主要看业务场景。

下面的埋点代码里面表示需要记录一个页面的响应时间，并且记录一个代码执行次数，以及记录两个业务指标,所有用了一个Transaction，一个Event，两个Metric。Transaction的埋点一定要complete，切记放在finally里面。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 25][]

代码中自定义好业务指标监控后，然后运行测试上传一些监控数据，接着到“业务监控配置”页面（[http://192.168.1.52:8888/cat/s/config][http_192.168.1.52_8888_cat_s_config]? op=list）配置大盘显示和告警，然后就可以在“Business”而页面看到相关图表，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 26][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 27][]

## **八、****告警设置** ##

上面业务监控我们也说到业务指标也可以设置告警的，除此外，Transaction/Event/异常/心跳都可以设置告警，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 28][]

URL(/hi)执行次数告警测试：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 29][]

![20190603210218548.png][]

![20190603210223997.png][]

## **九、****其他报表统计** ##

还有一些全局的报表统计，访问地址（比较隐蔽）：[http://192.168.1.52:8888/cat/r/overload][http_192.168.1.52_8888_cat_r_overload]

如“全局统计异常”报表，看到各个项目的异常情况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 30][]

“服务可用排行”报表，看到各服务可用情况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 31][]

“线上容量规划”报表，看到各项目一些资源使用情况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 32][]

## **十、****总结** ##

以上总结了本人发现的且认为比较有用的CAT监控功能，基本能满足大部分监控需求，更多功能有待大家挖掘。

另外，**下篇博文将会介绍本人重新封装的CAT客户端埋点SDK**，欢迎提出建议。

【参考资料】

1、 [CAT相关文档][CAT]

2、 [GitHub - dianping/cat: Central Application Tracking][https_github.com_dianping_cat]

3、 [深度剖析开源分布式监控CAT][CAT 1]

4、 [大众点评网监控平台剖析][Link 1]

5、 [透过CAT，来看分布式实时监控系统的设计与实现][CAT 2]

6、 [Dapper，大规模分布式系统的跟踪系统 by bigbully][Dapper_ by bigbully]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70]: /images/20220123/a6fc3edcd70c4b02b92c4ad46ef86ac5.png
[https_github.com_dianping_cat]: https://github.com/dianping/cat
[http_unidal.org_cat_r_t_ip_All_queryname_domain_cat]: http://unidal.org/cat/r/t?ip=All&queryname=&domain=cat
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 1]: /images/20220123/6896287c08b6402995c35cfeee8016c8.png
[20190603204626813.png]: /images/20220123/407576c928f44b60a97113b336e85243.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 2]: /images/20220123/04cdee9575dc4de4b7c252a0184d18c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 3]: /images/20220123/67345125f29544c38a2ea29f02913b5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 4]: /images/20220123/16fb911a8deb44a4818649c12afc370f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 5]: /images/20220123/0e768fe06c0a4f0b871089b7e45afeb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 6]: /images/20220123/d1aee01bf0cb4756ae026c9859d78d6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 7]: /images/20220123/913caf92d9bb4358840b9befbe74f829.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 8]: /images/20220123/165951b84bd14706999295a68471338a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 9]: /images/20220123/e7fb3628cf6a45b6ad7123561ceff3d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 10]: /images/20220123/03c79974deec438bbba5c69e3bacabad.png
[20190603205142179.png]: /images/20220123/7ac36600178f4fe1b46958d53681cbcc.png
[20190603205206794.png]: /images/20220123/033418e1e8704e3e92cbbd6b7608b255.png
[20190603205222782.png]: /images/20220123/7ab792370a1e4e6581c86a418b842a2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 11]: /images/20220123/ec25a7d659e44c34824036c98a37d474.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 12]: /images/20220123/20da40fd7aeb4e19bc0eb580ab58f782.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 13]: /images/20220123/f255de39eb2d4fa69302d2e121d0c4b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 14]: /images/20220123/3fe40d1b2261424791f19be0d671f93d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 15]: /images/20220123/adf142be06934e2ea41352ba3b63c0a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 16]: /images/20220123/e4069ddfa86c4c3f898c8d1a03989c55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 17]: /images/20220123/d0f95211b80b4a5eac751517b00ddc0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 18]: /images/20220123/8c231f56c5804d2e9dfeb6f33e06be8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 19]: /images/20220123/ae448ec2a6f14962adc1b6039b210a30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 20]: /images/20220123/e58813eade5247a49c44ec0e3fca8805.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 21]: /images/20220123/8464bc2111b54be686b7a8eb0b149176.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 22]: /images/20220123/a83622f4d03340688f39336ec02fc7ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 23]: /images/20220123/4b3a000801554028b6b65e3c7dc12feb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 24]: /images/20220123/37aadd9ba203448592e4101b11c9ca9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 25]: /images/20220123/a87e2ca6fc4c473e91c38731361315af.png
[http_192.168.1.52_8888_cat_s_config]: http://192.168.1.52:8888/cat/s/config
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 26]: /images/20220123/14861a005d9e44f2b164d96214aa0ab7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 27]: /images/20220123/f45f7abed2474d5799cab0a2895c1c88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 28]: /images/20220123/8faf77b4294045979d53c9b193e2e696.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 29]: /images/20220123/bfb20cab46b343b0969ce53ed53c1b44.png
[20190603210218548.png]: /images/20220123/e092b1681b184382abffa1f194b204de.png
[20190603210223997.png]: /images/20220123/f831faa1da454e338819539fed0d9db6.png
[http_192.168.1.52_8888_cat_r_overload]: http://192.168.1.52:8888/cat/r/overload
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 30]: /images/20220123/83812a7938d74448a87fcc1d87321485.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 31]: /images/20220123/b5c4f265bd594258949ec59a4950d6d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RqaXl1_size_16_color_FFFFFF_t_70 32]: /images/20220123/ac37cda8992d45cfad7a3e74fe210b52.png
[CAT]: http://unidal.org/cat/r/home?domain=cat&ip=All&date=2018071216&reportType=day&op=view
[CAT 1]: https://tech.meituan.com/CAT_in_Depth_Java_Application_Monitoring.html
[Link 1]: http://www.infoq.com/cn/presentations/public-comments-monitoring-platform-analyse
[CAT 2]: http://www.infoq.com/cn/articles/distributed-real-time-monitoring-and-control-system
[Dapper_ by bigbully]: http://bigbully.github.io/Dapper-translation/