【CAT魔改】独立化cat-client

朴灿烈づ我的快乐病毒、 2022-11-11 13:07 236阅读 0赞

> 抛弃CAT服务端，自主处理cat-client收集到的日志。

### 0. 目录 ###

*   *   *  1. 前言
         *  2. 优点
         *  3. 实现
         *  4. 应用
         *  5. 优化(2021/03/24)
         *  6. 优化(2021/08/18)
         *  7. 后续优化
         *  8. Links

### 1. 前言 ###

众所周知，作为一款全链路监控平台，大众点评开源的CAT采取的也是最为流行的"客户端SDK埋点 + 服务端独立部署"的模式，将客户端SDK收集来的信息推送到服务端来实现集中展示，这在一众监控系统中已经算是非常易于安装和部署的了，但归拢到笔者目前所在公司的业务范围和技术需求，应用主要还是以单体应用为主，且运维人员水平偏低，所以我们最终选择 **“抛弃CAT服务端，自主处理SDK收集到的日志”**。

好吧，笔者也知道这简直耸人听闻，匪夷所思，如坐针毡，如芒刺背，如鲠在喉；笔者也是花了好几年的时间才劝服自己接受这种想法。

### 2. 优点 ###

这一部分是一定要有的，哪怕编呢。

1.  复用。站在巨人的肩膀上，CAT在大众点评的大规模应用说明cat-client收集日志的效率和完备性上是不存在问题的，相较于笔者之前设想的"参考[Mybatis源码研究之ErrorContext][Mybatis_ErrorContext]来自己实现一个基于`ThreadLocal`的链路日志收集组件"，CAT无疑提供了一个极高的起步平台。
2.  更大的灵活性。相较于CAT服务端既定的展示规则，魔改后的CAT让我们可以针对自身业务，提供更为个性化的日志收集逻辑。举个现实的例子：CAT服务端展示层的慢请求过滤时长极限值为5秒钟，但在笔者所参与的部分业务逻辑，其时间相对要长不少，这导致曾经项目组进行性能优化时，需要额外花费较多时间筛选出真正异常的请求。
3.  对历史项目友好。对于需要独立部署的历史项目，经常会因为进入维护阶段，相关的参与人员不仅是从能力上，还是责任心上来说都是较为欠缺的，魔改后的CAT能够最大化地减少变量的引入，避免降低系统的稳定性。
4.  客户端无感。因为本魔改方案牵扯到的组件很少，修改量不大，且进行了专门的定版。因此我们可以在客户端调用不变的情况下，将日志展示方式无缝切换为CAT原有的设计逻辑。

### 3. 实现 ###

以上这类需求势必涉及到CAT源代码的修改，而到本文涉及到的需求，那必然是cat-client跑不了了。

因为有了早期对于CAT的研究，笔者也是很快定位到了源码相关的位置，最终选择了如下扩展方式：“前面收集和组织日志数据的过程不介入，只涉及client发送数据到server的那一段”。

// ============================================== TcpSocketSenderEx 
    // 注意这个package. 本类是直接置于cat-client项目中的, 为了显著区分, 笔者是直接给搁在了根目录.
    package com;
    
    import java.util.ServiceLoader;
    
    import org.unidal.lookup.annotation.Named;
    
    import com.dianping.cat.message.io.TcpSocketSender;
    import com.dianping.cat.message.spi.MessageTree;
    
    import io.netty.channel.ChannelFuture;
    
    // 注意这里的注解, cat-client使用 maven插件plexus-maven-plugin + ComponentsConfigurator 来实现 Plexus Components Xml File ; 这里的 type属性配置是为了保证与cat-client现有框架兼容, 减少修改.
    // 感兴趣的读者可以自行查阅 cat-client中的pom.xml文件 以及 ComponentsConfigurator 类.
    @Named(type = TcpSocketSender.class)
    public class TcpSocketSenderEx extends TcpSocketSender { 
    	// 这里使用了Java SPI特性来向外提供扩展支持, 实现CAT日志的自定义收集, 持久化.
    	// 范例可以参见 cat-client自带的 CatPropertyProvider . 
    	// 这里也是相当于强迫客户端必须提供一个对于CAT日志进行解析的实现类, 组件本身不提供默认实现. (已经无底线到把CAT服务端都干掉, 还想要提供默认实现, 歌神的表情包: "食屎啦你").
    	final CatMessageTreeOutputer outputer = ServiceLoader.load(CatMessageTreeOutputer.class).iterator().next();
    
    	@Override
    	public void sendInternal(ChannelFuture channel, MessageTree tree) { 
    		outputer.output(tree);
    	}
    }
    
    // ============================================== ComponentsConfigurator
    /** * 参考 CatPropertyProvider * @author LQ * */
    public interface CatMessageTreeOutputer { 
    	void output(MessageTree tree);
    }
    
    
    // ============================================== ComponentsConfigurator
    public class ComponentsConfigurator extends AbstractResourceConfigurator { 
    	public static void main(String[] args) { 
    		generatePlexusComponentsXmlFile(new ComponentsConfigurator());
    	}
    
    	@Override
    	public List<Component> defineComponents() { 
    		List<Component> all = new ArrayList<Component>();
    
    		......
    
            // 注册我们的自定义类
            // all.add(A(TcpSocketSender.class));
    		all.add(A(TcpSocketSenderEx.class));
    		
    		.......
    
    		return all;
    	}
    }
     
    // ============================================== TcpSocketSender.processNormalMessage()
    // 
    private void processNormalMessage() { 
    	while (true) { 
    	    // 我们需要注释以下内容, 因为本文的需求中, 返回值肯定为null
    	    // 而且经过测试, 即使启动时候连不上服务端, 本方法所代表的后台线程任务依然会启动执行. 所以我们只需要注释掉以下的少量代码即可. 
    		//ChannelFuture channel = m_channelManager.channel();
    
    		//if (channel != null) { 
    			try { 
    				MessageTree tree = m_queue.poll();
    
    				if (tree != null) { 
    					sendInternal(null, tree);
    					tree.setMessage(null);
    				} else { 
    					try { 
    						Thread.sleep(5);
    					} catch (Exception e) { 
    						m_active = false;
    					}
    					break;
    				}
    			} catch (Throwable t) { 
    				m_logger.error("Error when sending message over TCP socket!", t);
    			}
    		/* } else { try { Thread.sleep(5); } catch (Exception e) { m_active = false; } } */
    	}
    }

完成以上扩展之后，将原有的cat-client项目修改版本号，然后打包推送到私服上。

### 4. 应用 ###

1.  在项目中引入以上魔改cat-client，添加如下实现并按照Java SPI规则配置（范例参见cat-client中的`CatPropertyProvider`类以及其上注释）。
    
        public class CatMessageTreeOutputerImpl implements CatMessageTreeOutputer { 
        
        	@Override
        	public void output(MessageTree tree) { 
        		String string = tree.toString();
        		Console.error(string);
        	}
        }
2.  按照CAT客户端接入的规范 [CAT使用之Client集成][CAT_Client]引入各类埋点。
3.  最终效果：  
    ![最终效果][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70]

### 5. 优化(2021/03/24) ###

直接上图。

1.  获取当前请求的traceId。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 1]

或者从HTTP Header “X-XXX-TRACEID” 中获取，这两者的值是相同的。（这一步对于历史项目更友好）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 2]

1.  自定义查询页面，展示全链路日志，加速排错（本条日志内容太长，只截取部分）。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 3]

### 6. 优化(2021/08/18) ###

1.  界面整体美化（引入css框架-Bulma）。
2.  借鉴CAT官方的链路展示效果。
3.  提供下载当前页面的附加功能（右上角两个按钮，分别对应"直接下载当前页面"，或者是"当前页面导出为图片"）。  
    ![图一][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 4]  
    ![图二-部分未截全][-]

### 7. 后续优化 ###

1.  `MessageTree`实体信息的解析，异步持久化。解析方式可以参考`PlainTextMessageCodec.encode(MessageTree tree)` 。
2.  自定义的界面展示，甚至可以与前端形成锲约，实现前后端一体的全流程追踪。
3.  提供对上一步自定义查询页面的下载功能，以应对服务被异地网络隔离部署的情况。

### 8. Links ###

1.  [ProcessOn - 标准版与魔改版的对比][ProcessOn -]
2.  [CAT使用之Client集成][CAT_Client]
3.  [深入详解美团点评CAT跨语言服务监控（三）CAT客户端原理][CAT_CAT]

[Mybatis_ErrorContext]: https://blog.csdn.net/lqzkcx3/article/details/84944285
[CAT_Client]: https://blog.csdn.net/lqzkcx3/article/details/80579473
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70]: /images/20221022/5f5c49cdf22a4a9aa044f3fb81243a77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 1]: /images/20221022/d936d44011694728b0c8367f4603b234.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210331135721312.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210331135921637.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/01f77c0c89cd43b2a64f93c7c9c093b8.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM=,size_16,color_FFFFFF,t_70
[-]: https://img-blog.csdnimg.cn/357d44b76155403cb816f0e6e6d4cb93.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xxemtjeDM=,size_16,color_FFFFFF,t_70
[ProcessOn -]: https://www.processon.com/view/link/6059f3366376897007743b48
[CAT_CAT]: https://blog.csdn.net/caohao0591/article/details/80207806