轻松入门大数据第12章零基础：极速入门日志收集系统Flume 12.1 日志收集框架Flume 12.1.4 竞品分析

野性酷女 2024-03-16 13:03 53阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第12章 零基础：极速入门日志收集系统Flume
         *   *  12.1 日志收集框架Flume
             *   *  12.1.4 竞品分析

![在这里插入图片描述][8af2f409a0ac42b2a70a0ff6c98391f8.png_pic_center]

#### 第12章 零基础：极速入门日志收集系统Flume ####

##### 12.1 日志收集框架Flume #####

> 1.  产生背景
> 2.  初识Flume
> 3.  竞品分析
> 4.  发展史
> 5.  Agent核心组件
> 6.  部署及使用

###### 12.1.4 竞品分析 ######

当然日志收集框架肯定不止Flume 一个。

**【竞品分析】**

*  Apache Flume： 顶级项目
    
    [https://flume.apache.org/][https_flume.apache.org]
    
    ![在这里插入图片描述][9c1e2f8c11394865aed186e9274f4199.png_pic_center]
    
    Flume 是一种分布式、可靠、可用的服务，用于高效收集、聚合和移动大量日志数据。它具有基于流式数据流的简单灵活的体系结构。它具有可调节的可靠性机制和许多故障转移和恢复机制，具有健壮性和容错性。它使用允许在线分析应用程序的简单可扩展数据模型。
 *  ELK：logstash beats（filebeat）
    
    [https://www.elastic.co/cn/][https_www.elastic.co_cn]
    
    ![在这里插入图片描述][73d4f73a0d334051a1eda870b9116258.png_pic_center]
    
    [https://www.elastic.co/cn/beats/filebeat][https_www.elastic.co_cn_beats_filebeat]
    
    ![在这里插入图片描述][095f10fa96d440d38831145a2bd5cf4e.png_pic_center]
    
    无论您是从安全设备、云、容器、主机还是 OT 进行数据收集，Filebeat 都将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。【Flume `真正`的竞品】
 *  DataX： alibaba
    
    [https://github.com/alibaba/DataX][https_github.com_alibaba_DataX]
    
    ![在这里插入图片描述][ffbc45e80b9442c289686b412f2ccaa4.png_pic_center]
    
    ![在这里插入图片描述][95c52cad086b44b6bbeaead8f7e44e4a.png_pic_center]
    
    DataX 是阿里云 [DataWorks数据集成][DataWorks] 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
 *  Chukwa
    
    [https://chukwa.apache.org/][https_chukwa.apache.org]
    
    ![在这里插入图片描述][d161397c34df4ff5bffa1ffb6bb3cfe7.png_pic_center]
    
    当然这个项目已经退休了
 *  canal
    
    [https://github.com/alibaba/canal][https_github.com_alibaba_canal]
    
    ![在这里插入图片描述][e76cafee6dbc46dfa7c44c627a60c284.png_pic_center]
    
    ![在这里插入图片描述][a38aa5df58dd4a958e91039eb00fc066.png_pic_center]
    
    **canal \[kə’næl\]**，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
    
    早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
    
    基于日志增量订阅和消费的业务包括
    
     *  数据库镜像
     *  数据库实时备份
     *  索引构建和实时维护(拆分异构索引、倒排索引等)
     *  业务 cache 刷新
     *  带业务逻辑的增量数据处理
    
    当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

[8af2f409a0ac42b2a70a0ff6c98391f8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3688a9ae3f9c4b468238ada0a37a112d.png
[https_flume.apache.org]: https://flume.apache.org/
[9c1e2f8c11394865aed186e9274f4199.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ccbe01d801c54637b76a8ffd87716f83.png
[https_www.elastic.co_cn]: https://www.elastic.co/cn/
[73d4f73a0d334051a1eda870b9116258.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6d30c01412a24d24a4643307f61f7fe6.png
[https_www.elastic.co_cn_beats_filebeat]: https://www.elastic.co/cn/beats/filebeat
[095f10fa96d440d38831145a2bd5cf4e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2b148d1adf56480b865d2768df2bcb52.png
[https_github.com_alibaba_DataX]: https://github.com/alibaba/DataX
[ffbc45e80b9442c289686b412f2ccaa4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5a50712b941349d49311cb1577266b22.png
[95c52cad086b44b6bbeaead8f7e44e4a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6f8312b67afb429984d887ef29499ff4.png
[DataWorks]: https://www.aliyun.com/product/bigdata/ide
[https_chukwa.apache.org]: https://chukwa.apache.org/
[d161397c34df4ff5bffa1ffb6bb3cfe7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4866e2324cda4e1ea68fe5855ca3d622.png
[https_github.com_alibaba_canal]: https://github.com/alibaba/canal
[e76cafee6dbc46dfa7c44c627a60c284.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d3d66d95ec1b4b06ae836f267617f395.png
[a38aa5df58dd4a958e91039eb00fc066.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5bec43e28e7248cc92811b6914839b4c.png