轻松入门大数据第12章零基础：极速入门日志收集系统Flume 12.1 日志收集框架Flume 12.1.1 Flume产生背景

谁借莪１个温暖的怀抱￠ 2024-03-16 12:52 61阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第12章 零基础：极速入门日志收集系统Flume
         *   *  12.1 日志收集框架Flume
             *   *  12.1.1 Flume产生背景

![在这里插入图片描述][82f126a074ce4c78b06d483eba30d8a9.png_pic_center]

#### 第12章 零基础：极速入门日志收集系统Flume ####

##### 12.1 日志收集框架Flume #####

> 1.  产生背景
> 2.  初识Flume
> 3.  竞品分析
> 4.  发展史
> 5.  Agent核心组件
> 6.  部署及使用

###### 12.1.1 Flume产生背景 ######

到这里我们已经学了好几个大数据生态(广义)中的框架了：

*  HDFS：分布式文件存储系统 → 存储数据
 *  MR：分布式的计算框架
 *  YARN：资源统一管理和调度
 *  Hive：SQL on Hadoop(工具)

注意到，我们要使用大数据分布式计算框架进行大数据处理时，

*  input 输入数据：HDFS

数据如何到 HDFS ？【当然在之前的实验中，我们都是使用命令手动上传的】

其实在我们平时对一些不管是app应用还是pc 应用进行一系列操作时，其背后都伴随着特别多的服务器在进行着一系列的操作，例如日志服务器就时刻记录着用户的一系列行为

![在这里插入图片描述][360a9ac873204c9396f99e1c53eabdac.png_pic_center]

这些日志不一定一定存在我们的大数据集群中

这样问题就有了，如何把这些数据弄到HDFS 上

![在这里插入图片描述][6643a545acbc4ace807cb44598f207a1.png_pic_center]

后面的处理就直接从HDFS 中拿了

分析一下整个过程：

1.  假设每隔一定的时间，调用`hadoop fs -put access.log /pk/weblog/yyyyMMdd/`
    
    日志服务器会有成千上万台，可以通过crontab 定时的去跑这个功能
2.  如何做监控？
3.  数据延迟？
4.  吞吐量？？
5.  负载均衡？？

由此，Flume 诞生了。

官网地址：[https://flume.apache.org/][https_flume.apache.org]

![在这里插入图片描述][72a5ff3a0e1c4742a3edc7c1f3cc592d.png_pic_center]

Flume 是一种分布式、可靠、可用的服务，用于高效收集、聚合和移动大量日志数据。它具有基于流式数据流的简单灵活的体系结构。它具有可调节的可靠性机制和许多故障转移和恢复机制，具有健壮性和容错性。它使用允许在线分析应用程序的简单可扩展数据模型。

[82f126a074ce4c78b06d483eba30d8a9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/bdd9fdec1ad8452586c9c03521840829.png
[360a9ac873204c9396f99e1c53eabdac.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8aa72bfc4440455db2cf5bd7cedf01ca.png
[6643a545acbc4ace807cb44598f207a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cb27451b5bf34f2283c9ed1f171bbd8b.png
[https_flume.apache.org]: https://flume.apache.org/
[72a5ff3a0e1c4742a3edc7c1f3cc592d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1c169c9011ae46d893de4ca804313f68.png