flume 一对多hdfs_详解实时日志收集系统--Flume及环境部署和配置

亦凉 2023-01-01 11:51 141阅读 0赞

# 一、概述 #

先看一张Hadoop业务的整体开发流程图

![288d5774109c62dabefc3a3125f0009f.png][]

从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出日志收集—Flume。下面简单介绍下flume。

--------------------

# 什么是Flume? #

flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation)，属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG(next generation)；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。

**flume的特点：**

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

**flume的可靠性**

当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end(收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。)，Store on failure(这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送)，Besteffort(数据发送到接收方后，不会进行确认)。

**flume的可恢复性：**

还是靠Channel。推荐使用FileChannel，事件持久化在本地文件系统里(性能较差)。

**flume的一些核心概念：**

Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。

Client生产数据，运行在一个独立的线程。

Source从Client收集数据，传递给Channel。

Sink从Channel收集数据，运行在一个独立线程。

Channel连接 sources 和 sinks ，这个有点像一个队列。

Events可以是日志记录、 avro 对象等。

Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图：

![c54486f611f45fc714d7cd69c92626f1.png][]

值得注意的是，Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。比如：Channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。Sink可以把日志写入HDFS, HBase，甚至是另外一个Source等等。Flume支持用户建立多级流，也就是说，多个agent可以协同工作，并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes，这也正是NB之处。如下图所示:

![587e1c1db3ed631ec0b8140a2c3ce898.png][]

--------------------

# 二、下载地址 #

http://www.apache.org/dyn/closer.cgi/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz

![b5d291168854e6a810fea1a6ed6c1c7d.png][]

--------------------

# 三、安装部署 #

1)将下载的flume包，解压到/home/hadoop目录中，你就已经完成了50%：)简单吧

2)修改 flume-env.sh 配置文件,主要是JAVA\_HOME变量设置

root@m1:/home/hadoop/flume-1.5.0-bin# cp conf/flume-env.sh.template conf/flume-env.shroot@m1:/home/hadoop/flume-1.5.0-bin# vi conf/flume-env.shJAVA_HOME=/usr/lib/jvm/java-7-oracle

3)验证是否安装成功

![d09f1edcdefbae126b36c7cbd15e1632.png][]

出现上面的信息，表示安装成功了

--------------------

# 总结 #

Flume ：管道 ----个人认为比较适合有多个生产者场景，或者有写入Hbase、HDFS和kafka需求的场景。后面会分享更多devops和DBA方面内容，感兴趣的朋友可以关注一下~

![42480ffc1927a79888ab6f2a3de3f0a6.gif][]

[288d5774109c62dabefc3a3125f0009f.png]: /images/20221120/921573bf1901423b859b1db40f719286.png
[c54486f611f45fc714d7cd69c92626f1.png]: /images/20221120/5c4399aea63443a6bb89a0e0daa2209e.png
[587e1c1db3ed631ec0b8140a2c3ce898.png]: /images/20221120/b871924e835846429dc6aada66f9c6f2.png
[b5d291168854e6a810fea1a6ed6c1c7d.png]: /images/20221120/ce2a1a5ea1c749b2af8c6844bbd74da2.png
[d09f1edcdefbae126b36c7cbd15e1632.png]: /images/20221120/53f93a8394b141e1b2711fadd2ec56e6.png
[42480ffc1927a79888ab6f2a3de3f0a6.gif]: /images/20221120/22163f04a9a54170baeb0f0ebde0b783.png