hadoop学习——flume的简单介绍

阳光穿透心脏的1/2处 2023-10-18 13:32 124阅读 0赞

#### flume介绍 ####

##### 概述 #####

Flume最早是Cloudera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。

**Flume是一个高可用的，高可靠的 鲁棒性（robust 健壮性），分布式的海量日志采集、聚合和传输的系统**，Flume支持在日志系统中定制各类数据发送方，用于收集数据(source);同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力(sink)。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，老版本的flume需要引入zookeeper集群管理，性能也较低（单线程工作）。  
Flume1.X版本的统称Flume-ng。新版本需要引入zookeerper。  
由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

##### flume总体架构 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70]

flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如说送到图中的HDFS，简单来说flume就是收集日志的。

flume运行的核心就是`agent`，`agent`本身是一个Java进程，  
agent里面包含3个核心的组件：`source—->channel—–>sink`,类似生产者、仓库、消费者的架构。

**source：**

source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooldir、netcat、sequence generator、syslog、http、legacy、自定义。

**channel：**

source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等。

**sink：**

sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义。

##### flume工作流程 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 1]

1、source不断的接收数据，将数据封装成一个一个的event。

2、然后将event发送给channel，chanel作为一个缓冲区会临时存放这些event数据，

3、随后sink会将channel中的event数据发送到指定的地方—-例如HDFS等。

注：

只有在sink将channel中的数据成功发送出去之后，channel才会将临时event数据进行删除，这种机制保证了数据传输的可靠性与安全性。

##### flume的用法 #####

`flume`有很多常用用法。比如，`flume`可以支持`多级flume`的`agent`，即`flume`可以前后相继形成多级的复杂流动，例如`sink`可以将数据写到下一个`agent`的`source`中，这样的话就可以连成串了，可以整体处理了。

![在这里插入图片描述][20190109122934136.png]

此外，flume还支持**扇入(fan-in)、扇出(fan-out)**。所谓扇入就是source可以接受多个输入，所谓扇出就是sink可以将数据输出多个目的地中。

###### 数据流合并（扇入流） ######

在做日志收集的时候一个常见的场景就是，大量的生产日志的客户端发送数据到少量的附属于存储子系统的消费者`agent`。例如，从数百个web服务器中收集日志，它们发送数据到十几个负责将数据写入HDFS集群的`agent`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 2]

这个可在Flume中可以实现，需要配置大量第一层的agent，每一个agent都有一个`avro sink`，让它们都指向同一个agent的`avro source`（强调一下，在这样一个场景下你也可以使用thrift source/sink/client）。在第二层agent上的source将收到的event合并到一个channel中，event被一个sink消费到它的最终的目的地。

###### 数据流复用（扇出流） ######

`Flume`支持多路输出`event`流到一个或多个目的地。这是靠定义一个多路数据流实现的，它可以实现复制和选择性路由一个`event`到一个或者多个`channel`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 3]

上面的例子展示了`agent foo`中`source`扇出数据流到三个不同的`channel`，这个扇出可以是复制或者多路输出。在复制数据流的情况下，每一个`event`被发送所有的三个`channel`；在多路输出的情况下，一个`event`被发送到一部分可用的`channel`中，它们是根据event的属性和预先配置的值选择`channel`的。 这些映射关系应该被填写在agent的配置文件中。

##### Flume的特性 #####

###### 可靠性 ######

事务型的数据传递，保证数据的可靠性  
一个日志交给flume来处理，不会出现此日志丢失或未被处理的情况。

###### 可恢复性 ######

通道可以以内存或文件的方式实现，内存更快，但不可恢复。文件较慢但提供了可恢复性。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190109122833605.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190109122913273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70
[20190109122934136.png]: https://img-blog.csdnimg.cn/20190109122934136.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190109123019828.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190109123034774.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvaGFxaXlp,size_16,color_FFFFFF,t_70