轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.9 认识SinkProcessor

缺乏、安全感 2024-03-16 15:19 9阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.9 认识SinkProcessor

![在这里插入图片描述][ce881086831d4de180619d9e8f204d50.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.9 认识SinkProcessor ######

![在这里插入图片描述][d4392d94c2f24a39a0b2da9a51f536d0.png_pic_center]

其实Sink 也是支持多个的

![在这里插入图片描述][7accf9cea9dd4fcc956b5fadb7fac636.png_pic_center]

这样就有了HA 的解决办法：

*  load\_balance：多个sink随机 / 负载均衡的输出
 *  failover：同一时刻只有一个sink 工作，当这个sink 挂了，会自动切换到另外一个sink

而且不同的sink 可以配置不同的优先级，先往优先级高的sink 写。

官网文档：[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#flume-sink-processors][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_flume-sink-processors]

接收器组允许用户将多个接收器分组到一个实体中。接收器处理器可用于为组内的所有接收器提供负载平衡功能，或者在出现临时故障的情况下实现从一个接收器到另一个接收器的故障转移。

![在这里插入图片描述][8c84e0530ccb4730977b175ae1684839.png_pic_center]

OK， 下一节实战。

[ce881086831d4de180619d9e8f204d50.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9d6e02dda4b54b919fed0372057023b1.png
[d4392d94c2f24a39a0b2da9a51f536d0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e720fb37fb1a4c52afa60196268b03d1.png
[7accf9cea9dd4fcc956b5fadb7fac636.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/57b22ed950a94e6884a48afc41dc47fe.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_flume-sink-processors]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-sink-processors
[8c84e0530ccb4730977b175ae1684839.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e405157ab60048edb80f045f43ee11de.png