Flume个人心得笔记之事务机制

今天药忘吃喽~ 2021-12-17 02:11 330阅读 0赞

#                                 Flume个人心得笔记之事务机制 #

**目录**

Flume个人心得笔记之事务机制

一、概述

二、put事务流程

三、Take事务

--------------------

# 一、概述 #

1.  Flume的事务机制与可靠性保证的实现，最核心的组件是Channel（通道）。如果没有Channel组件，而紧靠Source与Sink组件是无从谈起的
2.  文件通道指的是将事件存储到代理（Agent）本地文件系统中的通道。虽然要比内存通道慢一些，不过它却提供了持久化的存储路径，可以应对大多数情况，它应该用在数据流中不允许出现缺口的场合
3.  File channel虽然提供了持久化，但是其性能较差，吞吐量会受到一定的限制。相反，memory channel则牺牲可靠性换取吞吐量。当然，如果机器断电重启，则无法恢复。在实际应用中，大多数企业都是选择内存通道，因为在通过flume收集海量数据场景下，使用FileChannel所带来的性能下降是很大的甚至是无法忍受的

# 二、put事务流程 #

1.  doPut:将批数据先写入临时缓冲区putList（Linkedblockingdequeue)
2.  doCommit:检查channel内存队列是否足够合并。
3.  doRollback:channel内存队列空间不足，回滚，等待内存通道的容量满足合并
4.  putList就是一个临时的缓冲区，数据会先put到putList，最后由commit方法会检查channel是否有足够的缓冲区，有则合并到channel的队列

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][]

# 三、Take事务 #

1.  doTake:先将数据取到临时缓冲区takeList(linkedBlockingDequeue)
2.  将数据发送到下一个节点
3.  doCommit:如果数据全部发送成功，则清除临时缓冲区takeList
4.  doRollback:数据发送过程中如果出现异常，rollback将临时缓冲区takeList中的数据归还给channel内存队列

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20211214/6ae89f89b6d64361b06439d72fd7228d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1]: /images/20211214/bb28cc0dbb354d799a2ba54361aeb714.png