10.Flume Channels

心已赠人 2022-06-14 07:23 123阅读 0赞

1.Memory Channel

a1.channels = c1
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 10000
    a1.channels.c1.transactionCapacity = 10000
    a1.channels.c1.byteCapacityBufferPercentage = 20
    a1.channels.c1.byteCapacity = 800000

2.JDBC Channel

a1.channels = c1
    a1.channels.c1.type = jdbc

3.Kafka Channel

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
    a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka-3:9092
    a1.channels.channel1.kafka.topic = channel1
    a1.channels.channel1.kafka.consumer.group.id = flume-consumer

4.File Channel

a1.channels = c1
    a1.channels.c1.type = file
    a1.channels.c1.checkpointDir = /mnt/flume/checkpoint
    a1.channels.c1.dataDirs = /mnt/flume/data

5.Spillable Memory Channel

a1.channels = c1
    a1.channels.c1.type = SPILLABLEMEMORY
    a1.channels.c1.memoryCapacity = 10000
    a1.channels.c1.overflowCapacity = 1000000
    a1.channels.c1.byteCapacity = 800000
    a1.channels.c1.checkpointDir = /mnt/flume/checkpoint
    a1.channels.c1.dataDirs = /mnt/flume/data

6.Pseudo Transaction Channel

7.Custom Channel

a1.channels = c1
    a1.channels.c1.type = org.example.MyChannel

发表评论取消回复

表情：

评论列表（有 0 条评论，123人围观）

还没有评论，来说两句吧...

相关阅读

相关 flume的source, channel, sink 列表

Flume Source <table style="margin:1.5em 0px; padding:0px; border:thin solid rgb(134,

Love The Way You Lie/ 2022年08月22日 00:28/ 0 赞/ 151 阅读

相关 Flume学习（五）：Flume Channel Selectors使用

转载：http://blog.csdn.net/xiao\_jun\_0820/article/details/38116103 前几篇文章只有一个项目的日志，现在

红太狼/ 2022年08月04日 09:26/ 0 赞/ 191 阅读

相关 10.Flume Channels

1.Memory Channel a1.channels = c1 a1.channels.c1.type = memory a1.channels.

心已赠人/ 2022年06月14日 07:23/ 0 赞/ 124 阅读

相关 6.Flume Channel Selectors

Flume Channel Selectors If the type is not specified, then defaults to “replicating”.

r囧r小猫/ 2022年06月14日 01:40/ 0 赞/ 163 阅读

相关 5.Flume 多个channel sinks

Licensed to the Apache Software Foundation (ASF) under one or more contributor

以你之姓@/ 2022年06月14日 01:24/ 0 赞/ 172 阅读

相关 flume 自定义source，sink，channel，拦截器

按照以往的惯例，还是需求驱动学习，有位网友在我的flume学习五中留言提了一个问题如下：我想实现一个功能，就在读一个文件的时候，将文件的名字和文件生成的日期作为event的

￡神魔★判官ぃ/ 2022年06月04日 00:08/ 0 赞/ 332 阅读

相关 flume file channel 异常解决

2016-04-21 05:40:51,393 (SinkRunner-PollingRunner-DefaultSinkProcessor) \[ERROR - org.ap

墨蓝/ 2022年01月27日 16:11/ 0 赞/ 405 阅读

相关 [Flume] 02 -flume-ng、核心概念、Source/Channel/Sink类型

Flume 1.6.0 关键词： flume-ng、核心概念、Source/Channel/Sink类型 0、Flume-og和Flume-ng分别是什么鬼？ >

水深无声/ 2022年01月27日 13:41/ 0 赞/ 350 阅读

相关 Flume个人心得笔记之Channel安装

Flume个人心得笔记之Channel安装全解目录 Flume个人心得笔记之Channel安装全解一.

深藏阁楼爱情的钟/ 2021年12月14日 09:07/ 0 赞/ 347 阅读

相关 flume之Channel

Channels 是一个 Agent上存储 events 的仓库，Source 向其中添加 events，而 Sink从中取走移除 events。本文重点介绍memory ch

た入场券/ 2021年06月24日 15:58/ 0 赞/ 546 阅读