Flume NG高可用集群搭建（亲测有效）

迈不过友情╰ 2023-02-10 03:46 25阅读 0赞

**高可用架构图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]  
**结构分配**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]  
**agent1配置(flume-client.conf)：**

#agent1 name
    agent1.channels = c1
    agent1.sources = r1
    agent1.sinks = k1 k2
    #set gruop
    agent1.sinkgroups = g1
    #set channel
    agent1.channels.c1.type = memory
    agent1.channels.c1.capacity = 1000
    agent1.channels.c1.transactionCapacity = 100
    agent1.sources.r1.channels = c1
    agent1.sources.r1.type = exec
    agent1.sources.r1.command = tail -F /home/sky/flume/log_exec_tail
    agent1.sources.r1.interceptors = i1 i2
    agent1.sources.r1.interceptors.i1.type = static
    agent1.sources.r1.interceptors.i1.key = Type
    agent1.sources.r1.interceptors.i1.value = LOGIN
    agent1.sources.r1.interceptors.i2.type = timestamp
    # set sink1
    agent1.sinks.k1.channel = c1
    agent1.sinks.k1.type = avro
    agent1.sinks.k1.hostname = hadoop1
    agent1.sinks.k1.port = 52020
    # set sink2
    agent1.sinks.k2.channel = c1
    agent1.sinks.k2.type = avro
    agent1.sinks.k2.hostname = hadoop2
    agent1.sinks.k2.port = 52020
    #set sink group
    agent1.sinkgroups.g1.sinks = k1 k2
    #set failover
    agent1.sinkgroups.g1.processor.type = failover
    agent1.sinkgroups.g1.processor.priority.k1 = 10
    agent1.sinkgroups.g1.processor.priority.k2 = 1
    agent1.sinkgroups.g1.processor.maxpenalty = 10000

**collector1配置(flume-server.conf):**

#set Agent name
    a1.sources = r1
    a1.channels = c1
    a1.sinks = k1
    #set channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    # other node,nna to nns
    a1.sources.r1.type = avro
    a1.sources.r1.bind = hadoop1
    a1.sources.r1.port = 52020
    a1.sources.r1.interceptors = i1
    a1.sources.r1.interceptors.i1.type = static
    a1.sources.r1.interceptors.i1.key = Collector
    a1.sources.r1.interceptors.i1.value = hadoop1
    a1.sources.r1.channels = c1
    #set sink to hdfs
    a1.sinks.k1.type=logger
    a1.sinks.k1.channel=c1

**collector2配置(flume-server.conf):**

#set Agent name
    a1.sources = r1
    a1.channels = c1
    a1.sinks = k1
    #set channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    # other node,nna to nns
    a1.sources.r1.type = avro
    a1.sources.r1.bind = hadoop2
    a1.sources.r1.port = 52020
    a1.sources.r1.interceptors = i1
    a1.sources.r1.interceptors.i1.type = static
    a1.sources.r1.interceptors.i1.key = Collector
    a1.sources.r1.interceptors.i1.value = hadoop2
    a1.sources.r1.channels = c1
    #set sink to hdfs
    a1.sinks.k1.type=logger
    a1.sinks.k1.channel=c1

先启动server，在启动client：

flume-ng agent --conf conf --conf-file /usr/local/flume/conf/flume-server.conf --name a1 -Dflume.root.logger=INFO,console

flume-ng agent --conf conf --conf-file /usr/local/flume/conf/flume-client.conf --name agent1 -Dflume.root.logger=INFO,console

测试验证：

hadoop1收到了hadoop3的消息了，哈哈。hadoop2没有收到消息，那是因为hadoop1的priority高。  
hadoop3:  
![在这里插入图片描述][2020051921351516.png]

hadoop1:

![在这里插入图片描述][20200519213522590.png]

hadoop2:

![在这里插入图片描述][20200519213529514.png]

再次测试Failover：

停掉hadoop1的Flume，再次在hadoop3发送数据。可见hadoop3的Flume报错重连了，并且hadoop2收到了数据。如果再次启动hadoop1的Flume，一切又会恢复到hadoop1接收。

hadoop3：

![在这里插入图片描述][2020051921354251.png]

hadoop2：

![在这里插入图片描述][20200519213549843.png]

这样测试就完毕了。Flume高可用集群就搭建好了！

备注：以上内容参考：https://www.cnblogs.com/AK47Sonic/p/7435940.html  
但是本人亲自测试过的，是成功的

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200519212630529.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200519213108388.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70
[2020051921351516.png]: https://img-blog.csdnimg.cn/2020051921351516.png
[20200519213522590.png]: https://img-blog.csdnimg.cn/20200519213522590.png
[20200519213529514.png]: https://img-blog.csdnimg.cn/20200519213529514.png
[2020051921354251.png]: https://img-blog.csdnimg.cn/2020051921354251.png
[20200519213549843.png]: https://img-blog.csdnimg.cn/20200519213549843.png

发表评论取消回复

表情：

评论列表（有 0 条评论，25人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flume NG高可用集群搭建（亲测有效）

高可用架构图 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9n

迈不过友情╰/ 2023年02月10日 03:46/ 0 赞/ 26 阅读

相关搭建nginx高可用集群

一、背景我们都知道nginx有负载均衡的功能，我们在学习的时候，练手的话，一般请求交给一个nginx，然后使用nginx自带的upstream指令把请求转发到其他web

心已赠人/ 2022年12月11日 04:29/ 0 赞/ 370 阅读

相关 RabbitMQ高可用集群搭建

RabbitMQ的集群是依赖erlang集群的，而erlang集群是通过.erlang.cookie文件进行通信认证的，所以我们使用RabbitMQ集群时只需要配置一下.erl

一时失言乱红尘/ 2022年12月06日 01:15/ 0 赞/ 378 阅读

相关高可用集群搭建

首先需要部署多个master，每个master节点需要部署keepalived，keepalived可以检测master节点状态，并且提供虚拟ip配置，当一个m

忘是亡心i/ 2022年10月05日 06:46/ 0 赞/ 407 阅读

相关 hadoop 高可用集群搭建

\关闭防火墙 systemctl disable firewalld systemctl stop firewalld \关闭selinux /etc/selinu

野性酷女/ 2022年06月14日 06:25/ 0 赞/ 472 阅读

相关 Flume-ng 多节点集群搭建

http://blog.csdn.net/u010695420/article/details/44978079 Flume NG是一个分布式、可靠、可用的系统，它

川长思鸟来/ 2022年06月06日 02:55/ 0 赞/ 320 阅读

相关 Flink高可用集群搭建

一、部署说明 flink是apache一款大数据实时计算应用，在生产环境中，用来实时计算应用产生的日志，数据等，满足预警，入库等需求二、系统环境系统版本：cent

深藏阁楼爱情的钟/ 2022年04月23日 02:16/ 0 赞/ 1127 阅读

相关 MyCat高可用集群搭建

一，环境准备 \ MyCat \ Haproxy \ Keepalived \ xinetd 二，安装 1， Haproxy

迈不过友情╰/ 2022年04月05日 05:00/ 0 赞/ 438 阅读

相关 Hadoop高可用集群搭建

Hadoop高可用集群搭建（HA） 1. 环境介绍 1.1 版本说明 1.2 集群规划 1.3 HA说明 2. HA集

我不是女神ヾ/ 2022年03月28日 13:12/ 0 赞/ 450 阅读

相关 redis-cluster集群搭建完整教程(亲测有效)

redis-cluster集群搭建完整教程（Linux centos7） 1. 下载并解压下载：命令： wget http://download.redis.

你的名字/ 2021年10月23日 07:59/ 0 赞/ 457 阅读