hadoop(十一)、Flume安装配置

谁借莪１个温暖的怀抱￠ 2022-02-27 17:50 249阅读 0赞

一、下载安装  
1、下载地址：[http://flume.apache.org/download.html][http_flume.apache.org_download.html]  
2、解压 tar -xvf flume-1.8.0-bin.tar.gz  
3、配置环境变量：  
vi .bash\_profile

#flume 
        export FLUME_HOME=/opt/module/flume-1.8.0-bin
        export PATH=$PATH:$FLUME_HOME/bin

source .bash\_profile

二、部署实例  
1、在/opt/module/flume-1.8.0-bin/conf/目录下新建 netcat.conf 配置文件，编辑netcat.conf：

#定义agent名称，source，channel，sink的名称
    #a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别
    #我们知道agent包含了三个重要的组件，有source，channel，sink
    #那么我们也给这个三个组件分别取名字
    a1.sources = r1	
    a1.channels = c1	
    a1.sinks = k1
    
    #定义具体的source内容
    #这里是执行命令以及下面对应的具体命令
    #这个命令执行后的数据返回给这个source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444
    
    
    #定义具体的channel信息
    #我们source定义好了，就要来定义我们的channel
    a1.channels.c1.type = memory	
    a1.channels.c1.capacity = 10000	
    a1.channels.c1.transactionCapacity = 100
    
    #定义具体的sink信息
    #这个logger sink，就是将信息直接打印到控制台
    #就是打印日志
    a1.sinks.k1.type = logger
    
    #最后来组装我们之前定义的channel和sink
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

2、运行FlumeAgent，监听本机的44444端口:

flume-ng agent --conf conf --conf-file netcat.conf --name a1 -Dflume.root.logger=INFO,console

conf : 配置文件目录  
netcat.conf ： 配置文件地址  
a1 ： agent名称

3、 打开另一终端，通过telnet登录localhost的44444，输入测试数据

telnet 127.0.0.1 44444

[http_flume.apache.org_download.html]: http://flume.apache.org/download.html