Flume系列2：Flume的安装与常见配置使用

深藏阁楼爱情的钟 2022-06-02 11:24 223阅读 0赞

### 0.Flume使用前言 ###

Flume agent configuration is stored in a local configuration file. This is a text file that follows the Java properties file format. Configurations for one or more agents can be specified in the same configuration file. The configuration file includes properties of each source, sink and channel in an agent and how they are wired together to form data flows.

***译文：***

**      Flume代理配置存储在本地配置文件中。这是一个遵循Java属性文件格式的文本文件。可以在同一个配置文件中指定一个或多个代理的配置。配置文件包括代理中每个源、接收和通道的属性，以及如何将它们连接在一起形成数据流**

### **1.Flume的安装使用** ###

Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境和安装了java虚拟机环境。

1.上传安装包到数据源所在节点上  
    2.然后解压  tar -zxvf apache-flume-1.6.0-bin.tar.gz

3.然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA\_HOME

### **2.FLUME的官网演示案例1** ###

**1.现在centos上安装一个telnet服务器**

1.查看是否安装telnet
    [robot@hadoop101 conf]$ rpm -qa | grep telnet  
    2.没有安装的话，直接安装
    [robot@hadoop101 conf]$ sudo yum -y install telnet*

**2.配置flume的flume-conf.properties ，没有可以新建一个，基于conf目录下的模板。**

# example.conf: A single-node Flume configuration
    
    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

**     这个配置定义了一个名为a1的代理agent。a1有一个用于监听端口44444上的数据的源，一个用于缓冲内存中的事件数据的通道channel，以及一个将事件数据记录到控制台的接收器。配置文件命名各种组件，然后描述它们的类型和配置参数。一个给定的配置文件可以定义几个命名代理;当启动一个给定的Flume进程时，传递一个标志，告诉它要显示哪个命名代理。 **

**3.flume演示**

1.先开启flume先听端口具体的启动监听命令在官网有详细的说明
    bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-conf.properties  -Dflume.root.logger==INFO,console
    
    
    2.使用telnet工具向本机的44444端口发送内容。
     $ telnet localhost 44444

### **3.Flume的使用演示之案例二：采集目录到HDFS** ###

Each component (source, sink or channel) in the flow has a name, type, and set of properties that are specific to the type and instantiation. For example, an Avro source needs a hostname (or IP address) and a port number to receive data from. A memory channel can have max queue size (“capacity”), and an HDFS sink needs to know the file system URI, path to create files, frequency of file rotation (“hdfs.rollInterval”) etc. All such attributes of a component needs to be set in the properties file of the hosting Flume agent.

***译文：***

**流中的每个组件(source、sink,channel )都有特定于类型和实例化的名称、类型和一组属性。例如，Avro源需要一个主机名(或IP地址)和一个端口号来接收数据。内存通道可以有最大的队列大小(“容量”)，而HDFS接收器需要知道文件系统的URI、创建文件的路径、文件旋转的频率(“HDFS . rollinterval”)等等。组件的所有这些属性都需要在托管Flume代理的属性文件中设置。**

**2.1 演示采集需求**：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中，根据需求定义以下3大要素：

1.采集源，即source——监控文件目录 :  spooldir  
2.下沉目标，即sink——HDFS文件系统  :  hdfs sink  
3.source和sink之间的传递通道——channel，可用file channel 也可以用内存channel

注意：具体souce,sink,channel的配置，比如source源是什么，怎么配置source，sink下沉到哪个系统，是kafka还是HDFS,sink如何配置等，可以到官网去查看配置选项，官网给了详细的介绍。其中如下图**，官网配置中黑体字是必须配置的选项，而灰色字体则是选择优化配置的选项。**

![20180111175422056][]  
具体编程配置文件内容如下：

1.在flume的安装目录conf下创建Flume Agent配置文件flume-hdfsdir.conf,配置文件中添加如下内容

#1.定义三大组件的名称
    agent1.sources = source1
    agent1.sinks = sink1
    agent1.channels = channel1
    # 2.配置source组件
    agent1.sources.source1.type = spooldir  #spooldir是spooling directory source，用于监视缓冲目录中的新增文件。下面的spoorDir是其属性
    agent1.sources.source1.spoolDir = /home/hadoop/logs/     
    agent1.sources.source1.fileHeader = false
    #配置拦截器
    agent1.sources.source1.interceptors = i1
    agent1.sources.source1.interceptors.i1.type = host
    agent1.sources.source1.interceptors.i1.hostHeader = hostname
    # 配置sink组件
    agent1.sinks.sink1.type = hdfs
    agent1.sinks.sink1.hdfs.path =hdfs://hadoop102:9000/weblog/flume-collection/%y-%m-%d/%H-%M
    agent1.sinks.sink1.hdfs.filePrefix = access_log
    agent1.sinks.sink1.hdfs.maxOpenFiles = 5000
    agent1.sinks.sink1.hdfs.batchSize= 100
    agent1.sinks.sink1.hdfs.fileType = DataStream
    agent1.sinks.sink1.hdfs.writeFormat =Text
    agent1.sinks.sink1.hdfs.rollSize = 102400
    agent1.sinks.sink1.hdfs.rollCount = 1000000
    agent1.sinks.sink1.hdfs.rollInterval = 60
    #agent1.sinks.sink1.hdfs.round = true
    #agent1.sinks.sink1.hdfs.roundValue = 10
    #agent1.sinks.sink1.hdfs.roundUnit = minute
    agent1.sinks.sink1.hdfs.useLocalTimeStamp = true
    # Use a channel which buffers events in memory
    agent1.channels.channel1.type = memory
    agent1.channels.channel1.keep-alive = 120
    agent1.channels.channel1.capacity = 500000
    agent1.channels.channel1.transactionCapacity = 600
    # Bind the source and sink to the channel
    agent1.sources.source1.channels = channel1  
    #注意source的属性是channels(复数)，但sink是channel，一个source可以向多个channels传送数据，一个sink只能接受一个channel的数据。
    agent1.sinks.sink1.channel = channel1#注意source的属性是channels(复数)，但sink是channel，一个source可以向多个channels传送数据，一个sink只能接受一个channel的数据。
    agent1.sinks.sink1.channel = channel1

Channel部分优化 参数解释：

capacity ：默认该通道中最大的可以存储的 event 数量

trasactionCapacity ：每次最大可以从 source 中拿到或者送到 sink 中的 event 数量

keep-alive ： event 添加到通道中或者移出的允许时间

**2.执行测试**

$ bin/flume-ng agent --conf conf/ --name a3 --conf-file conf/flume-dir.conf  &

命令解释：  
flume -ng 来启动flume代理agent。  
\--conf 告诉系统配置文件所在目录，用于系统加载配置文件，例如环境变量等。  
\--name跟的是一个agent（代理）名字，**因为实际开发中一个Flume属性文件中可以配置多个agent代理，所以要指明agent.**  
\--conf-file  跟的参数是用户自定义的配置文件所在目录，因为用户也可以不放到conf/目录。

[20180111175422056]: /images/20220602/8219bbab9d9b411186a25ae32f04209d.png