日志采集框架Flume

柔情只为你懂 2022-12-18 00:53 266阅读 0赞

# 1、日志采集框架Flume #

## **1.1概述** ##

1、Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

2、Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中

3、一般的采集需求，通过对flume的简单配置即可实现

4、Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景

官方文档：[http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html][http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html]

## **1.2 运行机制** ##

1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成  
2、每一个agent相当于一个**数据传递员**，内部有三个组件：  
（a)Source：采集源，用于跟数据源对接，以获取数据  
（b)Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据  
Channel：angent内部的数据传输通道，用于从source将数据传递到sink

注：Source 到 Channel 到 Sink之间传递数据的形式是**Event事件**；**Event事件**是一个数据流单元。

![20201024164234261.png][]

## **1.3 Flume采集系统结构图** ##

### **1. 简单结构** ###

单个agent采集数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70][]

### **2. 复杂结构** ###

多级agent之间串联

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 1][]

# 2、Flume实战案例 #

## 2.1 Flume的安装部署 ##

1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境  
上传安装包到数据源所在节点上  
然后解压  tar -zxvf apache-flume-1.9.0-bin.tar.gz  
然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA\_HOME

export JAVA_HOME=/mine/jdk1.8.0_201

![20201024171134519.png][]

2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)  
3、指定采集方案配置文件，在相应的节点上启动flume agent

export JAVA_HOME=/mine/jdk1.8.0_201
    export HIVE_HOME=/mine/apache-hive-3.1.2-bin
    export HADOOP_HOME=/mine/hadoop-3.2.0
    export FLUME_HOME=/mine/apache-flume-1.9.0-bin
    export ZOOKEEPER_HOME=/mine/apache-zookeeper-3.6.2-bin
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:/$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$FLUME_HOME/bin

## 2.2、简单例子 ##

先用一个最简单的例子来测试一下程序环境是否正常

### 1、先在flume的conf目录下新建一个文件（netcat-logger.conf） ###

vim netcat-logger.conf

# 定义这个agent1中各组件的名字
    agent1.sources = r1
    agent1.sinks = k1
    agent1.channels = c1
    
    # 描述和配置source组件：r1
    agent1.sources.r1.type = netcat
    agent1.sources.r1.bind = localhost
    agent1.sources.r1.port = 6666
    
    # 描述和配置sink组件：k1
    agent1.sinks.k1.type = logger
    
    # 描述和配置channel组件，此处使用是内存缓存的方式
    agent1.channels.c1.type = memory
    agent1.channels.c1.capacity = 1000
    agent1.channels.c1.transactionCapacity = 100
    
    # 描述和配置source  channel   sink之间的连接关系
    agent1.sources.r1.channels = c1
    agent1.sinks.k1.channel = c1

###  2、启动agent去采集数据 ###

flume-ng agent -c /mine/apache-flume-1.9.0-bin/conf -f /mine/flume_conf/netcat-logger.conf -n agent1  -Dflume.root.logger=INFO,console

\-c conf   指定flume自身的配置文件所在目录

\-f /mine/flume\_conf/netcat-logger.conf  指定我们所描述的采集方案

\-n agent1  指定我们这个agent的名字

###  3、测试 ###

先要往agent采集监听的端口上发送数据，让agent有数据可采  
随便在一个能跟agent节点联网的机器上

telnet anget-hostname  port   （telnet 127.0.0.1 6666）

![20201024171834496.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 2][]

##  2.3、采集目录到控制台日志 ##

### 采集需求： ###

某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现

根据需求，首先定义以下3大要素

(1)采集源，即source——监控文件目录 :  spooldir  
(2)下沉目标，即sink——HDFS文件系统  : logger sink  
(3)source和sink之间的传递通道——channel，可用file channel 也可以用内存channel

vim spooldir-logger.conf

# Name the components on this agent
    agent1.sources = r1
    agent1.sinks = k1
    agent1.channels = c1
    
    # Describe/configure the source
    #监听目录,spoolDir指定目录, fileHeader要不要给文件夹前坠名
    agent1.sources.r1.type = spooldir
    agent1.sources.r1.spoolDir = /mine/spoolDir
    agent1.sources.r1.fileHeader = true
    
    # Describe the sink
    agent1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    agent1.channels.c1.type = memory
    agent1.channels.c1.capacity = 1000
    agent1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    agent1.sources.r1.channels = c1
    agent1.sinks.k1.channel = c1

flume-ng agent -c /mine/apache-flume-1.9.0-bin/conf -f /mine/flume_conf/spooldir-hdfs.conf -n agent1  -Dflume.root.logger=INFO,console

![2020102418083764.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 3][]

## 2.4、采集文件到HDFS ##

### 需求： ###

根据需求，首先定义以下3大要素  
（1）采集源，即source——监控文件内容更新 :  exec  ‘tail -F file’  
（2）下沉目标，即sink——HDFS文件系统  :  hdfs sink  
（3）Source和sink之间的传递通道——channel，可用file channel 也可以用内存channel

vim tail-hdfs.conf

# Name the components on this agent
    agent1.sources = r1
    agent1.sinks = k1
    agent1.channels = c1
    
    # Describe/configure the source
    agent1.sources.r1.type = exec
    agent1.sources.r1.command = tail -F /mine/flume_data/data.log
    agent1.sources.r1.channels = c1
    
    # Describe the sink
    agent1.sinks.k1.type = hdfs
    agent1.sinks.k1.channel = c1
    agent1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/
    agent1.sinks.k1.hdfs.filePrefix = events
    agent1.sinks.k1.hdfs.round = true
    agent1.sinks.k1.hdfs.roundValue = 10
    agent1.sinks.k1.hdfs.roundUnit = minute
    #文件滚动周期(秒)
    agent1.sinks.k1.hdfs.rollInterval = 3
    #文件滚动的大小（bytes）
    agent1.sinks.k1.hdfs.rollSize = 300
    #写入多少个event数据后滚动文件（事件个数）
    agent1.sinks.k1.hdfs.rollCount = 5
    #在刷新到HDFS之前写入文件的事件数
    agent1.sinks.k1.hdfs.batchSize = 1
    agent1.sinks.k1.hdfs.useLocalTimeStamp = true
    #生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
    agent1.sinks.k1.hdfs.fileType = DataStream
    
    
    
    # Use a channel which buffers events in memory
    agent1.channels.c1.type = memory
    agent1.channels.c1.capacity = 1000
    agent1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    agent1.sources.r1.channels = c1
    agent1.sinks.k1.channel = c1

flume-ng agent -c /mine/apache-flume-1.9.0-bin/conf -f /mine/flume_conf/tail-hdfs.conf -n agent1

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 5][]

##  2.5、tail-avro-avro-logger ##

hadoop01：

vim tail-avro.conf

hadoop02：

vim avro-logger.conf

# Name the components on this agent
    agent1.sources = r1
    agent1.sinks = k1
    agent1.channels = c1
    
    # Describe/configure the source
    agent1.sources.r1.type = avro
    agent1.sources.r1.channels = c1
    agent1.sources.r1.bind = 0.0.0.0
    agent1.sources.r1.port = 6666
    
    # Describe the sink
    agent1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    agent1.channels.c1.type = memory
    agent1.channels.c1.capacity = 1000
    agent1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    agent1.sources.r1.channels = c1
    agent1.sinks.k1.channel = c1

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 6][]

[http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html]: http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
[20201024164234261.png]: /images/20221122/517a6e294b5642a89e63bb59264e1f67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70]: /images/20221122/52bee19366f54936a3728676b0e6298a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 1]: /images/20221122/09f9217087b7456dbdcb8d5b6819b732.png
[20201024171134519.png]: /images/20221122/16eff430d5784327920dd40099de8cf8.png
[20201024171834496.png]: /images/20221122/40bd34a4b02740148e68d30e34240be7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 2]: /images/20221122/81f4c9e2e69f41e7859c780fb0c8edb6.png
[2020102418083764.png]: /images/20221122/beab0a8769b3438dac18e31d0e6be6e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 3]: /images/20221122/1b17b4b2824f459b86c3e19ede5a9402.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 4]: /images/20221122/68f66cacd3e24ff98d68b62ff0c446b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 5]: /images/20221122/2c1185fb64f2418ba69171b55815522e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 6]: /images/20221122/d26dba98f3a9449fbfe373c191870346.png