大数据-Flume(三)：案例、配置文件编写【案例①：netcat--＞logger】【案例②：taildir--＞hdfs】

ゝ一纸荒年。 2023-09-25 21:15 29阅读 0赞

## 一、netcat-->logger ##

### 1、案例需求： ###

*使用**Flume**监听一个****端口****，收集该端口数据，并打印到****控制台****。*

### 2、需求分析 ###

![845711db87a14c4ab5fa03baf12a906e.png][]

### 3、实现步骤 ###

#### **3.1** **软件环境配置** ####

（1）安装netcat工具

[wyr@hadoop102 ~]$ sudo yum install -y nc

（2）判断44444端口是否被占用

[wyr@hadoop102 ~]$ sudo netstat -nlp | grep 44444

（3）在flume目录下创建job文件夹并进入job文件夹。

[wyr@hadoop102 flume]$ mkdir -p job/simpleCase
    [wyr@hadoop102 flume]$ cd job/simpleCase

#### **3.2** **编写配置文件** ####

在job/simpleCase文件夹下创建Flume Agent配置文件flume\-1-netcat-logger.conf, 添加如下内容

#Name the components on this agent
    a1.sources = r1                                      # 为a1的Source组件命名为r1，多个组件用空格间隔
    a1.sinks = k1                                        # 为a1的Sink组件命名为k1，多个组件用空格间隔
    a1.channels = c1                                    # 为a1的Channel组件命名为c1，多个组件用空格间隔
    
    # Describe/configure the source
    a1.sources.r1.type = netcat                      # 配置r1的类型
    a1.sources.r1.bind = localhost                  # 配置r1的绑定地址（注意localhost和hadoop102的区别）
    a1.sources.r1.port = 44444                       # 配置r1的监听端口
    
    # Describe the sink
    a1.sinks.k1.type = logger                        # 配置k1的类型为logger,输出到控制台
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory                    # 配置c1的类型为memory
    a1.channels.c1.capacity = 1000                 # 配置c1的容量为1000个事件
    a1.channels.c1.transactionCapacity = 100     # 配置c1的事务容量为100个事件
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1                    # 配置r1的channel属性，指定r1连接到那个channel
    a1.sinks.k1.channel = c1                        # 配置k1的channel属性，指定k1连接到那个channel

注：

*  配置文件真实使用时后面的注释、空格都要去掉，否则出错（多个组件使用空格隔开的）
 *  配置文件来源于官方手册[Flume 1.11.0 User Guide — Apache Flume][Flume 1.11.0 User Guide _ Apache Flume]

#### **3.3** **部署运行flume****监听端口** ####

第一种写法：

[wyr@hadoop102 flume]$ 
    
    bin/flume-ng agent --conf conf/ --name a1 --conf-file job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console

第二种写法：

[wyr@hadoop102 flume]$ 
    
    bin/flume-ng agent -c conf/ -n a1 -f job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console

[wyr@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console
    Info: Including Hadoop libraries found via (/opt/module/hadoop-3.1.3/bin/hadoop) for HDFS access
    Info: Including Hive libraries found via (/opt/module/hive) for Hive access
    + exec /opt/module/jdk1.8.0_212/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp '/opt/module/flume/conf:/opt/module/flume/lib/*:/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*:/opt/module/hive/lib/*' -Djava.library.path=:/opt/module/hadoop-3.1.3/lib/native org.apache.flume.node.Application -n a1 -f job/simpleCase/flume-1-netcat-logge

[845711db87a14c4ab5fa03baf12a906e.png]: https://img-blog.csdnimg.cn/845711db87a14c4ab5fa03baf12a906e.png
[Flume 1.11.0 User Guide _ Apache Flume]: http://flume.apache.org/FlumeUserGuide.html

发表评论取消回复

表情：

评论列表（有 0 条评论，29人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flume-聚合案例

聚合 1）案例需求： hadoop102上的Flume-1监控文件/opt/module/group.log， hadoop103上的Flume-2监控某一个端口的数

小灰灰/ 2022年11月29日 01:00/ 0 赞/ 173 阅读

相关 Flume-监控端口数据案例，实时监控单个追加文件案例

文章目录监控端口数据官方案例实时监控单个追加文件监控端口数据官方案例 1）案例需求：使用Flume监听一个端口，收集该端口数据

深藏阁楼爱情的钟/ 2022年11月25日 13:03/ 0 赞/ 273 阅读

相关 Flume案例一：监控 netcat 端口数据案例

> 本文接上篇博客：[Flume介绍、安装、使用案例、自定义Source/Sink、监控][Flume_Source_Sink] > Flume 版本：1.9.0 1.

悠悠/ 2022年10月09日 06:23/ 0 赞/ 226 阅读

相关 Flume-聚合案例

聚合案例分析： hadoop114上的Flume1监控文件/home/bd/tmp/group4Test/log hadoop115上的Flume2监控44444端

缺乏、安全感/ 2022年10月04日 13:59/ 0 赞/ 182 阅读

相关 flume应用案例

flume应用案例 1 flume用法 flume的使用非常简单，只需书写一个配置文件，在配置文件中描述source，channel和sink的具体实现，然后运行一

电玩女神/ 2022年06月12日 08:30/ 0 赞/ 250 阅读

相关 Flume案例Ganglia监控

Flume案例和Flume监控系统的使用：安装 1. 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录

小鱼儿/ 2022年04月25日 01:48/ 0 赞/ 264 阅读

相关 flume采集案例

1、采集目录到HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素 1. 采

短命女/ 2022年03月15日 11:04/ 0 赞/ 238 阅读

相关 Flume实战案例 02

1. Flume的安装部署 1.1 需求案例：使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据。 ![在这里插入图片描述

男娘i/ 2022年02月28日 12:24/ 0 赞/ 275 阅读

相关 Flume 案例实操 - 多数据源汇总案例

![10][] 需求分析 1. hadoop103上的flume-1监控文件`/opt/module/datas/flume_tmp.log` 2. hadoop1

分手后的思念是犯贱/ 2022年01月30日 14:41/ 0 赞/ 315 阅读

相关 Flume 案例实操 - 单数据源多出口案例(一)

案例实操 - 单数据源多出口案例(一) 拓扑结构 ![10][] 案例需求 1. 使用flume-1监控文件变动， 2. flume-1将变动内容传递给fl

逃离我推掉我的手/ 2022年01月30日 11:57/ 0 赞/ 272 阅读