轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.1 实战之监控某个文件新增的内容并输出到HDFS

矫情吗；* 2024-03-16 13:22 35阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.1 实战之监控某个文件新增的内容并输出到HDFS

![在这里插入图片描述][3b3e373c7d664e859c0762b2f19a8596.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.1 实战之监控某个文件新增的内容并输出到HDFS ######

【使用Flume来完成生产上各种不同组合的使用】

Agent： 单个 多个组合(\*\*\*\*\*)

需求：监听某个文件中的内容，收集到HDFS上去

*  Source：
    
     *  Linux中如何监听文件内容？？？
     *  tail -F

→ **Exec Source**

官网文档：它可以运行一个给定的命令[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#exec-source][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_exec-source]

![在这里插入图片描述][6f271f8e04794c03b30b795ae778f837.png_pic_center]

Exec source 在启动时运行给定的 Unix 命令，并期望该进程在标准输出上连续生成数据（stderr 被简单地丢弃，除非属性 logStdErr 设置为 true）。如果进程因任何原因退出，源也会退出并且不会产生进一步的数据。这意味着诸如`cat [named pipe]` 或`tail -F [file]`之类的配置将产生所需的结果，而`date` 可能不会 - 前两个命令产生数据流，而后者产生单个事件并退出。

*  Channel：  
    Memory Channel

官网文档：[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#memory-channel][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_memory-channel]

![在这里插入图片描述][6682263f254e428d85a496c0c31c98e4.png_pic_center]

*  Sink:  
    HDFS Sink

官网文档：[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#hdfs-sink][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]

![在这里插入图片描述][a8a5230adf70430cb0420b660f806172.png_pic_center]

修改配置文件：

exec-memory-hdfs.sources = exec-source
    exec-memory-hdfs.sinks = hdfs-sink
    exec-memory-hdfs.channels = memory-channel
    
    exec-memory-hdfs.sources.exec-source.type = exec
    exec-memory-hdfs.sources.exec-source.command = tail -F ~/data/data.log
    exec-memory-hdfs.sources.exec-source.shell = /bin/sh -c
    
    exec-memory-hdfs.channels.memory-channel.type = memory
    
    exec-memory-hdfs.sinks.hdfs-sink.type = hdfs
    exec-memory-hdfs.sinks.hdfs-sink.hdfs.path = hdfs://hadoop000:8020/data/flume/tail
    exec-memory-hdfs.sinks.hdfs-sink.hdfs.fileType = DataStream
    exec-memory-hdfs.sinks.hdfs-sink.hdfs.writeFormat = Text
    exec-memory-hdfs.sinks.hdfs-sink.hdfs.batchSize = 10
    
    exec-memory-hdfs.sources.exec-source.channels = memory-channel
    exec-memory-hdfs.sinks.hdfs-sink.channel = memory-channel

OK，新建一个配置文件吧，`exec-memory-hdfs.conf`

![在这里插入图片描述][5735a77ab6a34efbac09bba854917afb.png_pic_center]

在`~/data` 下， 把`data.log` 新建出来

![在这里插入图片描述][c29c2e625ef2418692c8aa764aaaa55e.png_pic_center]

启动：

flume-ng agent \
    --name exec-memory-hdfs \
    --conf $FLUME_HOME/conf \
    --conf-file /home/hadoop/config/exec-memory-hdfs.conf \
    -Dflume.root.logger=INFO,console

![在这里插入图片描述][1ce2e4b012724ecb90fa803dcbc445ad.png_pic_center]

OK，启动完成

现在往`data.log` 中写入数据

这里来个脚本，自动帮我们写入数据：

for i in {1..200};do echo "dingjiaxiong $i" >> /home/hadoop/data/data.log; sleep 0.1; done

直接执行

![在这里插入图片描述][9cc3a98cf22a45a4a11acc10ff473cf2.png_pic_center]

![在这里插入图片描述][9813463c0d42442f898e2a1a5fe817e4.png_pic_center]

啊这， 提示没有权限，

![在这里插入图片描述][abce6756b3d34543b7f9ff2e73e8ef57.png_pic_center]

![在这里插入图片描述][a7ee1537cb174399aa069827722387e1.png_pic_center]

再试一次

![在这里插入图片描述][8722897a61fd4950b7d73b2f579c65dd.png_pic_center]

这里在执行了

![在这里插入图片描述][cec4402004b44bb98408ee7a9cebed52.png_pic_center]

这边就在刷日志，看看HDFS 中

![在这里插入图片描述][f1faee6ef53641f292a2f8c91623e35a.png_pic_center]

可以看见文件很小， 随便看一个

![在这里插入图片描述][0c163c1d66db494c9b6fe617479e630a.png_pic_center]

因为batchSize 我们设置为了10，所以一共生成了20 个文件

![在这里插入图片描述][ec7e55842d794aa295de2f436547a4e7.png_pic_center]

第一个1 - 10

![在这里插入图片描述][8ccd70d2d70844c7ad1029b83d4050e5.png_pic_center]

没问题

然后每个文件的前缀其实可以配置的

![在这里插入图片描述][6fe6b7a8acb04efba39a7a21d51ab5bf.png_pic_center]

默认就是它这个 `FlumeData`

当然小文件问题，我们一会儿再解决。

[3b3e373c7d664e859c0762b2f19a8596.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9619686704854bb5a382ea6a8fe38c95.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_exec-source]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#exec-source
[6f271f8e04794c03b30b795ae778f837.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/efb345d2dae34759b52f34a16faa4526.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_memory-channel]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#memory-channel
[6682263f254e428d85a496c0c31c98e4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8872a46cd33b4bc69bf6f05b359a0b5d.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink
[a8a5230adf70430cb0420b660f806172.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4c3b832cc0e447d6a8d8d2f9509d4a8e.png
[5735a77ab6a34efbac09bba854917afb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5a52d863b379419ab3137949762221fd.png
[c29c2e625ef2418692c8aa764aaaa55e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0240c4f3133e4ea9b504597308ca9594.png
[1ce2e4b012724ecb90fa803dcbc445ad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/49feb0c3c1494fbfafbfbd90a91a47d3.png
[9cc3a98cf22a45a4a11acc10ff473cf2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/293c25ae1422413eb2f8073b473318b3.png
[9813463c0d42442f898e2a1a5fe817e4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/63bd7025096a4b46bb3e6e11b89f949e.png
[abce6756b3d34543b7f9ff2e73e8ef57.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/733ac844193f4244b9f878fe1ef5cc8a.png
[a7ee1537cb174399aa069827722387e1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/084a77bc1a5246669f1cd3f519f97ccf.png
[8722897a61fd4950b7d73b2f579c65dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/63cf8e1c7feb4598be1c9ddab68761aa.png
[cec4402004b44bb98408ee7a9cebed52.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6fb8acb52f5745b9a7c2a5a3ae5968cb.png
[f1faee6ef53641f292a2f8c91623e35a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6bc1d65d3c8e48438f2479fdada25888.png
[0c163c1d66db494c9b6fe617479e630a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1c056878fa594a2d83d411e45b773afe.png
[ec7e55842d794aa295de2f436547a4e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/02832eca04264fc7a3893b7c69e0c290.png
[8ccd70d2d70844c7ad1029b83d4050e5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/47e622d3b1244644bb0a27b04fc5456b.png
[6fe6b7a8acb04efba39a7a21d51ab5bf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b625db089bb543d1bd2c99be8eaa6e46.png