轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.4 【重要必掌握】实战之TAILDIR断点续传收集数据

我会带着你远行 2024-03-16 15:02 36阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.4 【重要必掌握】实战之TAILDIR断点续传收集数据

![在这里插入图片描述][868363408acb4d06a74455877b8ca867.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.4 【重要必掌握】实战之TAILDIR断点续传收集数据 ######

【需求】监听多个文件的内容，输出到终端

> 之前我们那些方式，如果Flume 一挂，数据就丢了

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*【断点续传】

选型：

*  Source：
    
    [https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#taildir-source][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_taildir-source]
    
    ![在这里插入图片描述][02f6c516c90c4659a966611c2df44617.png_pic_center]
    
    观察指定的文件，并在检测到附加到每个文件的新行后几乎实时地跟踪它们。如果正在写入新行，则此源将重试读取它们以等待写入完成。
    
    这个来源是可靠的，即使在拖尾文件旋转时也不会丢失数据。它定期将每个文件的最后读取位置以 JSON 格式写入给定位置文件。如果 Flume 由于某种原因停止或关闭，它可以从现有位置文件上写入的位置重新开始拖尾。
    
    在其他用例中，此源还可以使用给定位置文件从每个文件的任意位置开始拖尾。当指定路径上没有位置文件时，默认从每个文件的第一行开始拖尾。
    
    文件将按照修改时间的顺序被消费。修改时间最早的文件将首先被消费。
    
    此源不会重命名或删除或对被跟踪的文件进行任何修改。目前此源不支持拖尾二进制文件。它逐行读取文本文件。
 *  Channel：
    
    memory
 *  Sink：
    
    HDFS

修改配置文件 ：

a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    a1.sources.r1.type = TAILDIR
    a1.sources.r1.filegroups = f1 f2
    a1.sources.r1.filegroups.f1 = /home/hadoop/data/taildir/test1/example.log
    a1.sources.r1.filegroups.f2 = /home/hadoop/data/taildir/test2/.*log.*
    
    a1.channels.c1.type = memory
    
    a1.sinks.k1.type = logger
    
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

把test1 和 test2 目录创建出来

![在这里插入图片描述][734500e80fd045c793339242957b6dab.png_pic_center]

把文件也touch 出来

![在这里插入图片描述][7c85cf6a528647a488f42e79faf1b6e8.png_pic_center]

![在这里插入图片描述][24d6c1b167fa40f5b422a4d44e41b31c.png_pic_center]

启一个新的配置文件`taildir.conf`

![在这里插入图片描述][0fb4414cba3e45f6a41714af8190f7da.png_pic_center]

启动命令：

flume-ng agent \
    --name a1 \
    --conf $FLUME_HOME/conf \
    --conf-file /home/hadoop/config/taildir.conf \
    -Dflume.root.logger=INFO,console

![在这里插入图片描述][0507708713ba4d3db8eca839c6c53431.png_pic_center]

启动完成，试试，直接往`example.log` 中写数据

![在这里插入图片描述][114e29721ef345638d21c1b74ba91047.png_pic_center]

![在这里插入图片描述][3dc3930523d84697acd706d4967198cb.png_pic_center]

一共4条，没问题。

看看偏移量那个文件

![在这里插入图片描述][9e1b1319fdeb4750aebd6d7b30516984.png_pic_center]

[{"inode":68450866,"pos":52,"file":"/home/hadoop/data/taildir/test1/example.log"},{"inode":139549843,"pos":0,"file":"/home/hadoop/data/taildir/test2/1.log"},{"inode":139549844,"pos":0,"file":"/home/hadoop/data/taildir/test2/2.log"}]

就example 那个文件中加了数据，所以有偏移量，

现在往`1.log` 和 `2.log` 中加点东西

![在这里插入图片描述][79a1f83d47e1404b8df1a7b2f1313893.png_pic_center]

![在这里插入图片描述][0112ddb55d5546e984acdba13f24cce4.png_pic_center]

没问题，再次查看偏移文件

![在这里插入图片描述][8381db158df14297b6613e870e1f9ba9.png_pic_center]

[{"inode":68450866,"pos":52,"file":"/home/hadoop/data/taildir/test1/example.log"},{"inode":139549843,"pos":11,"file":"/home/hadoop/data/taildir/test2/1.log"},{"inode":139549844,"pos":0,"file":"/home/hadoop/data/taildir/test2/2.log"}]

没毛病

再给`2.log` 来点儿

![在这里插入图片描述][516d5e43ff98493e8eabe20312b13ceb.png_pic_center]

![在这里插入图片描述][4f5508eb950042ec8e8a783b7cdef533.png_pic_center]

![在这里插入图片描述][01041ae48e774480b5b86d928406a99d.png_pic_center]

没问题。现在我直接把Flume 干掉

![在这里插入图片描述][9e0a4d978d4a4649ac55b58630271d5d.png_pic_center]

模拟一个场景，Flume 已经挂掉了，但是数据还在增加

![在这里插入图片描述][a1ad30c6213b42d1b8e3f82a3668467f.png_pic_center]

现在又往这个文件中加了四个`a`

现在要重点关注的是，现在重启`Flume` ，4个`a` 能不能收集到

![在这里插入图片描述][634c2821b2204bd39baa6e3925fca000.png_pic_center]

妙蛙，这就是断点续传

来个图加深一下理解：

![在这里插入图片描述][c2ecd6a87e9f4ab0b155e03881dbe1fd.png_pic_center]

思考题：

在Flume中，TAILDIR源的断点续传功能不支持递归文件夹。TAILDIR源是用于从文件系统中读取日志文件并将其发送到Flume管道的一种源类型。它会监视指定目录下的文件，并且在文件中新增内容时，会将新增内容发送到Flume管道中。

然而，TAILDIR源并不会递归地监视子目录中的文件。它只会监视指定目录中的文件，并且不会自动扫描或监视子目录。

如果您需要监视递归文件夹并实现断点续传功能，您可能需要考虑其他解决方案。一种可能的方法是编写自定义的Flume源，可以递归扫描目录并处理子目录中的文件。您可以使用Java或其他适合您的编程语言来编写自定义源代码，并将其集成到Flume中。

另外，也可以考虑使用其他日志收集工具或数据传输工具，如Apache Kafka、Logstash等，它们可能提供更适合您需求的功能和配置选项。

![在这里插入图片描述][2f4049752bc64bd5b0256f5f615e3c23.png_pic_center]

[868363408acb4d06a74455877b8ca867.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/10573d296f5b4e788427777023d19455.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_taildir-source]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#taildir-source
[02f6c516c90c4659a966611c2df44617.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/64bb80fed3d04e0ca68ab2a7ba1c3b5f.png
[734500e80fd045c793339242957b6dab.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ee0088a304c146a387799268292f51b4.png
[7c85cf6a528647a488f42e79faf1b6e8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b664e84cb8234f29a6a92973617f22b4.png
[24d6c1b167fa40f5b422a4d44e41b31c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/911a524441924fc789f8093190763fe0.png
[0fb4414cba3e45f6a41714af8190f7da.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/faacbd53b1a74ec0a133a1edca36d08b.png
[0507708713ba4d3db8eca839c6c53431.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/be548bba1a164b54955c96a934b8fcf0.png
[114e29721ef345638d21c1b74ba91047.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b70fe08d19224030b713e693ce2e38f7.png
[3dc3930523d84697acd706d4967198cb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9f8acf2022154378ba24f2922ad35c03.png
[9e1b1319fdeb4750aebd6d7b30516984.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f1517717a1604b94981133df2de316aa.png
[79a1f83d47e1404b8df1a7b2f1313893.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e65deabf123a44d3afe52eaa8cb96444.png
[0112ddb55d5546e984acdba13f24cce4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5363562dc0844ff1bdde6557dbd61c08.png
[8381db158df14297b6613e870e1f9ba9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/27e9b6df9bb04e5fb420ea7dcb456ff7.png
[516d5e43ff98493e8eabe20312b13ceb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b1034eb7a57d459b813a58197a014bca.png
[4f5508eb950042ec8e8a783b7cdef533.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6e59e7ddacd2488b9fef82d09766fa6d.png
[01041ae48e774480b5b86d928406a99d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dee7a72cc69841ba925666515d65feef.png
[9e0a4d978d4a4649ac55b58630271d5d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/98e75a38fca040e0b93983a9fa090866.png
[a1ad30c6213b42d1b8e3f82a3668467f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c882369d6d474bc4808825a2b49657ab.png
[634c2821b2204bd39baa6e3925fca000.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7b2cce23b0e54ab09b60d02fe3e7c308.png
[c2ecd6a87e9f4ab0b155e03881dbe1fd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3eeb467e5e7a45eb9f9943c302c8d9a1.png
[2f4049752bc64bd5b0256f5f615e3c23.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d64fa0c580444e06a3b7429ed8c11ad8.png