配置flume+hadoop hdfs

一时失言乱红尘 2022-03-26 12:58 280阅读 0赞

首先解压flume,然后执行授权命令:sudo chmod 777 -R flume

一.普通配置

vim conf/netcat-logger.conf

插入以下内容:

\#三个组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

\#类型

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 8088

\#定义数据下沉类型

a1.sinks.k1.type = loggger

\#定义数据传输的方式

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

\#指定数据传输的通道

a1.sources.r1.channels = c1

a1.sinks.k1.channels = c1

启动命令:

bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger-INFO.console

二. Flume + Hadoop HDFS实时采集日志

执行命令:vim tail-hdfs.conf

配置文件:

\#指定事件参数

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactioncapacity = 100

\#指定使用的通道

a1.sources.r1.channels = c1

a1.sinks.k1.channels = c1

bogon:conf legend$ vim tail-hdfs.conf

bogon:conf legend$ vim tail-hdfs.conf

\#文件滚动的大小限制

a1.sinks.k1.hdfs.rollsize = 20

\#指定多少个事件滚动一次

a1.sinks.k1.hdfs.rollcount = 5

\#缓存多少内存写入一个事件

a1.sinks.k1.hdfs.batchSize = 1

\#根据本地的时间

a1.sinks.k1.hdfs.useLocalTimeStamp = true

\#生成文件的类型指定

a1.sinks.k1.hdfs.fileType = DataStream

\#指定事件参数

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactioncapacity = 100

\#指定使用的通道

a1.sources.r1.channels = c1

a1.sinks.k1.channels = c1

执行启动命令:

bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1

发表评论取消回复

表情：

评论列表（有 0 条评论，280人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS配置Kerberos

[官网文档关于kerberos介绍很少][kerberos] 添加用户 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_

柔情只为你懂/ 2023年10月04日 15:45/ 0 赞/ 2 阅读

相关【收藏】HUE配置HDFS

[https://blog.csdn.net/qq\_43791724/article/details/103427741][https_blog.csdn.net_qq_43

Bertha 。/ 2023年10月03日 15:49/ 0 赞/ 32 阅读

相关 HUE配置HDFS

core-site.xml cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim core-s

约定不等于承诺〃/ 2023年10月03日 14:55/ 0 赞/ 47 阅读

相关【收藏】hdfs参数配置详解

[hdfs-site.xml 配置参数][hdfs-site.xml] [hdfs-site.xml 参数配置][hdfs-site.xml 1] [hdfs-site

妖狐艹你老母/ 2023年10月03日 09:52/ 0 赞/ 33 阅读

相关 HDFS的副本数量配置

众所周知，hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 <property> <name>dfs

妖狐艹你老母/ 2023年05月29日 02:39/ 0 赞/ 4 阅读

相关配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而

落日映苍穹つ/ 2022年09月12日 08:58/ 0 赞/ 286 阅读

相关 HDFS配置Kerberos认证

HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH [Hadoop][] 集群上配置 HDFS 集成 Kerberos 的过程，包括 K

悠悠/ 2022年08月22日 11:23/ 0 赞/ 665 阅读

相关 Hadoop Hdfs 配置（一）

环境: Jdk1.6 Hadoop-2.20.1 Fuse-2.8.1 ----------------

﹏ヽ暗。殇╰゛Y/ 2022年08月13日 11:56/ 0 赞/ 225 阅读

相关 Solr之SolrCloud配置HDFS

参考文章：http://blog.csdn.net/john\_hongming/article/details/40781977 官方文档：https://cwiki.ap

忘是亡心i/ 2022年08月02日 00:16/ 0 赞/ 213 阅读

相关配置flume+hadoop hdfs

首先解压flume,然后执行授权命令:sudo chmod 777 -R flume 一.普通配置 vim conf/netcat-logger.conf 插入以

一时失言乱红尘/ 2022年03月26日 12:58/ 0 赞/ 281 阅读