Hadoop之配置日志的聚集

红太狼 2024-04-07 12:18 58阅读 0赞

## 配置日志的聚集 ##

### 1.配置 yarn-site.xm ###

[admin@hadoop1002 hadoop-3.1.3]$ vim etc/hadoop/yarn-site.xml

### 编辑如下 ###

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value> </property>
    
    <property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop1002:19888/jobhistory/lo
    gs</value>
    </property>
    
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    </property>

### 2.分发配置 ###

[admin@hadoop1002 hadoop-3.1.3]$ cd etc/hadoop/
    [admin@hadoop1002 hadoop]$ xsync yarn-site.xml

### 3.关闭 NodeManager 、ResourceManager 和 HistoryServer ###

[admin@hadoop1003 hadoop-3.1.3]$ sbin/stop-yarn.sh
    [admin@hadoop1002 hadoop-3.1.3]$ bin/mapred --daemon stop historyserver

### 4.启动 NodeManager 、ResourceManage 和 HistoryServer ###

[admin@hadoop1003 hadoop-3.1.3]$ sbin/start-yarn.sh 
    [admin@hadoop1002 hadoop-3.1.3]$ bin/mapred --daemon start historyserver

### 5.删除 HDFS 上已经存在的输出文件 ###

[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -rm -r /output

### 6.执行 WordCount 程序 ###

[admin@hadoop1002 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output2

### 7.查看 ###

http://hadoop1002:9870

以上是就是hadoop配置日志的聚集的具体操作了，如有疑问请留言！！

发表评论取消回复

表情：

评论列表（有 0 条评论，58人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop之配置日志的聚集

配置日志的聚集 1.配置 yarn-site.xm [admin@hadoop1002 hadoop-3.1.3]$ vim etc/hadoop/yarn

红太狼/ 2024年04月07日 12:18/ 0 赞/ 59 阅读

相关 SprinbgBoot配置日志

在我们项目的日常维护中，日志是十分重要的问题排查方式，接下来我通过lombok中包含日志系统来看一下SpringBoot中如何配置相关日志信息，并且将日志信息输出到指定目录文件

太过爱你忘了你带给我的痛/ 2023年10月11日 16:36/ 0 赞/ 67 阅读

相关 Hadoop伪分布式 => 配置日志聚集

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览 > 注意：开启日志聚集功能，需要重新启动 NodeManager, ResourceM

短命女/ 2023年07月22日 14:25/ 0 赞/ 168 阅读

相关 mybatis配置日志

你可以通过在 MyBatis 配置文件 mybatis-config.xml 里面添加一项 setting 来选择别的日志工具。 <configuration>

末蓝、/ 2022年05月23日 01:39/ 0 赞/ 237 阅读

相关二十九、日志的聚集

将每次Hadoop运行功能都放到HDFS上 1、开启日志聚集功能 [admin@hadoop13 hadoop-2.7.2]$ vim etc/hadoop/y

小鱼儿/ 2022年05月06日 06:58/ 0 赞/ 191 阅读

相关 tomcat 配置日志

Tomcat 日志信息分为两类：一是运行中的日志，它主要记录运行的一些信息，尤其是一些异常错误日志信息。二是访问日志信息，它记录的访

亦凉/ 2022年03月18日 07:58/ 0 赞/ 311 阅读

相关 hadoop错误日志

现象：3个节点，启动之后namenode报错，且存活节点（ Live Nodes ）只显示1个 2013-05-14 20:01:09,839 INFO org.apache

比眉伴天荒/ 2022年02月20日 08:27/ 0 赞/ 280 阅读

相关 Hadoop调试日志

1. export HADOOP\_ROOT\_LOGGER=DEBUG,console 2. 使用Hadoop Shell命令daemonlog hadoop dae

àì夳堔傛蜴生んèń/ 2022年02月19日 08:55/ 0 赞/ 249 阅读

相关 Flink 配置日志

1，本地代码调试配置日志： 1，创建log4g.properties文件：内容如下： log4j.rootLogger=INFO,console log4j.ap

矫情吗；*/ 2022年01月17日 01:19/ 0 赞/ 519 阅读

相关 springboot之配置文件与日志

获取配置文件中的信息 1. 批量注入 1. 创建实体类Person //

阳光穿透心脏的1/2处/ 2021年08月27日 15:14/ 0 赞/ 409 阅读