Hadoop伪分布式 => 配置日志聚集

短命女 2023-07-22 14:25 255阅读 0赞

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览

注意：开启日志聚集功能 ，需要重新启动 NodeManager, ResourceManager, HistoryManager

sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager

cd /opt/module/hadoop-2.9.2

sudo vim etc/hadoop/yarn-site.xml

在中间加入下面内容

  1. <!-- 日志聚集功能 -->
  2. <property>
  3.     <name>yarn.log-aggregation-enable</name>
  4.     <value>true</value>
  5. </property>
  7. <!-- 日志保留时间设置 7 天 -->
  8. <property>
  9.     <name>yarn.log-aggregation.retain-seconds</name>
  10.     <value>604800</value>
  11. </property>

启动集群：

sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager
sbin/mr-jobhistory-daemon.sh start historyserver

删除输出文件夹：

bin/hdfs dfs -rm -r /user/atguigu/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/atguigu/input /user/atguigu/output

查看logs

20200406110951620.png

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70

发表评论

表情：
评论列表 （有 0 条评论，255人围观）

还没有评论，来说两句吧...

相关阅读