大数据系列教程006-开启日志聚合功能

朴灿烈づ我的快乐病毒、 2023-03-14 13:24 136阅读 0赞

Container日志是hadoop各个container记录的日志，其中会包含错误或失败的重要信息。如果没有打开日志聚合，默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项，则会统一放在集中的位置（比如HDFS上）。Container日志会记录作业运行时会发生的各种运行时信息和错误，对于调试和调优有很大的帮助。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21peGlrYTk5_size_16_color_FFFFFF_t_70][]

1.修改master的yarn-site.xml配置，新增：

<table> 
 <tbody> 
  <tr> 
   <td> <p>&lt;property&gt;</p> <p>&lt;name&gt;yarn.log-aggregation-enable&lt;/name&gt;</p> <p>&lt;value&gt;true&lt;/value&gt;</p> <p>&lt;/property&gt;</p> <p>&lt;property&gt;</p> <p>&lt;name&gt;yarn.log-aggregation.retain-seconds&lt;/name&gt;</p> <p>&lt;value&gt;2592000&lt;/value&gt;</p> <p>&lt;/property&gt;</p> <p>&lt;property&gt;</p> <p>&lt;name&gt;yarn.log.server.url&lt;/name&gt;</p> <p>&lt;value&gt;http://192.168.217.100:19888/jobhistory/logs&lt;/value&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

配置名 描述

yarn.log-aggregation-enable 是否启用日志聚合。 日志收集聚合 每个容器的日志,这些日志移动到文件系统

yarn.log-aggregation.retain-seconds 日志保存时间

yarn.log.server.url 为日志聚合服务器URL

yarn.nodemanager.remote-app-log-dir 日志存放目录(暂时不配。分为非高可用和高可用模式)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21peGlrYTk5_size_16_color_FFFFFF_t_70 1][]

2.将yarn-site.xml远程copy到slave1和slave2

<table> 
 <tbody> 
  <tr> 
   <td> <p>sudo scp -rq yarn-site.xml slave1:/usr/hadoop/hadoop-3.2.1/etc/hadoop/</p> <p>sudo scp -rq yarn-site.xml slave2:/usr/hadoop/hadoop-3.2.1/etc/hadoop/</p> </td> 
  </tr> 
 </tbody> 
</table>

![20200518101941732.png][]

3.重启hadoop集群

4.在每个节点新增启动historyserver进程

<table> 
 <tbody> 
  <tr> 
   <td> <p>sbin/mr-jobhistory-daemon.sh start historyserver</p> </td> 
  </tr> 
 </tbody> 
</table>

![20200518101950877.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21peGlrYTk5_size_16_color_FFFFFF_t_70]: /images/20230312/ea4416e7bd1c435eb859f3a1444b98b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21peGlrYTk5_size_16_color_FFFFFF_t_70 1]: /images/20230312/78894e68b4c046bdb98b1206f5f05705.png
[20200518101941732.png]: /images/20230312/0167709592334e8eae98f3952c7d71ce.png
[20200518101950877.png]: /images/20230312/2a291b58217540f08543f1fb233c2e02.png