hadoop日志聚合

本是古典何须时尚 2022-02-23 01:22 193阅读 0赞

![在这里插入图片描述][20190405191024807.png]  
一、在yarn-site.xml文件中添加日志监控支持  
该配置中添加下面的配置：

<property>
                    <name>yarn.log-aggregation-enable</name>
                    <value>true</value>
            </property>
             
            <property>
                    <name>yarn.log-aggregation.retain-seconds</name>
                     <value>640800</value>
            </property>
            <property>
                    <name>yarn.log.server.url</name>
                    <value>http://master:19888/jobhistory/logs/</value>
            </property>
            
            <property>
                    <name>yarn.nodemanager.remote-app-log-dir</name>
                    <value>/usr/container/logs</value>
            </property> 
             <property>
                    <name>yarn.nodemanager.resource.memory-mb</name>
                    <value>4096</value>
            </property>
             <property>
                    <name>yarn.scheduler.minimum-allocation-mb</name>
                    <value>2048</value>
            </property>
            <property>
                    <name>yarn.scheduler.maximum-allocation-mb</name>
                    <value>4096</value>
            </property>
            <property>
                    <name>yarn.nodemanager.vmem-pmem-ratio</name>
                    <value>5</value>
            </property>

二、在mapred-site.xml文件中添加日志服务的配置  
该配置文件中添加如下配置：若是有了的话，无需再次添加

<property>
        
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      
        <name>mapreduce.jobhistroy.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistroy.webapp.address</name>
        <value>master:19888</value>
    </property>

scp 命令将配置文件拷贝覆盖到其他机器

四、重新启动集群的Hdfs和Yarn服务  
./start-all.sh

五、 开启日志监控服务进程  
在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令，执行完成后使用jps命令查看是否启动成功，若启动成功则会显示出JobHistoryServer服务  
![在这里插入图片描述][20190405191748326.png]

[20190405191024807.png]: /images/20220223/0f6fc8a0747a470e98462dab8afe352f.png
[20190405191748326.png]: /images/20220223/4ba2d5bc2f1249aab775d6338ef5b777.png