Spark设置日志级别的三种方式, Spark-sumbit设置日志级别,修改Spark本地conf设置日志级别, IDEA中设置日志级别 17

╰+攻爆jí腚メ 2021-11-29 07:48 1610阅读 0赞

# 1. Spark设置日志级别 #

## 前言 ##

Spark有多种方式设置日志级别,这次主要记录一下如何在Spark-submit设置Spark日志级别,本文介绍**三种方式**

## 需求 ##

*  因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了，看起来比较乱，比较烦，抓不住重点，而我只想把warn和error打印出来。
 *  之前在测试环境或者在IDEA我是通过其他几种方式（下面会介绍）设置的，但是在生产环境下不允许我修改集群的配置文件（不是我负责~），而在代码里设置日志级别却不生效（原因还没找到），最后通过spark-submit里设置日志级别搞定的。

## 1.1 Spark-sumbit设置日志级别, Spark job 独立的log4j配置方法 ##

### 1.1.1 Linux命令如下 ###

spark-submit \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"

或者

spark-submit \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/log4j.xml"

**这里的log4j配置可以是 log4j.properties 或者 log4j.xml ，没有限制  
其中log4j.properties/xml为我将本地的日志文件，拷贝到执行spark-submit的机器上**

### 1.1.2 Spark job 独立的log4j配置方法详解 ###

*  spark中提供了log4j的方式记录日志。可以在\*\*$SPARK\_HOME/conf/**下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置， 不能单独配置某个job的运行日志。如下介绍**spark (streaming) job独立配置\*\*的log4j的方法。
 *  设置方法  
    spark job提交时可以在 --conf 中配置log4j.configuration 参数来指定log4j 配置文件，例如：

spark-submit \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/log4j.xml"

**（这里的log4j配置可以是 log4j.properties 或者 log4j.xml ，没有限制）**

*  配置示例  
    例如使用xml格式配置文件：

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
    <log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/' >
    
        <appender name="FILE" class="org.apache.log4j.DailyRollingFileAppender">
            <param name="file" value="${log_name}.log" />
            <param name="threshold" value="INFO"/>
            <param name="DatePattern" value="yyyyMMdd"/>
            <param name="append" value="true" />
            <layout class="org.apache.log4j.PatternLayout">
                <param name="ConversionPattern" value="%d [%t] %-5p %c(%L) - %m%n"/>
            </layout>
        </appender>
    
        <root>
        //指出日志级别
            <priority value ="INFO"/>
            <appender-ref ref="FILE"/> 
        </root>
    </log4j:configuration>

对于`<param name="file" value="${log_name}.log" >`可以写死一个log路径，也可以在代码中做设置，例如设置log名字为myLog，可以在Logger初始化之前 设置： System.setProperty(“log\_name”, “myLog”);

## 1.2 修改集群配置文件 ##

cd $SPARK_HOME/conf 
    cp log4j.properties.template log4j.properties
    vim log4j.properties

将log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console

## 1.3 在IDEA里设置 ##

*  将log4j.properties放在项目的src/main/resources即可
 *  代码里配置

spark.sparkContext.setLogLevel("WARN")

![在这里插入图片描述][20190721171610421.png]

# 2. 总结Spark三种设置日志级别方式 #

*  如果在自己的测试集群上, 直接修改`$Spark_HOME/conf`下的log4j.properties即可
 *  如果在IDEA里,将log4j.properties放在项目的src/main/resources即可
 *  如果在生产环境的集群,又不允许修改配置文件的话,用上面的spark-submit --conf即可

[20190721171610421.png]: /images/20211129/1ace46ca075447a29310dce24977baf3.png