Spark Job记录查看

逃离我推掉我的手 2021-12-12 20:57 264阅读 0赞

### 修改配置文件 ###

cd /opt/spark/conf
    cp spark-defaults.conf.template spark-defaults.conf

***vi spark-defaults.conf***

#开启日志服务
    spark.eventLog.enabled true 
    #日志存放位置
    spark.eventLog.dir hdfs://master:8020/var/log/spark 
    #日志可压缩
    spark.eventLog.compress true

***vi [spark-env.sh][]***

export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master:8020/var/log/spark”

**进入/opt/spark/sbin,启动服务**

./stop-history-server.sh

**提交作业进行测试**

bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master spark://192.168.100.10:7077 \
    --executor-memory 1G \
    --total-executor-cores 2 \
    /opt/spark/examples/jars/spark-examples_2.11-2.4.3.jar \
    100

**访问ip:18080,查看作业历史纪录**

192.168.100.10:18080

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw_size_16_color_FFFFFF_t_70]

[spark-env.sh]: http://spark-env.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIzMDA2Mw_size_16_color_FFFFFF_t_70]: /images/20211210/7b29bc9c11024774ad176832d2797f18.png

发表评论取消回复

表情：

评论列表（有 0 条评论，264人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop 查看杀掉 Job

Java的我稍后再补上：通过命令行的方式： 1.查看所有的Job： hadoop job -list 则显示如下一堆的job： JobId State St

短命女/ 2024年04月08日 09:07/ 0 赞/ 74 阅读

相关 Spark Job Scheduling

Table of Contents 跨程序调度动态资源分配配置和设置资源分配策略安全移除executor 程序内调度公平调度池调度池的默认行为调

绝地灬酷狼/ 2023年06月19日 11:14/ 0 赞/ 4 阅读

相关 job历史执行记录查询 oracle_查看oracle 用户执行的sql语句历史记录

select \ from v$sqlarea t order by t.LAST\_ACTIVE\_TIME desc 注意：执行此语句等等一些相关的语句必须具有DBA

迈不过友情╰/ 2023年01月08日 06:27/ 0 赞/ 208 阅读

相关查看数据泵JOB

desc dba_datapump_jobs; select job_name, state from dba_datapump_jobs; ![在这里插入图

小鱼儿/ 2022年09月13日 14:19/ 0 赞/ 123 阅读

相关 Spark源码系列之Spark内核——Job提交

在介绍Job提交之前，我们先看下Job提交的过程： ![Center][] 看完上图之后，大家应该会有一个比较直观的了解，同时也便于对整个流程的把握。 D

不念不忘少年蓝@/ 2022年08月18日 15:28/ 0 赞/ 207 阅读

相关 Hadoop 查看/杀掉 Job

Java的我稍后再补上：通过命令行的方式： 1.查看所有的Job： hadoop job -list 则显示如下一堆的job： JobId State St

た入场券/ 2022年06月05日 04:47/ 0 赞/ 248 阅读

相关 Spark 查看 job history 日志

SPARK\_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spar

痛定思痛。/ 2022年05月31日 12:23/ 0 赞/ 314 阅读

相关 spark job提交：spark-submit

一般化的参数： spark-submit \ --class a.HelloWord \ --name wordcount \ --mas

悠悠/ 2022年04月17日 00:21/ 0 赞/ 252 阅读

相关 Spark Job记录查看

修改配置文件 cd /opt/spark/conf cp spark-defaults.conf.template spark-defaults.conf

逃离我推掉我的手/ 2021年12月12日 20:57/ 0 赞/ 265 阅读

相关 xxl-job部署记录

服务端官网：[https://www.jianshu.com/p/fa7186bea84b][https_www.jianshu.com_p_fa7186bea84b]

Love The Way You Lie/ 2021年09月23日 14:08/ 0 赞/ 386 阅读