spark的shell脚本分析

矫情吗；* 2022-05-07 03:52 200阅读 0赞

1.  bin目录： \{ spark-shell , spark-sql \} --> spark-submit–> spark-class
2.  sbin目录：

# part1: bin目录 #

spark-shell

function main() {
        export SPARK_SUBMIT_OPTS
        "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" "$@"
    }
    main "$@"

spark-sql

exec "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"

spark-submit

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"

spark-class

# For tests
    build_command() {
      "${JAVA_HOME}/bin/java" -Xmx128m -cp "="${SPARK_HOME}/jars/*" org.apache.spark.launcher.Main "$@"
      printf "%d\0" $?
    }
    
    CMD=()
    while IFS= read -d '' -r ARG; do
      CMD+=("$ARG")
    done < <(build_command "$@")
    
    COUNT=${#CMD[@]}
    LAST=$((COUNT - 1))
    LAUNCHER_EXIT_CODE=${CMD[$LAST]}
    
    CMD=("${CMD[@]:0:$LAST}")
    exec "${CMD[@]}"

# part2: 调用spark的scala类 #

scala类org.apache.spark.deploy.SparkSubmit -main函数

def main(args: Array[String]): Unit = {
        val appArgs = new SparkSubmitArguments(args)
        
        if (appArgs.verbose) { 
          printStream.println(appArgs)
        }
        
        appArgs.action match {
          case SparkSubmitAction.SUBMIT => submit(appArgs)
          case SparkSubmitAction.KILL => kill(appArgs)
          case SparkSubmitAction.REQUEST_STATUS => requestStatus(appArgs)
        }
      }

发表评论取消回复

表情：

评论列表（有 0 条评论，200人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark spark-shell报错

相关版本：spark-1.6.0-cdh5.7.0 ![70][] spark-shell --master yarn --jars /home/hadoo

柔光的暖阳◎/ 2024年02月18日 18:25/ 0 赞/ 89 阅读

相关 Shell脚本分析服务器性能

概述我们原先在服务器上想分析性能指标，需要执行一系列的linux命令。对于linux命令不熟悉的人来说，比较困难现在有一套集成的shell脚本，把常用的linux命

不念不忘少年蓝@/ 2023年06月05日 08:57/ 0 赞/ 44 阅读

相关 spark学习5：spark-shell

1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。即可以不像Java一样，编写完所有代

た入场券/ 2023年01月22日 09:49/ 0 赞/ 58 阅读

相关 spark--python数据分析脚本

%pyspark \用户消费查询 import sys import MySQLdb import pandas as pd import datetime

àì夳堔傛蜴生んèń/ 2022年06月09日 22:38/ 0 赞/ 202 阅读

相关使用 Shell 脚本进行 Hadoop Spark 集群的批量安装

虽然有一些自动化安装的工具，但是功能越多，越专业的工具，可能也需要越高的学习成本，而我们并非专业运维，但是又必须做这些事情的话，不妨选择用 Shell 脚本来完成集群的安装。

蔚落/ 2022年06月09日 07:18/ 0 赞/ 244 阅读

相关 [Spark] spark-shell 命令使用

环境：操作系统：CentOS7.3 Java: jdk1.8.0\_45 Hadoop：hadoop-2.6.0-cdh5.14.0.tar.gz 1.

心已赠人/ 2022年05月20日 04:42/ 0 赞/ 509 阅读

相关 spark的shell脚本分析

1. bin目录： \{ spark-shell , spark-sql \} --> spark-submit–> spark-class 2. sbin目录： pa

忘是亡心i/ 2022年05月07日 17:28/ 0 赞/ 291 阅读

相关 spark的shell脚本分析

1. bin目录： \{ spark-shell , spark-sql \} --> spark-submit–> spark-class 2. sbin目录： pa

矫情吗；*/ 2022年05月07日 03:52/ 0 赞/ 201 阅读

相关 Spark Shell 的使用

前言前一章中我们介绍了Spark的`Standalone`模式的安装. 本章我们介绍下Spark Shell操作窗口的基本的安装. 基本启动与使用基本算

桃扇骨/ 2022年02月26日 16:46/ 0 赞/ 770 阅读

相关 spark脚本

![20190424170256497.png][] \--executor-memory 6G --executor-cores 2 --num-executors 15

淩亂°似流年/ 2022年02月15日 12:23/ 0 赞/ 268 阅读