spark-submit 提交任务及参数说明

骑猪看日落 2023-06-14 15:59 2阅读 0赞

spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。

## 1. 例子 ##

一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。

./bin/spark-submit \
    --master spark://localhost:7077 \
    examples/src/main/python/pi.py

如果部署 hadoop，并且启动 yarn 后，spark 提交到 yarn 执行的例子如下。

注意，spark 必须编译成支持 yarn 模式，编译 spark 的命令为：

build/mvn -Pyarn -Phadoop-2.x -Dhadoop.version=2.x.x -DskipTests clean package

其中, 2.x 为 hadoop 的版本号。编译完成后，可执行下面的命令，提交任务到 hadoop yarn 集群执行。

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 1g \
    --executor-memory 1g \
    --executor-cores 1 \
    --queue thequeue \
    examples/target/scala-2.11/jars/spark-examples*.jar 10

## 2. spark-submit 详细参数说明 ##

<table> 
 <tbody> 
  <tr> 
   <td>参数名</td> 
   <td>参数说明</td> 
  </tr> 
  <tr> 
   <td>--master</td> 
   <td>&nbsp;master 的地址，提交任务到哪里执行，例如 spark://host:port,&nbsp; yarn,&nbsp; local</td> 
  </tr> 
  <tr> 
   <td>--deploy-mode</td> 
   <td>&nbsp;在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client</td> 
  </tr> 
  <tr> 
   <td>--class</td> 
   <td>&nbsp;应用程序的主类，仅针对 java 或 scala 应用</td> 
  </tr> 
  <tr> 
   <td>--name</td> 
   <td>&nbsp;应用程序的名称</td> 
  </tr> 
  <tr> 
   <td>--jars</td> 
   <td>&nbsp;用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下</td> 
  </tr> 
  <tr> 
   <td>--packages</td> 
   <td>&nbsp;包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标</td> 
  </tr> 
  <tr> 
   <td>--exclude-packages</td> 
   <td>&nbsp;为了避免冲突 而指定不包含的 package</td> 
  </tr> 
  <tr> 
   <td>--repositories</td> 
   <td>&nbsp;远程 repository</td> 
  </tr> 
  <tr> 
   <td>--conf&nbsp;PROP=VALUE</td> 
   <td> <p>&nbsp;指定 spark 配置属性的值，</p> <p>&nbsp;例如 -conf&nbsp;spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"</p> </td> 
  </tr> 
  <tr> 
   <td>--properties-file</td> 
   <td>&nbsp;加载的配置文件，默认为 conf/spark-defaults.conf</td> 
  </tr> 
  <tr> 
   <td>--driver-memory</td> 
   <td>&nbsp;Driver内存，默认 1G</td> 
  </tr> 
  <tr> 
   <td>--driver-java-options</td> 
   <td>&nbsp;传给 driver 的额外的 Java 选项</td> 
  </tr> 
  <tr> 
   <td>--driver-library-path</td> 
   <td>&nbsp;传给 driver 的额外的库路径</td> 
  </tr> 
  <tr> 
   <td>--driver-class-path</td> 
   <td>&nbsp;传给 driver 的额外的类路径</td> 
  </tr> 
  <tr> 
   <td>--driver-cores</td> 
   <td>&nbsp;Driver 的核数，默认是1。在 yarn 或者 standalone 下使用</td> 
  </tr> 
  <tr> 
   <td>--executor-memory</td> 
   <td>&nbsp;每个 executor 的内存，默认是1G</td> 
  </tr> 
  <tr> 
   <td>--total-executor-cores</td> 
   <td>&nbsp;所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用</td> 
  </tr> 
  <tr> 
   <td>--num-executors</td> 
   <td>&nbsp;启动的 executor 数量。默认为2。在 yarn 下使用</td> 
  </tr> 
  <tr> 
   <td>--executor-core</td> 
   <td>&nbsp;每个 executor 的核数。在yarn或者standalone下使用</td> 
  </tr> 
 </tbody> 
</table>