spark系列-应用篇之通过yarn api提交Spark任务

蔚落 2022-05-15 02:07 554阅读 0赞

# 前言 #

在工作中，大部使用的都是hadoop和spark的shell命令，或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务，感觉yarn的api还是挺全面的，但是`调用时需要传入很多参数，而且会出现一些诡异的问题`。虽然最终使用livy来提交任务，但是`通过yarn api提交任务可以帮助使用者更好的理解yarn`，而且使用yarn查询任务还是不错的。至于livy的安装和使用，我也会通过后面的文章分享出来。

--------------------

# 前期准备 #

1.  本篇的开发环境为Hadoop 2.6、Spark 2.3.1，版本有些差异也无所谓。
2.  我使用的是postman来调用yarn api，你也可以使用编程语言来实现http请求。  
    首先启动yarn
3.  启动hdfs

start-hdfs.sh

![这里写图片描述][70]  
4. 准备一个spark jar包，如果没有可以使用spark样例spark-examples\_2.11-2.3.1.jar，并上传到hdfs上

hdfs dfs -put $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.1.jar /

1.  准备需要引入的spark库，打包成zip文件，并上传到hdfs上

cd $SPARK_HOME/jars
    zip -q -r __spark_libs__.zip *
    hdfs dfs -put __spark_libs__.zip /

![这里写图片描述][70 1]  
6. 启动yarn

start-yarn.sh

--------------------

# 正篇 #

本篇基本都是参考[hadoop官方文档][hadoop]，有兴趣的可以阅读一下，里面有很多API接口  
![这里写图片描述][70 2]

## 创建spark任务 ##

从官方文档中找到创建spark任务的api

> [http://localhost:8088/ws/v1/cluster/apps/new-application][http_localhost_8088_ws_v1_cluster_apps_new-application]

![这里写图片描述][70 3]

## 查看jar包的属性 ##

> [http://localhost:50070/webhdfs/v1/spark-examples\_2.11-2.3.1.jar?op=GETFILESTATUS][http_localhost_50070_webhdfs_v1_spark-examples_2.11-2.3.1.jar_op_GETFILESTATUS]

![这里写图片描述][70 4]

## 查看spark库zip文件属性 ##

> [http://localhost:50070/webhdfs/v1/\_\_spark\_libs\_\_.zip?op=GETFILESTATUS][http_localhost_50070_webhdfs_v1_spark_libs_.zip_op_GETFILESTATUS]

![这里写图片描述][70 5]

## 提交spark任务 ##

> [http://localhost:8088/ws/v1/cluster/apps][http_localhost_8088_ws_v1_cluster_apps]  
> ![这里写图片描述][70 6]

这里的__app__.jar和__spark_libs__的相关参数，就是使用上面的通过hdfs API获得的两个文件的属性。
    {
      "application-id": "application_1534993174414_0001", 
      "application-name": "SparkPi", 
      "application-type": "YARN", 
      "keep-containers-across-application-attempts": false, 
      "max-app-attempts": 1, 
      "resource": {
        "memory": 1024, 
        "vCores": 1
      }, 
      "unmanaged-AM": false, 
      "am-container-spec": {
        "commands": {
          "command": "java -server -Xmx1024m -Dspark.yarn.app.container.log.dir=<LOG_DIR> -Dspark.master=yarn -Dspark.submit.deployMode=cluster -Dspark.executor.cores=1 -Dspark.executor.memory=1g -Dspark.app.name=SparkPi org.apache.spark.deploy.yarn.ApplicationMaster --class org.apache.spark.examples.SparkPi --jar __app__.jar 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr"
        }, 
        "environment": {
          "entry": [
            {
              "key": "SPARK_USER", 
              "value": "luoxinliang"
            }, 
            {
              "key": "SPARK_YARN_MODE", 
              "value": true
            }, 
            {
              "key": "SPARK_YARN_STAGING_DIR", 
              "value": "hdfs://localhost:9000/user/luoxinliang/.sparkStaging/application_1534993174414_0001"
            }, 
            {
              "key": "CLASSPATH", 
              "value": "{ {PWD}}<CPS>{ {PWD}}/__app__.jar<CPS>{ {PWD}}/__spark_libs__/*<CPS>$HADOOP_CONF_DIR<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/*<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/lib/*<CPS>$HADOOP_HDFS_HOME/share/hadoop/hdfs/*<CPS>$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*<CPS>$HADOOP_YARN_HOME/share/hadoop/yarn/*<CPS>$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*<CPS>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*<CPS>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*<CPS>{ {PWD}}/__spark_conf__/__hadoop_conf__"
            }, 
            {
              "key": "SPARK_DIST_CLASSPATH", 
              "value": "{ {PWD}}<CPS>{ {PWD}}/__app__.jar<CPS>{ {PWD}}/__spark_libs__/*<CPS>$HADOOP_CONF_DIR<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/*<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/lib/*<CPS>$HADOOP_HDFS_HOME/share/hadoop/hdfs/*<CPS>$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*<CPS>$HADOOP_YARN_HOME/share/hadoop/yarn/*<CPS>$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*<CPS>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*<CPS>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*<CPS>{ {PWD}}/__spark_conf__/__hadoop_conf__"
            }
          ]
        }, 
        "local-resources": {
          "entry": [
            {
              "key": "__app__.jar", 
              "value": {
                "resource": "hdfs://localhost:9000/spark-examples_2.11-2.3.1.jar", 
                "size": 1997556, 
                "timestamp": 1534953699017, 
                "type": "FILE", 
                "visibility": "APPLICATION"
              }
            },
            {
              "key": "__spark_libs__", 
              "value": {
                "resource": "hdfs://localhost:9000/__spark_libs__.zip", 
                "size": 232213530, 
                "timestamp": 1534955145924, 
                "type": "ARCHIVE", 
                "visibility": "APPLICATION"
              }
            }
          ]
        }
      }
    }

上面的传入参数会容易理解，但是收集这些参数很麻烦。值得注意的一个地方是command这个参数，使用的是java运行spark的一个类org.apache.spark.deploy.yarn.ApplicationMaster，而不是我们熟悉的spark-submit命令。笔者也尝试的使用spark-submit来作为command，结果是提交了两个任务，一个是通过yarn api提交的伤，另一个是spark-submit命令提交的任务。前者状态显示失败，而后一个是成功。原因是ApplicationMaster在执行后，会返回一个ExitCode=0。当把java运行ApplicationMaster改成spark-submit是不会有返回ExitCode。  
![这里写图片描述][70 7]  
![这里写图片描述][70 8]  
有兴趣的读者还可以尝试一下spark-shell –master yarn，看看它启动时的yarn日志。  
![这里写图片描述][70 9]

## 查询spark任务 ##

> [http://localhost:8088/ws/v1/cluster/apps/application\_1534993174414\_0001][http_localhost_8088_ws_v1_cluster_apps_application_1534993174414_0001]

## ![这里写图片描述][70 10] ##

# 总结 #

通过yarn api提交spark任务并不难，但是需要准备的参数以及包是很麻烦的。此篇只是通过另一个角度帮助读者熟悉yarn的工作原理。在项目开发时还是建议使用livy来远程提交spark任务。livy不仅可以提交spark jar包，还可以提交spark代码片断，功能上更加丰富。

[70]: /images/20220515/7b9a5f11c748419bb9d211e9e7fcc6ea.png
[70 1]: /images/20220515/2aaca02e4dc24ea9b448d3965c701db5.png
[hadoop]: http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html
[70 2]: /images/20220515/fbc995fa2b64484486a4cdf30bdf7a1c.png
[http_localhost_8088_ws_v1_cluster_apps_new-application]: http://localhost:8088/ws/v1/cluster/apps/new-application
[70 3]: /images/20220515/44d39b804f4844589c3d3e18c91d49ed.png
[http_localhost_50070_webhdfs_v1_spark-examples_2.11-2.3.1.jar_op_GETFILESTATUS]: http://localhost:50070/webhdfs/v1/spark-examples_2.11-2.3.1.jar?op=GETFILESTATUS
[70 4]: /images/20220515/96fe3cca0cf44bdfac235f2b79bb2319.png
[http_localhost_50070_webhdfs_v1_spark_libs_.zip_op_GETFILESTATUS]: http://localhost:50070/webhdfs/v1/__spark_libs__.zip?op=GETFILESTATUS
[70 5]: /images/20220515/62f71c6b000a429da419c12b8d93b8d3.png
[http_localhost_8088_ws_v1_cluster_apps]: http://localhost:8088/ws/v1/cluster/apps
[70 6]: /images/20220515/615ae20aa9a14483a96c5c7b4660a210.png
[70 7]: /images/20220515/0fc51550ce234e648ee7083d45d6de87.png
[70 8]: /images/20220515/8a3b1ab83ebe4860a36d55c207a1e28d.png
[70 9]: /images/20220515/2df042773aeb4555b37cb7b43fde98a5.png
[http_localhost_8088_ws_v1_cluster_apps_application_1534993174414_0001]: http://localhost:8088/ws/v1/cluster/apps/application_1534993174414_0001
[70 10]: /images/20220515/6ff86e7230974048842914f2ef772736.png