Running Spark on YARN

落日映苍穹つ 2023-06-19 02:19 20阅读 0赞

**Table of Contents**

Launching Spark on YARN

添加 jar

准备

配置

Debug

Spark Properties

注意事项

在一个安全的集群中运行

配置外部shuffle服务

使用ooize 运行程序

kerberos故障排除

--------------------

## Launching Spark on YARN ##

确保 HADOOP\_CONF\_DIR 或 YARN\_CONF\_DIR 指向包含 Hadoop集群配置文件的目录。这些配置用于写入 HDFS 并连接到  YARN 资源管理器。此目录中包含的配置将分发到 YARN 集群，以便应用程序使用的所有容器使用相同的配置。如果配置引用的 Java 系统属性或环境变量不是由 YARN 管理的，那么还应该在 Spark 应用程序的配置中设置它们(driver、executer 和 application master)

客户端模式下，driver 运行在 client 中，client 不能关闭。集群模式下，driver 运行在 yarn 的 application master 中，client 可以关闭。

与 Spark Standalone 和 Mesos 不同的是，--master 用来指定主机地址，而 yarn 是通过 hadoop 的配置来获取 yarn 的地址的，所以 --master 后面跟 yarn。

集群模式下启动任务：

$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options]

例如：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
        --master yarn \
        --deploy-mode cluster \
        --driver-memory 4g \
        --executor-memory 2g \
        --executor-cores 1 \
        --queue thequeue \
        lib/spark-examples*.jar \
        10

上面启动了一个 yarn 的客户端程序，使用默认的 AM，然后将 SparkPi 作为一个子线程运行。client 定期轮询 AM 来更新状态，并打印到控制台。程序执行完毕后，client 退出。

以下是在 client 模式下启动 spark 程序：

$ ./bin/spark-shell --master yarn --deploy-mode client

## 添加 jar ##

集群模式下，driver 运行在不同的机器上，所以不能直接使用 SparkContext.addJar，需要使用 --jars：

$ ./bin/spark-submit --class my.main.Class \
        --master yarn \
        --deploy-mode cluster \
        --jars my-other-jar.jar,my-other-other-jar.jar \
        my-main-jar.jar \
        app_arg1 app_arg2

## 准备 ##

指定 `spark.yarn.archive` 或 `spark.yarn.jars，Spark 运行时 jar 可以从 yarn 端访问。如果没有指定，则 Spark 将创建一个 zip 文件，包含 $SPARK_HOME/jars 并将其上传到分布式缓存中。`

## 配置 ##

Spark Configuration Guide：[https://blog.csdn.net/zpf\_940810653842/article/details/103372744][https_blog.csdn.net_zpf_940810653842_article_details_103372744]

## Debug ##

executer 和 AM 都在 yarn 的 containers 中运行，yarn 有两种模式来管理 containers 的日志。启用 yarn-site.xml 配置文件中 `yarn.log-aggregation-enable，日志会保存在 hdfs 上，然后从本地删除。也可以使用 yarn logs -applicationId application_1575439889567_0001 命令查看日志。`

`将会打印出给出 application 下所有 container 的所有日志。也可以在 hdfs 目录上直接查询。日志文件在 hdfs 目录上的位置可以通过yarn.nodemanager.remote-app-log-dir` 和 `yarn.nodemanager.remote-app-log-dir-suffix 查看。`日志也可以在 exec 选项卡下的 Spark Web UI 上找到。同时运行 Spark history server 和 MapReduce history server，且在 yarn-site.xml 中配置 yarn.log.server.url。Spark history server UI 将会根据 url 重定向到 MapReduce history server 上显示日志。

当没有启用日志聚合时，在每台机器上的 YARN\_APP\_LOGS\_DIR 目录下保留日志，根据 Hadoo p版本和安装位置，通常将其配置为 /tmp/logs 或 $HADOOP\_HOME/logs/userlogs。查看容器的日志需要到包含日志的主机并在此目录中查找。子目录根据应用程序ID和容器ID组织日志文件。这些日志也可以在 exec选 项卡下的 Spark Web UI上 找到，并且不需要运行 MapReduce 历史服务器。

要查看每个容器的启动环境，需要将 `yarn.nodemanager.delete.debug-delay-sec `增加到较大的值(例如36000)，然后通过启动容器的节点上的本地目录 `yarn.nodemanager.local-dirs 目录`访问应用程序缓存。此目录包含用于启动每个容器的启动脚本、jar和所有环境变量。这个过程对于调试类路径问题特别有用。

要为应用程序的 master 或 executer 使用定制的 log4j 配置，以下是选项：

*  使用 spark-submit 上传自定义的 logj.properties，将其添加到应用程序要上传的文件的 --files 列表中。
 *  add `-Dlog4j.configuration=<location of configuration file>` to `spark.driver.extraJavaOptions` (for the driver) or `spark.executor.extraJavaOptions` (for executors)。
 *  更新 `$SPARK_CONF_DIR/log4j.properties，`它将与其他配置一起自动上传。请注意，如果指定了多个选项，其他两个选项的优先级高于此选项。

请注意，对于第一个选项，executor 和 application mastet 将共享相同的 log4j 配置，这可能会在它们在相同节点上运行时造成问题(例如，尝试写入相同的日志文件)。

如果你需要一个合适的位置来放置日志文件到 yarn 中，以便  yarn 可以正确地显示和聚合它们，`log4j.properties 中 spark.yarn.app.container.log.dir。例如：log4j.appender.file_appender.File=${spark.yarn.app.container.log.dir}/spark.log。对于流程序，`配置 RollingFileAppender 并将文件位置设置为 YARN 的日志目录将避免大日志文件导致的磁盘溢出，并且可以使用 YARN 的日志实用程序访问日志。

通过修改 `$SPARK_CONF_DIR/metrics.properties 文件为程序 master 和 executer 自定义指标配置。将自动与其他配置一起上传，不需要手动指定 --file。`

## Spark Properties ##

<table> 
 <tbody> 
  <tr> 
   <th style="width:370px;">Property Name</th> 
   <th style="width:58px;">Default</th> 
   <th style="width:421px;">Meaning</th> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.memory</code></td> 
   <td style="width:58px;"><code>512m</code></td> 
   <td style="width:421px;">在客户端模式下为 YARN Application Master 使用的内存量，格式与 JVM 内存字符串相同(如512m、2g)。在集群模式下，使用 spark.driver.memory。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.cores</code></td> 
   <td style="width:58px;"><code>1</code></td> 
   <td style="width:421px;">客户端模式下 YARN Application Master 使用的 core。在集群模式下，使用 spark.drive.cores。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.waitTime</code></td> 
   <td style="width:58px;"><code>100s</code></td> 
   <td style="width:421px;">在集群模式下，YARN Application Master 需要等待 SparkContext 初始化时间。在客户端模式下，YARN Application Master 需要等待驱动程序连接到它得时间。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.submit.file.replication</code></td> 
   <td style="width:58px;">The default HDFS replication (usually <code>3</code>)</td> 
   <td style="width:421px;">上传到应用程序的HDFS中的文件的HDFS复制级别。其中包括Spark jar、app jar和任何分布式缓存文件。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.stagingDir</code></td> 
   <td style="width:58px;">Current user's home directory in the filesystem</td> 
   <td style="width:421px;">提交应用程序时使用的临时目录。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.preserve.staging.files</code></td> 
   <td style="width:58px;"><code>false</code></td> 
   <td style="width:421px;">设置为 true 是为了在作业结束时保留暂存文件(Spark jar、app jar、分布式缓存文件)，而不是删除它们。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.scheduler.heartbeat.interval-ms</code></td> 
   <td style="width:58px;"><code>3000</code></td> 
   <td style="width:421px;">Spark application master 和&nbsp;YARN ResourceManager 的心跳时间，单位ms。该值上限为失效时间间隔内纱线配置值的一半，<code>yarn.am.liveness-monitor.expiry-interval-ms</code></td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.scheduler.initial-allocation.interval</code></td> 
   <td style="width:58px;"><code>200ms</code></td> 
   <td style="width:421px;">当存在挂起的容器分配请求时，Spark application master 急切地向 YARN ResourceManager 发送心跳的初始间隔。它不应该比 spark.yarn.scheduler.heartbeat. intervaln -ms 大。如果仍然存在挂起的容器，那么在连续的紧急心跳时，分配间隔将加倍，直到到达 spark. yard .scheduler.heartbeat.interval-ms 为止。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.max.executor.failures</code></td> 
   <td style="width:58px;">numExecutors * 2, with minimum of 3</td> 
   <td style="width:421px;">程序失败之前 executer 失败的最大数量</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.historyServer.address</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">Spark history server 的地址：<code>host.com:18080。</code>该地址不应该包含一个模式(http://)。由于历史服务器是一个可选的服务，所以默认不被设置。当Spark应用程序完成将应用程序从ResourceManager UI链接到Spark history server UI时，将此地址提供给YARN ResourceManager。对于这个属性，纱线属性可以用作变量，这些变量在运行时由 Spark 代替。例如，如果 Spark history 服务器与 YARN ResourceManager 运行在同一个节点上，可以将其设置为${hadoopconf-yarn.resourcemanager.hostname}:18080。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.dist.archives</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">Comma separated list of archives to be extracted into the working directory of each executor.</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.dist.files</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">Comma-separated list of files to be placed in the working directory of each executor.</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.dist.jars</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">Comma-separated list of jars to be placed in the working directory of each executor.</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.executor.instances</code></td> 
   <td style="width:58px;"><code>2</code></td> 
   <td style="width:421px;">静态分配的执行器的数目。&nbsp;<code>spark.dynamicAllocation.enabled</code>，初始的executor集合至少有这么大。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.executor.memoryOverhead</code></td> 
   <td style="width:58px;">executorMemory * 0.10, with minimum of 384</td> 
   <td style="width:421px;">为每个执行程序分配的堆外内存(以兆字节为单位)。这是一种内存，它可以解释VM开销、中间字符串、其他本机开销等等。这往往随着执行程序的大小而增长(通常为6-10%)。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.driver.memoryOverhead</code></td> 
   <td style="width:58px;">driverMemory * 0.10, with minimum of 384</td> 
   <td style="width:421px;">集群模式下为每个驱动程序分配的堆外内存(以兆字节为单位)。这是一种内存，它可以解释VM开销、中间字符串、其他本机开销等等。这往往随着容器的大小而增长(通常为6-10%)</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.memoryOverhead</code></td> 
   <td style="width:58px;">AM memory * 0.10, with minimum of 384</td> 
   <td style="width:421px;">与&nbsp;<code>spark.yarn.driver.memoryOverhead 一样，适用于客户端模式的&nbsp;</code>YARN Application Master</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.port</code></td> 
   <td style="width:58px;">(random)</td> 
   <td style="width:421px;"> <p>供 YARN Application Master 监听的端口。在 yarn 客户端模式中，这用于在网关上运行的 Spark driver 与在 yarn 上运行的 YARN Application Master 之间通信。在 yarn 集群模式中，这用于动态执行器特性，其中它处理来自调度器后端的终止。</p> </td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.queue</code></td> 
   <td style="width:58px;"><code>default</code></td> 
   <td style="width:421px;">提交申请的 yarn 队列的名称。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.jars</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">包含要分发到 yarn 容器的 spark 代码的库的列表。默认情况下，Spark on YARN 将使用本地安装的 Spark jar，但 Spark jar 也可以位于 HDFS 上的可读位置。这允许 YARN 在节点上缓存它，这样就不需要在每次运行应用程序时分发它。例如，要指向 HDFS 上的jar，请将此配置设置为HDFS:///some/path。是允许的。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.archive</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">一个档案包含需要的 spark jars 分配到 yarn 缓存。如果设置，此配置将取代 spark.yarn.jar 和归档文件用于所有应用程序的容器。归档文件应该在其根目录中包含jar文件。与前面的选项一样，归档文件也可以托管在&nbsp; HDFS上，以加快文件分发速度。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.access.namenodes</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">一个逗号分隔的安全 HDFS namenodes 列表，Spark 应用程序将访问它。例如，spark.yarn.access.namenodes=hdfs://nn1.com:8032,hdfs://nn2.com:8032, webhdfs://nn3.com:50070。Spark 应用程序必须能够访问列出的 namenode，并且必须正确配置 Kerberos，使其能够访问这些namenode。Spark 为每个 namenode 获取安全令牌，以便 Spark 应用程序能够访问这些远程 HDFS 集群。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.appMasterEnv.[EnvironmentVariableName]</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">将 EnvironmentVariableName 指定的环境变量添加到在 yarn 上启动的 AM 中。用户可以指定多个环境变量并设置多个环境变量。在集群模式下，它控制 Spark driver 的环境，在客户端模式下，它只控制 executer 启动程序的环境。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.containerLauncherMaxThreads</code></td> 
   <td style="width:58px;"><code>25</code></td> 
   <td style="width:421px;">用于启动 executer 容器的 YARN Application Master 中使用的最大线程数。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.extraJavaOptions</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">在客户端模式下传递给 YARN Application Master 的一串额外的 JVM 选项。在集群模式下，使 用spark.driver.extraJavaOptions 代替。注意，使用此选项设置最大堆大小(-Xmx)是非法的。可以使用 spark.yarn.am.memory 设置最大堆大小</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.extraLibraryPath</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">设置一个特殊的库路径，以便在客户端模式下启动 YARN Application Master 时使用。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.maxAppAttempts</code></td> 
   <td style="width:58px;"><code>yarn.resourcemanager.am.max-attempts</code> in YARN</td> 
   <td style="width:421px;">提交申请的最大尝试次数。它应该不大于 YARN 配置中的最大尝试次数。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.attemptFailuresValidityInterval</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">定义 AM 故障跟踪的有效间隔。如果 AM 已经至少运行了定义的时间间隔，AM 故障计数将被重置。如果没有配置，则不启用该特性，并且只在Hadoop 2.6+中支持。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.executor.failuresValidityInterval</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">定义执行器故障跟踪的有效间隔。执行程序失败的时间超过了有效时间间隔，将被忽略。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.submit.waitAppCompletion</code></td> 
   <td style="width:58px;"><code>true</code></td> 
   <td style="width:421px;">在 yarn 集群模式下，控制客户端是否等待退出，直到应用程序完成。如果设置为 true，客户端进程将保持活动状态，报告应用程序的状态。否则，客户端进程将在提交后退出。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.am.nodeLabelExpression</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">将调度限制节点 AM 集的 yarn 节点标签表达式。只有大于或等于2.6的纱线版本才支持节点标签表达式，因此在运行早期版本时，这个属性将被忽略。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.executor.nodeLabelExpression</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">一个限制节点 executer 集合的 yarn 节点标签表达式将被调度。只有大于或等于2.6的 yarn 版本才支持节点标签表达式，因此在运行早期版本时，这个属性将被忽略。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.tags</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;"> <p>以逗号分隔的字符串列表作为 yarn 应用程序标记，显示在&nbsp; yarn 应用程序报告中，可用于在查询 yarn 应用程序时进行过滤。</p> </td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.keytab</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">包含上面指定的主体的 keytab 的文件的完整路径。这个 keytab 将通过安全的分布式缓存复制到运行 YARN Application Master，以便定期更新登录票据和委托令牌。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.principal</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">在安全的HDFS上运行时，用于登录到KDC的主体</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.config.gatewayPath</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;"> <p>在网关主机(启动Spark应用程序的主机)上有效但在集群中其他节点上相同资源的路径可能不同的路径。再加上spark.yarn.config。</p> <p>replacementPath用于支持具有异构配置的集群，以便Spark能够正确地启动远程进程。</p> <p>替换路径通常包含对由纱线导出的某个环境变量的引用(因此对Spark容器可见)。</p> <p>例如,如果网关节点Hadoop库安装在/ disk1 / Hadoop,和Hadoop的位置安装是由纱线出口HADOOP_HOME环境变量,设置这个值/ disk1 $ HADOOP_HOME / Hadoop和替代路径将确保正确路径用于发射远程过程参考本地纱配置。</p> </td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.config.replacementPath</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">See <code>spark.yarn.config.gatewayPath</code>.</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.security.credentials.${service}.enabled</code></td> 
   <td style="width:58px;"><code>true</code></td> 
   <td style="width:421px;">控制在启用安全性时是否为服务获取凭据。默认情况下，在配置这些服务时将检索所有受支持服务的凭据，但是如果该行为与正在运行的应用程序发生冲突，则可以禁用该行为。</td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.rolledLog.includePattern</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;"> <p>Java Rege x用于过滤与定义的 include 模式匹配的日志文件，这些日志文件将以滚动方式聚合。这将与 yarn&nbsp;的滚动日志聚合一起使用，以在&nbsp; yarn 中启用此功能。<code>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds&nbsp;</code>应该在 yarn-site.xml 中配置。该特性只能在 Hadoop 2.6.1+中使用。需要对 Spark log4j 附加器进行更改，以使用 FileAppender或另一个可以处理运行时删除的文件的附加器。基于 log4j配置中配置的文件名(如spark.log)</p> </td> 
  </tr> 
  <tr> 
   <td style="width:370px;"><code>spark.yarn.rolledLog.excludePattern</code></td> 
   <td style="width:58px;">(none)</td> 
   <td style="width:421px;">Java Regex 用于过滤与定义的排除模式匹配的日志文件，这些日志文件不会以滚动方式聚合。如果日志文件名同时匹配 include 和 exclude 模式，则最终将排除该文件。</td> 
  </tr> 
 </tbody> 
</table>

## 注意事项 ##

*  在调度决策中是否使用核心请求取决于使用哪个调度程序以及如何配置它。
 *  在集群模式下，Spark执行器和Spark驱动程序使用的是为 YARN 配置的本地目录(Hadoop YARN config `yarn.nodemanager.local-dirs`)。如果用户指定 `spark.local.dir，会被忽略。client 模式，`Spark executer 将使用为 YARN 配置的本地目录，而 Spark driver 将使用 Spark .local.dir 中定义的目录。这是因为 Spark driver 在客户端模式下不运行在 yarn 集群上，只有 Spark executer 运行。
 *  \--files 和 --archives 支持与 hadoop 类似的指定文件名称。例如可以指定：`--files localtest.txt#appSees.txt，`这将把本地命名为 localtest.txt 的文件上传到 HDFS 中，但它将通过 appSees.txt 的名称链接到HDFS。您的应用程序应该使用该名称作为应用程序。
 *  \--jars选项允许使用SparkContext。如果将addJar函数与本地文件一起使用并在集群模式下运行，则可以使用它。如果与HDFS、HTTP、HTTPS或FTP文件一起使用，则不需要使用它。

## 在一个安全的集群中运行 ##

Kerberos 在安全的 Hadoop 集群中用于对与服务和客户端相关的主体进行身份验证。这允许客户端向这些经过身份验证的服务发出请求，向经过身份验证的主体授予权限的服务。

Hadoop 服务发出 Hadoop 令牌来授予对服务和数据的访问权。客户端必须获取令牌，并在应用程序在 yarn 集群中启动时将它们与应用程序一起传递。

要使Spark应用程序与HDFS、HBase和Hive交互，它必须使用启动应用程序的用户的Kerberos凭证获取相关的令牌——也就是说，该用户的身份将成为启动的Spark应用程序的身份。

这通常在启动时完成：在一个安全的集群中，Spark将自动获得集群的HDFS文件系统的令牌，并可能获得HBase和Hive的令牌。

如果 HBase 位于类路径中，则将获得 HBase 令牌，HBase 配置声明应用程序是安全的(即HBase -site.xml设置`hbase.security.authentication` 的 `kerberos`)和 `spark.yarn.security.credentials.hbase.enabled `未设置为 false。

类似地，如果 Hive 位于类路径上，将获得一个 Hive 令牌，其配置包括 `hive.metastore.uris `和`spark.yarn.security.credentials.hive.enabled `未设置为false。

如果应用程序需要与其他安全的 HDFS 集群交互，则必须在启动时显式请求访问这些集群所需的令牌。这是通过在 spark.yarn.access.namenodes 属性中列出它们来实现的。

spark.yarn.access.namenodes hdfs://ireland.example.org:8020/,hdfs://frankfurt.example.org:8020/

Spark 支持通过 Java 服务机制与其他安全感知服务集成。为此，org.apache.spark.deploy.yarn.security.ServiceCredentialProvider 的实现应该可以通过 在jar 的 META-INF/services 目录的相应文件中列出它们的名称来触发。可以通过设置 spark.yarn.security.credentials.\{service\}.enabled 启用为false来禁用这些插件。其中\{service\}是凭据提供者的名称。

## 配置外部shuffle服务 ##

要在 yarn 集群上每个 nodemanager 上启动 spark shuffle 服务，请遵循：

*  使用带有 yarn profile 的发行包构建 spark
 *  `查找 spark-<version>-yarn-shuffle.jar，应该在 $SPARK_HOME/common/network-yarn/target/scala-<version> 下，如果自己构建 spark，可以在 yarn 下使用分布式`
 *  添加 jar 到集群中所有 nodemanager 节点中
 *  在每个节点的 yarn-site.xml 中，添加 spark\_shuffle，然后设置 `yarn.nodemanager.aux-services.spark_shuffle.class` = `org.apache.spark.network.yarn.YarnShuffleService。`
 *  更改 `etc/hadoop/yarn-env.sh 中的 YARN_HEAPSIZE（默认1000），增加 nodemanager 的对内存，避免在 shuffle 期间出现垃圾收集问题`
 *  重启集群中所有 nodemanager

还有一个配置：`spark.yarn.shuffle.stopOnFailure，默认 false，`当 Spark Shuffle 服务的初始化失败时，是否停止 nodemanager。这可以防止在没有运行 Spark Shuffle 服务的 nodemanager 上运行容器而导致应用程序失败。

## 使用ooize 运行程序 ##

Apache Oozie 可以将 Spark 应用程序作为工作流的一部分来启动。在一个有安全机制的集群中，启动的应用程序将需要相关的令牌来访问集群的服务。如果使用 keytab 启动 Spark，则是自动的。但是，如果要在没有 keytab 的情况下启动 Spark，则必须将设置安全性的责任移交给 Oozie。

对于 Spark 应用程序，Oozie 的工作流程必须设置为 Oozie 请求应用程序需要的所有令牌，包括：

*  YARN resource manager
 *  HDFS filesystem
 *  用作I/O源或目标的任何远程HDFS文件系统。
 *  hive
 *  habse
 *  YARN timeline server

为了避免 Spark 尝试(然后失败)获取Hive、HBase 和远程 HDFS 令牌，必须将 Spark 配置设置为禁用服务的令牌集合。

spark 配置包含下面这一行：

`spark.yarn.security.credentials.hive.enabled false spark.yarn.security.credentials.hbase.enabled false`

> `spark.yarn.access.namenodes 不设置`

## kerberos故障排除 ##

调试 Hadoop/Kerberos 问题可能很“困难”。一种有效的方式是通过设置 HADOOP\_JAAS\_DEBUG 环境变量，在 Hadoop 中启用额外的 Kerberos 操作日志记录。

export HADOOP_JAAS_DEBUG=true

还可以通过jdk 配置 `sun.security.krb5.debug=true ``sun.security.spnego.debug=true 来启用额外的日志。`

-Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

所有这些选项都可以在 application master 中启用：

spark.yarn.appMasterEnv.HADOOP_JAAS_DEBUG true spark.yarn.am.extraJavaOptions -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

最后日志等级 `org.apache.spark.deploy.yarn.Client 设置为 debug，`日志将包括获得的所有令牌的列表及其到期信息。

原文地址：[http://spark.apache.org/docs/2.1.1/running-on-yarn.html\#configuration][http_spark.apache.org_docs_2.1.1_running-on-yarn.html_configuration]

[https_blog.csdn.net_zpf_940810653842_article_details_103372744]: https://blog.csdn.net/zpf_940810653842/article/details/103372744
[http_spark.apache.org_docs_2.1.1_running-on-yarn.html_configuration]: http://spark.apache.org/docs/2.1.1/running-on-yarn.html#configuration