关于 Apache Spark 的参数设置，用于优化和调整 Spark 应用程序的行为和性能

我会带着你远行 2024-03-03 08:22 82阅读 0赞

### 关于 Apache Spark 的参数设置，用于优化和调整 Spark 应用程序的行为和性能 ###

下面是每个配置的简要说明：

spark.dynamicAllocation.enabled=true：启用动态资源分配，允许 Spark 根据任务需求自动调整执行器的数量。

spark.shuffle.service.enabled=false：禁用独立的 Shuffle 服务，将 Shuffle 过程合并到 Executor 中。

spark.dynamicAllocation.initialExecutors=10：初始执行器的数量，当动态资源分配启用时使用。

spark.dynamicAllocation.minExecutors=10：执行器的最小数量。

spark.dynamicAllocation.maxExecutors=500：执行器的最大数量。

spark.dynamicAllocation.executorAllocationRatio=0.5：用于执行器分配的比例，表示给每个应用程序分配的资源相对于集群中所有可用资源的比例。

spark.dynamicAllocation.executorIdleTimeout=60s：执行器空闲时自动释放的超时时间。

spark.dynamicAllocation.cachedExecutorIdleTimeout=30min：空闲缓存执行器的超时时间，该执行器可以更快地重新分配给作业。

spark.dynamicAllocation.shuffleTracking.enabled=true：启用作业的 Shuffle 动态分配跟踪。

spark.dynamicAllocation.shuffleTracking.timeout=30min：Shuffle 动态分配跟踪的超时时间。

spark.dynamicAllocation.schedulerBacklogTimeout=1s：作业调度队列中作业等待的超时时间。

spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=1s：作业调度队列中连续等待的时间阈值。

spark.cleaner.periodicGC.interval=5min：垃圾回收的周期间隔。

spark.sql.adaptive.enabled=true：启用自适应查询执行，允许 Spark 在运行时动态调整查询执行计划。

spark.sql.adaptive.forceApply=false：是否强制应用自适应执行。

spark.sql.adaptive.logLevel=info：自适应执行的日志级别。

spark.sql.adaptive.advisoryPartitionSizeInBytes=256m：用于自适应执行的建议分区大小。

spark.sql.adaptive.coalescePartitions.enabled=true：启用自适应分区合并。

spark.sql.adaptive.coalescePartitions.minPartitionNum=1：分区合并的最小分区数。

spark.sql.adaptive.coalescePartitions.initialPartitionNum=8192：分区合并的初始分区数。

spark.sql.adaptive.fetchShuffleBlocksInBatch=true：在批量中获取 Shuffle 块。

spark.sql.adaptive.localShuffleReader.enabled=true：启用本地 Shuffle 读取。

spark.sql.adaptive.skewJoin.enabled=true：启用自适应倾斜连接优化。

spark.sql.adaptive.skewJoin.skewedPartitionFactor=5：用于检测倾斜分区的标准差因子。

spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes=400m：倾斜分区的阈值。

spark.sql.adaptive.nonEmptyPartitionRatioForBroadcastJoin=0.2：广播连接时的非空分区比例。

spark.sql.autoBroadcastJoinThreshold=-1：自动广播连接阈值，-1 表示禁用。

这些参数可以根据具体的需求和环境进行调整和定制，以优化 Spark 应用程序的性能和资源利用

发表评论取消回复

表情：

评论列表（有 0 条评论，82人围观）

还没有评论，来说两句吧...

相关阅读

相关关于 Apache Spark 的参数设置，用于优化和调整 Spark 应用程序的行为和性能

关于 Apache Spark 的参数设置，用于优化和调整 Spark 应用程序的行为和性能下面是每个配置的简要说明： spark.dynamicAllocation

我会带着你远行/ 2024年03月03日 08:22/ 0 赞/ 83 阅读

相关 spark的资源调整参数

–基础资源 set spark.driver.memory=15g; set spark.driver.cores=3; set spark.driv

野性酷女/ 2024年03月02日 08:52/ 0 赞/ 80 阅读

相关 Spark性能优化

1、资源参数调优 1.1 运行时架构 ![E5_9B_BE_E7_89_87-6.png][] 1.1.1 Client ：客户端进程，负责提交作业

末蓝、/ 2023年07月21日 08:39/ 0 赞/ 63 阅读

相关 Spark性能优化：JVM参数调优

[Spark性能优化：JVM参数调优][Spark_JVM] 原文： http://blog.csdn.net/kwu\_ganymede/article/details/5

ゝ一世哀愁。/ 2022年09月30日 14:57/ 0 赞/ 139 阅读

相关 Spark -7：提交spark应用程序

Spark的bin目录中的 `spark-submit`脚本用于启动集群上的应用程序。它可以通过统一的接口使用Spark的所有支持的集群管理器，因此您不必为每个集群管理器专门配

系统管理员/ 2022年07月11日 07:36/ 0 赞/ 295 阅读

相关关于Spark和Spark的学习资料

![d13573f58390f67cf5a36414be3838ee_b.jpg][] Hadoop社区依然发展迅速，2014年推出了2.3，2.4, 2

喜欢ヅ旅行/ 2022年07月10日 14:59/ 0 赞/ 253 阅读

相关 Spark参数配置及其性能优化

[Spark参数配置][Spark] 转自：http://hadoop1989.com/2015/10/08/Spark-Configuration/ [一、Sp

r囧r小猫/ 2022年07月10日 12:31/ 0 赞/ 259 阅读

相关 Spark - Spark中各个角色的JVM参数设置

> Driver的JVM参数 -Xmx，-Xms yarn-client模式：则默认读取spark-env文件中的SPARK\_DRIVER\_MEMORY值，-X

野性酷女/ 2022年03月06日 01:06/ 0 赞/ 648 阅读

相关 spark-submit脚本参数的设置

--driver-memory 2G --executor-memory 4G --executor-cores 1 --num-executors 60 一共60

曾经终败给现在/ 2021年10月13日 02:49/ 0 赞/ 396 阅读

相关 Spark性能优化——性能优化的重要性

由于Spark的计算本质是基于内存的，所以Spark性能程序的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。如果内存能够容纳得下所有的数据，那么网络传输和

￡神魔★判官ぃ/ 2021年09月14日 04:40/ 0 赞/ 723 阅读