Spark资源规划-资源上线评估

叁歲伎倆 2024-02-18 11:42 12阅读 0赞

### 1、总体原则 ###

以单台服务器 128G 内存，32 线程为例。  
先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节点的 yarn 内存/每个节点数量=单个节点的数量  
总的 executor 数=单节点数量\*节点数。

### 2、具体提交参数 ###

1）executor-cores  
每个 executor 的最大核数。根据经验实践，设定在 3~6 之间比较合理。  
2）num-executors  
该参数值=每个节点的 executor 数 \* work 节点数  
每个 node 的 executor 数 = 单节点 yarn 总核数 / 每个 executor 的最大 cpu 核数考虑到系统基础服务和 HDFS 等组件的余量，yarn.nodemanager.resource.cpu-vcores 配 置为： 28，参数 executor-cores 的值为：4，那么每个 node 的 executor 数 = 28/4 = 7,假设集  
群节点为 10，那么 num-executors = 7 \* 10 = 70  
3）executor-memory  
该参数值=yarn-nodemanager.resource.memory-mb / 每个节点的 executor 数量  
如果 yarn 的参数配置为 100G，那么每个 Executor 大概就是 100G/7≈14G, 同时要注意yarn 配置中每个容器允许的最大内存是否匹配。

**Spark的提交参数**

spark-submit常用参数
    			--master 指定任务提交到哪个资源调度器中
    			--executor-memory 指定每个executor的内存大小
    			--executor-cores 指定每个executor的cpu核数
    			--total-executor-cores 指定所有executor的cpu总核数[仅限于standalone模式使用]
    			--num-executors 指定任务需要的executor个数[仅限于yarn模式使用]
    			--queue 指定任务提交到哪个资源队列中[仅限于yarn模式使用]
    			--deploy-mode 指定任务的部署模式[client/cluster]
    			--driver-memory 指定driver的内存大小
    			--class 指定待运行的带有main方法object的全类名