spark spark.shuffle.service.enabled

朴灿烈づ我的快乐病毒、 2023-06-14 12:56 18阅读 0赞

## 操作场景 ##

Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不能为其他Executor提供shuffle数据时，会影响任务运行。

External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

## 操作步骤 ##

在NodeManager中启动External shuffle Service。  
在“yarn-site.xml”中添加如下配置项：

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>spark_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
        <value>org.apache.spark.network.yarn.YarnShuffleService</value>
    </property>
    <property>
        <name>spark.shuffle.service.port</name>
        <value>7337</value>
    </property>

在“spark-defaults.conf”中必须添加如下配置项：

spark.shuffle.service.enabled   true
    spark.shuffle.service.port      7337

<table> 
 <thead> 
  <tr> 
   <th>配置参数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>spark.shuffle.service.enabled</td> 
   <td>NodeManager中一个长期运行的辅助服务，用于提升Shuffle计算性能。默认为false，表示不启用该功能。</td> 
  </tr> 
  <tr> 
   <td>spark.shuffle.service.port</td> 
   <td>Shuffle服务监听数据获取请求的端口。可选配置，默认值为“7337”。</td> 
  </tr> 
 </tbody> 
</table>

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark (一) --------- Spark 概述

目录一、Spark 是什么二、Spark and Hadoop 三、Spark or Hadoop 四、Spark 核心模块 -------

红太狼/ 2024年04月07日 10:14/ 0 赞/ 107 阅读

相关面试篇spark（spark core，spark sql，spark 优化）

一：为什么学习spark？相比较map-reduce框架，spark的框架执行效率更加高效。 mapreduce的执行框架示意图。 ![在这里插入图片描述][6

ゞ浴缸里的玫瑰/ 2024年02月17日 11:44/ 0 赞/ 114 阅读

相关 Spark系列——了解Spark

Spark系列——了解Spark 一、什么是Spark? 1.Spark是一个分布式的并行计算框架。 2.Spark是下一代的map-reduce，扩展了MR的数

阳光穿透心脏的1/2处/ 2023年07月09日 10:23/ 0 赞/ 65 阅读

相关【Spark源码】spark-submit和Spark-class

首先从启动脚本开始看： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \

爱被打了一巴掌/ 2022年11月12日 13:57/ 0 赞/ 266 阅读

相关 spark

spark概述 spark是apache下的大数据处理分析引擎。它提供了 Java、Scala、Python 和 R 中的高级 API，以及支持通用执行图的优化引擎。它还

以你之姓@/ 2022年08月31日 13:24/ 0 赞/ 161 阅读

相关 Spark

http://www.infoq.com/cn/articles/apache-spark-introduction/ 学习 http://www.infoq.com/cn

╰半橙微兮°/ 2022年07月16日 04:15/ 0 赞/ 187 阅读

相关 spark笔记spark优化

基本概念(Basic Concepts) RDD - resillient distributed dataset 弹性分布式数据集 Operation - 作用于RD

桃扇骨/ 2022年06月03日 09:43/ 0 赞/ 288 阅读

相关 Spark系列--Spark Streaming(一)Spark Streaming简介

一、简介 Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点

傷城~/ 2022年05月17日 23:28/ 0 赞/ 366 阅读

相关 [Spark]Spark RDD 指南一引入Spark

2.3.0版本：[Spark2.3.0 引入Spark][Spark2.3.0 _Spark] 1. Java版 Spark 2.1.1适用于Java 7及

小咪咪/ 2022年02月12日 14:39/ 0 赞/ 343 阅读

相关 Spark之Spark概述

Spark之Spark概述 -------------------- 1. 什么是Spark 2. Spark内置项目介绍 3. Spark特点 4. Spar

梦里梦外;/ 2022年01月14日 14:31/ 0 赞/ 371 阅读