关于Spark 的一些调优选项（待完善）

绝地灬酷狼 2022-01-17 02:23 515阅读 0赞

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][]

各位看到的大侠们，，，，如果有什么问题，不要拍砖，后期进行完善。谢谢协助完善。

**几个比较重要的配置属性：**

**1.手动启动集群**

<table style="font-family:'Microsoft YaHei', Verdana, sans-serif, '宋体';color:#000000;font-size:14px;"> 
 <tbody> 
 <tr> 
 <th> 参数 </th> 
 <th> 含义 </th> 
 </tr> 
 <tr> 
 <td> -i IP,--ip IP </td> 
 <td> 要监听的IP地址或者 DNS 机器名 </td> 
 </tr> 
 <tr> 
 <td> -p PORT,--port PORT </td> 
 <td> 要监听的端口 (默认: master 7077 ；worker随机) </td> 
 </tr> 
 <tr> 
 <td> --webui-port PORT </td> 
 <td> web UI端口 (默认: master 8080, worker 8081) </td> 
 </tr> 
 <tr> 
 <td> -c CORES,--cores CORES </td> 
 <td> 作业可用的CPU内核数量(默认: 所有可用);只在worker上 </td> 
 </tr> 
 <tr> 
 <td> -m MEM,--memory MEM </td> 
 <td> 作业可使用的内存容量，默认格式1000M或者 2G (默认:&nbsp; 所有RAM去掉给操作系统用的1 GB); 只在worker上。 </td> 
 </tr> 
 <tr> 
 <td> -d DIR,--work-dir DIR </td> 
 <td> 伸缩空间和日志输入的目录路径 (默认: SPARK_HOME/work); 只在worker上 </td> 
 </tr> 
 </tbody> 
</table>

**2.集群启动脚本**

<table style="font-family:'Microsoft YaHei', Verdana, sans-serif, '宋体';color:#000000;font-size:14px;"> 
 <tbody> 
 <tr> 
 <th> 环境变量 </th> 
 <th> 含义 </th> 
 </tr> 
 <tr> 
 <td> SPARK_MASTER_IP </td> 
 <td> 绑定一个外部IP给master. </td> 
 </tr> 
 <tr> 
 <td> SPARK_MASTER_PORT </td> 
 <td> 从另外一个端口启动master(默认: 7077) </td> 
 </tr> 
 <tr> 
 <td> SPARK_MASTER_WEBUI_PORT </td> 
 <td> Master的web UI端口 (默认: 8080) </td> 
 </tr> 
 <tr> 
 <td> SPARK_WORKER_PORT </td> 
 <td> 启动Spark worker 的专用端口(默认：随机) </td> 
 </tr> 
 <tr> 
 <td> SPARK_WORKER_DIR </td> 
 <td> 伸缩空间和日志输入的目录路径(默认: SPARK_HOME/work); </td> 
 </tr> 
 <tr> 
 <td> SPARK_WORKER_CORES </td> 
 <td> 作业可用的CPU内核数量(默认: 所有可用的); </td> 
 </tr> 
 <tr> 
 <td> SPARK_WORKER_MEMORY </td> 
 <td> 作业可使用的内存容量，默认格式1000M或者 2G (默认:&nbsp; 所有RAM去掉给操作系统用的1 GB);注意：每个作业自己的内存空间由SPARK_MEM决定。 </td> 
 </tr> 
 <tr> 
 <td> SPARK_WORKER_WEBUI_PORT </td> 
 <td> worker 的web UI 启动端口(默认: 8081) </td> 
 </tr> 
 <tr> 
 <td> SPARK_WORKER_INSTANCES </td> 
 <td> 没太机器上运行worker数量 (默认: 1). 当你有一个非常强大的计算机的时候和需要多个Spark worker进程的时候你可以修改这个默认值大于1 . 如果你设置了这个值。要确保SPARK_WORKER_CORE 明确限制每一个r worker的核心数, 否则每个worker 将尝试使用所有的核心 </td> 
 </tr> 
 <tr> 
 <td> SPARK_DAEMON_MEMORY </td> 
 <td> 分配给Spark master和 worker 守护进程的内存空间 (默认: 512m) </td> 
 </tr> 
 <tr> 
 <td> SPARK_DAEMON_JAVA_OPTS </td> 
 <td> Spark master 和 worker守护进程的JVM 选项(默认: none) </td> 
 </tr> 
 </tbody> 
</table>

**//定期清理内存资源，这个值不能太小，如果后面的计算需要用到的数据被清除，会带来其他问题。同时，也是为了防止内存溢出.主要出现在streaming模块中。**  
spark.cleaner.ttl=

spark.home=

**//不进行序列化**  
@transient

**//由Spark自行管理持久化RDD，Spark自行判断哪些RDD是不常持有的，然后去序列化他们，可以减GC的次数，而且降低Spark对内存的使用，**  
spark.streaming.unpersist=true

**//如果该参数没有配置，则默认实例化org.apache.spark.serializer.JavaSerializer对象。Spark Task 序列化配置。**  
spark.closure.serializer= org.apache.spark.serializer.JavaSerializer  
  
  
  
**//In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK\_LOCAL\_DIRS in mesos/standalone and LOCAL\_DIRS in YARN. Spark 用于写中间数据的目录，其中包括：RDD Cache，Shufflte，Split，可以配置多个目录，中间用逗号分隔。**  
spark.local.dir=  
  
  
//默认为""  
spark.kryo.classesToRegister  
  
  
  
  
//默认为：KryoSerializer  
//org.apache.spark.serializer.JavaSerializer  
spark.serializer=  
  
  
// Distribution-defined classpath to add to processes  
SPARK\_DIST\_CLASSPATH=  
  
  
**//This is deprecated in Spark 1.4+**  
 **// Please use spark \{spark.reducer.maxMbInFlight\} instead.**  
 **//** **这个参数用于限制一个ReducerTask向其他的Executor请求Shuffle数据时所占用的最大内存数，尤其是如果网卡是千兆和千兆以下的网卡时。**   
spark.reducer.maxSizeInFlight=  
  
  
**//默认值为:host值。**  
SPARK\_PUBLIC\_DNS=  
  
  
//SPARK\_JAVA\_OPTS was detected。  
//This is deprecated in Spark 1.0+.  
//Please instead use:  
// - ./spark-submit with conf/spark-defaults.conf to set defaults for an application  
// - ./spark-submit with --driver-java-options to set -X options for a driver  
// - spark.executor.extraJavaOptions to set -X options for executors  
// - SPARK\_DAEMON\_JAVA\_OPTS to set java options for standalone daemons (master or worker)  
SPARK\_JAVA\_OPTS=  
  
  
//SPARK\_CLASSPATH was detected。  
//This is deprecated in Spark 1.0+.  
//Please instead use:  
// - ./spark-submit with --driver-class-path to augment the driver classpath  
// - spark.executor.extraClassPath to augment the executor classpath  
SPARK\_CLASSPATH=  
  
  
  
  
  
  
  
  
  
  
  
// Whether to compress RDD partitions that are stored serialized  
spark.rdd.compress=false  
  
  
// Validate memory fractions  
spark.storage.memoryFraction  
spark.shuffle.memoryFraction  
spark.shuffle.safetyFraction  
spark.storage.unrollFraction  
spark.storage.safetyFraction

//**shuffle过程中，内存中数据的阀值**  
spark.shuffle.memoryFraction=

作为一个保险系数降低实际Shuffle过程所需要的内存值

//**作为一个保险系数，降低实际shuffle过程中需要的内存值**

spark.shuffle.safetyFraction=

//默认值为:null  
spark.metrics.conf  
  
  
**//单位为秒**  
spark.storage.cachedPeersTtl=60s  
  
  
//subDirsPerTachyonDir  
spark.externalBlockStore.subDirectories=64  
  
  
//  
spark.streaming.stopGracefullyOnShutdown=false

//  
// Broadcast 广播  
//

**//Spark 广播实现类配置，默认为TorrentBroadcastFactory，还有一个选项为****HttpBroadcastFactory。broadcast不会内存溢出，但会影响运行效率。**  
spark.broadcast.factory=org.apache.spark.broadcast.TorrentBroadcastFactory

**//默认值为4M .**  
**//数据库大小.blockifyObject 依据这个值来划分数据块大小**  
spark.broadcast.blockSize=4m  
  
  
  
**//**  **是否要压缩序列化的RDD分区（比如，** **StorageLevel.MEMORY\_ONLY\_SER** **）。在消耗一点额外的CPU时间的代价下，可以极大的提高减少空间的使用。**  
spark.broadcast.compress=true

//  
// Driver  
//  
  
  
**//driver主机地址端口**  
spark.driver.port  
  
  
**//driver主机地址**  
spark.driver.host  
  
  
//Whether to consider jars provided by the user to have precedence over the Spark jars when loading user classes.  
spark.driver.userClassPathFirst=  
  
  
//  
spark.driver.extraJavaOptions=  
  
  
//  
spark.driver.extraClassPath  
  
  
//  
spark.driver.extraLibraryPath  
  
  
  
  
**//从Spark1.2开始，该配置被 extraLibraryPath代替。**  
spark.driver.libraryPath=  
  
  
//  
// Shuffle  
//  
**//默认为sort方式。**  
 **//shuffle方式对照的类：**  
**// hash -> org.apache.spark.shuffle.hash.HashShuffleManager**  
 **// sort -> org.apache.spark.shuffle.sort.SortShuffleManager**  
 **// tungsten-sort -> org.apache.spark.shuffle.unsafe.UnsafeShuffleManager**  
spark.shuffle.manager=sort  
  
  
**//默认值为：netty**  
 **//shuffle的时候数据库的传输方式配置**  
 **//现在内部支持两种，NIO 和 Netty.**  
spark.shuffle.blockTransferService=netty  
  
  
**//是否压缩存储shuffle的输出数据**  
spark.shuffle.compress=true  
  
**//** **是否启用shuffle输出临时文件溢出到磁盘。如果为false，会有内存溢出的风险**  
 **// Whether to compress shuffle output temporarily spilled to disk**  
spark.shuffle.spill.compress=true  
  
  
//  
spark.shuffle.service.enabled=false  
  
  
**//该配置上为了解决，shuffle过程中，文件过多的问题。具体是否需要启用，请根据测试后，再使用。**  
spark.shuffle.consolidateFiles=false  
  
  
//  
spark.shuffle.service.port=7337  
  
  
//  
spark.shuffle.sync=true  
  
  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.shuffle.file.buffer.kb\} instead.  
//  
spark.shuffle.file.buffer=  
  
  
  
//  
// Scheduler  
//  
//  
spark.scheduler.mode=  
  
  
// Submit tasks after maxRegisteredWaitingTime milliseconds  
// if minRegisteredRatio has not yet been reached  
spark.scheduler.maxRegisteredResourcesWaitingTime=30  
  
  
// Submit tasks only after (registered resources / total expected resources)  
// is equal to at least this value, that is double between 0 and 1.  
spark.scheduler.minRegisteredResourcesRatio=0  
  
  
// Periodically revive offers to allow delay scheduling to work,单位为妙,默认为1s.  
spark.scheduler.revive.interval=1s  
  
  
  
//  
// Executor  
//  
//spark.executor.extraJavaOptions is not allowed to set Spark options。Set them directly on a SparkConf or in a properties file when using ./bin/spark-submit.  
spark.executor.extraJavaOptions  
  
  
//  
spark.executor.extraClassPath  
  
  
//spark.executor.extraJavaOptions is not allowed to alter memory settings。Use spark.executor.memory instead.  
spark.executor.memory  
  
  
//Whether to consider jars provided by the user to have precedence over the Spark jars when loading user classes.  
spark.executor.userClassPathFirst=  
  
  
//This is deprecated in Spark 1.3+  
//Please use spark \{spark.files.userClassPathFirst\} instead.  
spark.executor.userClassPathFirst  
  
  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.executor.logs.rolling.size.maxBytes\} instead.  
//  
spark.executor.logs.rolling.maxSize  
  
  
//  
spark.executor.port=0  
  
  
  
//  
// History  
//  
**//This is deprecated in Spark 1.3+**  
 **//**  
 **// spark.history.fs.update.interval.seconds 1.4**  
 **// spark.history.fs.updateInterval 1.3**  
 **// spark.history.updateInterval 1.3**  
**//** **此历史服务器显示的信息更新时间段。每一个更新检查在持久存储中的事件日志中所做的任何更改。**   
spark.history.fs.update.interval=10s  
  
  
  
  
**//This is deprecated in Spark 1.4+**  
 **// Please use spark \{spark.history.fs.cleaner.interval.seconds\} instead.**  
 **//** **多少次对文件进行清理，才会删除文件。** **仅删除**  **文件都比spark.history.fs.cleaner.maxage大的Age.**   
spark.history.fs.cleaner.interval=1d  
  
  
  
  
**//This is deprecated in Spark 1.4+**  
 **// Please use spark \{spark.history.fs.cleaner.maxAge.seconds\} instead.**  
 **//****当历史清洁任务运行时，作业历史文件会被删除。**  
spark.history.fs.cleaner.maxAge=  
  
  
  
**//****指定历史服务器是否应该定期清理事件日志。**  
 spark.history.fs.cleaner.enabled=false

**//历史服务器的网络端口**  
spark.history.ui.port=18080

**//包含应用程序事件日志将载入历史服务器的目录，默认为：file:/tmp/spark-events**  
spark.history.fs.logDirectory=file:/tmp/spark-events

//  
// Master  
//  
**//Master地址，默认为localhost**  
SPARK\_MASTER\_HOST  
  
  
**//Master交互端口。默认为：7077**  
SPARK\_MASTER\_PORT=7077  
  
  
**//Master Web UI 端口号。默认端口号为：8080**  
SPARK\_MASTER\_WEBUI\_PORT=8080  
  
  
  
  
  
  
//  
// deploy  
//  
**//默认值为：true; 它的用途是在standalone 模式下，节点的自由选择，这样可以更好的进行数据本地性操作。如果配置为false, 对于计算机中心的工作比较有效。**  
spark.deploy.spreadOut=true  
  
  
**//默认使用的core 数量为机器所有的core.core数量必须大于1.**  
spark.deploy.defaultCores 或 spark.cores.max  
  
  
**//恢复模式默认为：NONE**  
 **//Spark 1.4版本中提供了3种方式：**  
 **// ZOOKEEPER：org.apache.spark.deploy.master.ZooKeeperRecoveryModeFactory**  
 **// FILESYSTEM：org.apache.spark.deploy.master.FileSystemRecoveryModeFactory**  
 **// CUSTOMER：通过指定该值\{spark.deploy.recoveryMode.factory\}来反射实例化对象。**  
**// 默认为None方式**  
spark.deploy.recoveryMode=None

**//默认值为：200**  
**// 最多的应用程序来显示。旧的应用程序将从用户界面中删除，以保持这个限制。默认显示200个。**  
spark.deploy.retainedApplications=200

**//默认值为：200；Master节点中，保存最多的Driver记录**  
spark.deploy.retainedDrivers=200  
  
  
//  
// io  
//  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.io.compression.snappy.block.size\} instead.  
//  
spark.io.compression.snappy.blockSize  
  
  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.io.compression.lz4.block.size\} instead.  
//  
spark.io.compression.lz4.blockSize  
  
  
//  
// rpc  
//  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.akka.num.retries\} instead.  
//  
spark.rpc.numRetries  
  
  
  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.akka.askTimeout\} instead.  
//  
spark.rpc.askTimeout  
  
  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.akka.lookupTimeout\} instead.  
//  
spark.rpc.lookupTimeout  
  
  
  
  
//  
// kryoserializer  
//  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.kryoserializer.buffer.mb\} instead.  
//  
spark.kryoserializer.buffer  
  
  
  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.kryoserializer.buffer.max.mb\} instead.  
//  
spark.kryoserializer.buffer.max  
  
  
//1.4  
//Please use spark.kryoserializer.buffer instead. The default value for  
//spark.kryoserializer.buffer.mb was previously specified as '0.064'. Fractional values  
//are no longer accepted. To specify the equivalent now, one may use '64k'.  
spark.kryoserializer.buffer.mb=  
  
  
  
//  
// Worker  
//  
**//发送心跳，单位为：秒**  
//Send a heartbeat every (heartbeat timeout) / 4 milliseconds  
spark.worker.timeout  
  
  
//默认值：true  
spark.worker.cleanup.enabled  
  
  
//How often worker will clean up old app folders.  
**//默认值：60 \* 30**  
spark.worker.cleanup.interval  
  
  
**//TTL for app folders/data; after TTL expires it will be cleaned up.**  
 **//默认时间间隔为：7 \* 24 \* 3600**  
spark.worker.cleanup.appDataTtl  
  
  
**//指定Worker端口，默认为：0**  
SPARK\_WORKER\_PORT=  
  
  
**//Worker节点运行使用的core数量.默认值为本机所有可用的core数量。**  
SPARK\_WORKER\_CORES=  
  
  
**//Worker内存大小设置，在指定的时候，需要带上单位（eg. 200M,1G)。**  
 **//默认值，首先是通过java.vendor来判断了一个是否是IBM，然后转换为 M.正常获取的值为总可用内存大小 - 1024.否则为1024M。**  
 **//如果内存大小小于1GB或者无法获得该Worker主机内存大小，默认为512M。**  
SPARK\_WORKER\_MEMORY=512  
  
  
**//Worker节点的WebUI 端口号。默认端口号为：8081**  
SPARK\_WORKER\_WEBUI\_PORT=8081  
  
  
**//Worker交互超时时间，默认为60 × 1000 s**  
spark.worker.timeout=60  
  
  
**//默认值为：15**  
spark.dead.worker.persistence=15  
  
  
  
  
  
  
//  
// Yarn  
//  
**//默认值为：true**  
spark.yarn.submit.waitAppCompletion=true  
  
  
//  
spark.yarn.maxAppAttempts=  
  
  
//默认值为true  
SPARK\_YARN\_MODE=true  
  
  
// Location of any user-defined Spark jars  
spark.yarn.jar=  
  
  
// Internal config to propagate the location of the user's jar to the driver/executors  
spark.yarn.user.jar=  
  
  
// Internal config to propagate the locations of any extra jars to add to the classpath of the executors  
spark.yarn.secondary.jars=  
  
  
//This is deprecated in Spark 1.4+  
// Please use spark \{spark.yarn.am.waitTime\} instead.  
//  
spark.yarn.applicationMaster.waitTries  
  
  
//link presented in the distributed cache to the destination  
spark.yarn.keytab  
  
  
//  
spark.yarn.user.classpath.first=false  
  
  
//Cleanup application staging directory.  
spark.yarn.preserve.staging.files=false  
  
  
  
  
//默认为24×60分钟。单位为分钟  
spark.yarn.token.renewal.interval=24 \* 60  
  
  
//  
spark.yarn.credentials.file=  
  
  
//1.3  
//Please use spark.\{driver,executor\}.userClassPathFirst instead.  
spark.yarn.user.classpath.first=

//  
// Streaming  
//

**//默认值为true,表示使用****ReliableKafkaReceiver 来接受消息，其中会使用WAL机制，来保证数据的可靠，也保证数据不丢失**

spark.streaming.receiver.writeAheadLog.enable=true

转载于:https://my.oschina.net/Rayn/blog/498667

[80_]: https://my.oschina.net/u/2663968/blog/3051541
[hot3.png]: /images/20220117/b815f8804fe34477b45f3c908a31be46.png