spark性能调优广播大变量

浅浅的花香味﹌ 2022-05-20 10:26 170阅读 0赞

这种默认的，task执行的算子中，使用了外部的变量，每个task都会获取一份变量的副本，有什么缺点呢？在什么情况下，会出现性能上的恶略的影响呢？

map本身是不小的，map中存放数据的单位是entry，还有可能会用链表的格式来存放Entry链条，所以map是比较消耗内存的数据格式，

比如map是1M，总共，你前面调优调的都特好，资源给的到位，配合着资源，并行度调节到位，1000个task。大量task的确都在并行运行。

这些task里面都用到了占用1M内存的map,那么首先，map会拷贝1000份副本，通过网络传输到各个task中去，给task使用，总计有1G的数据会通过网络传输，网络传输开销很大

map副本，传输到各个task后是要占用内存的，1个map的确不大，1M;1000个map分布在你的集群中，一下子就耗费掉了1G的内存，对性能有什么影响，不必要的内存消耗和占用，就导致了，你在进行RDD持久化到内存，也许就没法完全在内存中放下，就只能写入磁盘，最后导致后续操作在磁盘IO上消耗性能

你的task在创建的时候，也许会发现堆内存放不下对象，也许就会导致频繁的垃圾回收器的回收，GC。GC的时候，一定会导致工作线程停止，也就是导致spark暂停工作那么一点时间，频繁GC的话，对spark作业的运行的速度会有相当可观的影响。

解决方法：就是用我们的广播变量，将大变量广播

广播变量，在driver上会有一份初始的副本，当task开始跑起来的时候，task从广播变量中拿出这些数据，那么就是一个executor会对应一个BlockManager（负责管理某个Executor对应的内存和磁盘的数据），首先从本地executor中取数据，如果获取不到广播变量，那么BlockManager就到driver中去拉取map的数据，然后存放在自己本地

executor的BlockManager除了从driver上拉取，也可能从其他节点的BlockManager上拉取变量副本，距离越近越好

广播变量的好处：

广播变量的好处，不是每个task一份变量副本，而是变成每个节点的executor才一份副本。这样的话，就可以让变量产生的副本大大减少

如果用了广播变量，50个executor,50个副本，500M的数据，网络传输，而且不一定都是从Driver传输到每个节点，还可能是就近从最近的节点的executor拉取

广播变量很简单

其实就是sparkContext的broadcast()方法，传入你要广播的变量，即可

使用广播变量的时候，直接使用广播变量的对象的value/getValue()方法都可以

发表评论取消回复

表情：

评论列表（有 0 条评论，170人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 性能调优

Spark 性能调优 1.1 常规性能调优 1.1.1 常规性能调优一：最优资源配置　　Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范...

古城微笑少年丶/ 2024年04月20日 09:13/ 0 赞/ 135 阅读

相关 spark性能调优

基础调优 1、提交参数可以设置executor数量，每个executor的内存/CPU核数，在资源允许的情况下越大越好，没有什么是加一台服务器解决不了的...

雨点打透心脏的1/2处/ 2024年04月19日 09:57/ 0 赞/ 158 阅读

相关八、Spark性能调优——JVM 调优

对于 JVM 调优，首先应该明确， full gc/minor gc，都会导致 JVM 的工作现场停止工作，即 stop the world。一、降低 cache 操作的

忘是亡心i/ 2023年06月06日 03:54/ 0 赞/ 394 阅读

相关 Spark性能调优

一.缓存对于某些工作负载，可以通过在内存中缓存数据或打开某些实验选项来提高性能。 Spark SQL可以通过调用spark.catalog.cacheTable(“

蔚落/ 2023年02月11日 12:25/ 0 赞/ 9 阅读

相关 Spark性能调优

Spark调优主要分为运行资源调优和代码调优 1.运行资源调优 [Spark性能优化：资源调优篇][Spark] [Spark性能调优：合理设置并行度][Spar

野性酷女/ 2022年10月16日 06:07/ 0 赞/ 375 阅读

相关 Spark性能调优之Shuffle调优

Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零

客官°小女子只卖身不卖艺/ 2022年10月07日 05:43/ 0 赞/ 534 阅读

相关 Spark性能调优

Spark性能调优 [摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。][Link 1] 性能监控

客官°小女子只卖身不卖艺/ 2022年06月18日 02:08/ 0 赞/ 419 阅读

相关 Spark性能调优

文章转载：[http://gad.qq.com/article/detail/20239][http_gad.qq.com_article_detail_20239] 通常我

不念不忘少年蓝@/ 2022年06月07日 11:45/ 0 赞/ 497 阅读

相关 spark性能调优广播大变量

这种默认的，task执行的算子中，使用了外部的变量，每个task都会获取一份变量的副本，有什么缺点呢？在什么情况下，会出现性能上的恶略的影响呢？ map本身是不小的，map

浅浅的花香味﹌/ 2022年05月20日 10:26/ 0 赞/ 171 阅读

相关 Spark性能调优——其他调优方法

一、提高并行度实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。

骑猪看日落/ 2021年09月14日 05:12/ 0 赞/ 703 阅读