10.7 Spark广播变量和累加器

小咪咪 2022-05-19 13:53 240阅读 0赞

广播变量：

广播变量是在Driver端定义的，在Executor端读取，在Executor端是不能修改的，这样线程就安全

线程安全：单线程和多线程计算结果一致

当定义了外部变量，这个外部变量就存在堆当中，当发送多个task的时候暂用了大量的资源，这时候用广播变量，每个Executor里面都有一个共享变量区，当执行task的时候首先去共享变量区去读取，这样就节省了大量资源

Driver给Executor发送task，在Executor中执行时候，如果使用到了广播变量，首先跟本Executor上的BlocakManager去取，如果没有，回去Driver端取，第二个task执行的时候直接使用这个广播变量就可以，广播变量在每一个Executor中就又一份

动态改变广播变量使用transform或者forEacheRDD

--------------------

val conf = new SparkConf().setAppName("Broadcast").setMaster("local")

val sc = new SparkContext(conf)

val rdd = sc.makeRDD(Array("zhangsan","lisi","wangwu","zhaoliu","lvqi","qianba","fengjiu"))

val bro = List("zhangsan","wangwu")//这样直接new的参数直接在堆中，要是多的话占用大量的堆资源

val bc = sc.broadcast(bro)//broadcast用广播变量，不占用堆资源

val result = rdd.filter \{ x => !bc.value.contains(x) \}

result.foreach \{ x => println(x)\}

--------------------

/\*\*

\* 累加器： 集群规模下一个变量 线程安全的

\* 在项目里面我们会自定义一个累加器

\*/

val count = sc.accumulator(0) //设置初始值

lineRDD.map \{ x => \{

count.add(1)//count+=1 //每次加1

x

\} \}.count

println(count.value)

发表评论取消回复

表情：

评论列表（有 0 条评论，240人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark广播变量和累加器

一.广播变量图解　　![1343081-20190722205812552-757845358.png][] 二.代码　 1 val conf = ...

心已赠人/ 2024年04月20日 09:38/ 0 赞/ 105 阅读

相关 Spark Streaming整合检查点与累加器/广播变量

一.简介无法从Spark Streaming中的检查点恢复累加器和广播变量。如果启用检查点并同时使用“ 累加器”或“广播变量” ，则必须为“累加器”和“广播变量”创建延

电玩女神/ 2022年12月13日 04:04/ 0 赞/ 213 阅读

相关 SparkCore（五）：累加器和广播变量

文章目录一、累加器二、广播变量一、累加器累加器的使用累加器（分布式共享只写变量）： 1. 将累加器变量注册到`spark`中 2.

蔚落/ 2022年11月20日 10:53/ 0 赞/ 186 阅读

相关 spark系列13：闭包，累加器，广播变量

1. RDD 的分布式共享变量、闭包目标 1. 理解闭包以及 Spark 分布式运行代码的根本原理 2. 理解累加变量的使用场景 3. 理解广播的使用场景什

Myth丶恋晨/ 2022年10月23日 02:59/ 0 赞/ 190 阅读

相关 Spark-核心编程（六）累加器与广播变量

累加器分布式共享只写变量，Executor之间是不能互相访问到累加器的，Driver可以获取到Executor中累加器的数据。实现原理累加器用来把 Exec

╰+攻爆jí腚メ/ 2022年09月03日 04:25/ 0 赞/ 194 阅读

相关 spark广播变量和累加器

spark广播变量和累加器广播变量 Spark中分布式执行的代码需要传递到各个Executor的Task上运行。对于一些只读、固定的数据(比如从DB中读出的数据),

叁歲伎倆/ 2022年07月13日 14:41/ 0 赞/ 209 阅读

相关 10.7 Spark广播变量和累加器

广播变量：广播变量是在Driver端定义的，在Executor端读取，在Executor端是不能修改的，这样线程就安全线程安全：单线程和多线程计算结果一致当定义了外

小咪咪/ 2022年05月19日 13:53/ 0 赞/ 241 阅读

相关 Spark系列--SparkCore(七)广播变量和累加器

一、广播变量　　通常情况下，当一个RDD的很多操作都需要使用driver中定义的变量时，每次操作，driver都要把变量发送给worker节点一次，如果这个变量中的数据

ゝ一纸荒年。/ 2022年05月19日 04:43/ 0 赞/ 227 阅读

相关 Spark系列--Spark Streaming(八)累加器和广播变量

累加器(Accumulators)和广播变量(Broadcast variables)不能从Spark Streaming的检查点中恢复。如果你启用检查并也使用了累加器和广播变

超、凢脫俗/ 2022年05月18日 08:23/ 0 赞/ 362 阅读

相关 Spark 系列（六）—— 累加器与广播变量

一、简介在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：累加器：用来对

亦凉/ 2021年10月29日 11:26/ 0 赞/ 330 阅读