13.2 Spark数据本地化

待我称王封你为后i 2022-05-14 01:23 195阅读 0赞

大数据计算的原则，数据不移动，计算移动 ----数据本地化

Application的执行流程：

job在执行之前，首先是由DAGScheduler负责切割Job，划分stage（依据宽窄依耐），DAGScheduler会以taskSet的形式发送TaskScheduler，TaskScheduler会根据数据本地化的算法，发送task到相Executor中执行

如果发送到Executor中的task等到3s，重发5次都无法执行，TaskScheduler就会判断这个Executor资源满了，这个时候TaskScheduler就会降一个数据本地化级别重新发送task，如果还是无法执行，再降一个数据本地化级别，一直到ANY

1，进程本地化 PROCESS\_LOCAL task计算的数据就在本进程(同一个Executor)的内存中

2，节点本地化 NODE\_LOCAL task计算的数据在同一个worker的不同Executor进程中/task计算的数据是在本地Worker磁盘上

3，没有本地化 NO\_PREF 如果读取数据在数据库中

4，机架本地化 RACK\_LOCAL task计算数据，在同一个机架不同节点上

5，垮机架 ANY

如何提高数据本地化级别？

增加task执行的等待时间，可以重3s，提高到6S;注意不要本末倒置了，提高的时间不要太长

配置参数

spark.locality.wait 默认是3秒 相当于是全局的

spark.locality.wait.process 默认和spark.locality.wait 是相等的

spark.locality.wait.node 默认和spark.locality.wait 是相等的

spark.locality.wait.rack 默认和spark.locality.wait 是相等的

new SparkConf().set("spark.locality.wait","6")

\--conf spark.locality.wait=6 提交spark-submit的时候使用

问题：

val rdd1 = sc.textFile("path")

rdd1 = rdd1.cache()

rdd1.count

这个job中的task能达到最高的数据本地化级别吗(PROCESS\_LOCAL )？

不能，对于这个job中的task最高的数据本地化级别是NODE\_LOCAL

如何查看task计算的数据本地化？

1，taskSetManager打印的日志

2，通过Driver的web端查看 4040端口

发表评论取消回复

表情：

评论列表（有 0 条评论，195人围观）

还没有评论，来说两句吧...

相关阅读

相关破解和本地化数据库：实现数据安全与本地化需求

随着计算机技术的不断进步，数据库的应用变得越来越广泛。然而，在某些情况下，我们可能需要破解和本地化数据库，以满足个性化需求和数据安全性的要求。本文将介绍如何进行数据库破解和汉化

亦凉/ 2024年03月02日 03:53/ 0 赞/ 23 阅读

相关 132.树形数据深度排序处理-案例

1.树形数据深度排序处理-案例（递归法） --测试数据 CREATE TABLE tb(ID char(3),PID char(3),Name nvarc

水深无声/ 2024年02月19日 19:08/ 0 赞/ 73 阅读

相关数据本地化

1 SQLite数据库 1.1 SQLite SQLite是一款轻量级的数据库，它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，

约定不等于承诺〃/ 2024年02月17日 22:25/ 0 赞/ 82 阅读

相关 SPARK调优之本地化级别

Spark在Driver上对Application的每个task任务进行分配之前，都会先计算出每个task要计算的对应的数据分片的位置。Spark的task分配算法优先考虑将t

一时失言乱红尘/ 2023年08月17日 15:19/ 0 赞/ 129 阅读

相关五、Spark性能优化——调节本地化等待时长

val conf = new SparkConf() .set("spark.locality.wait", "6") Spark 作业运行过程中， Driv

墨蓝/ 2023年06月06日 03:52/ 0 赞/ 19 阅读

相关本地化数据响应式 App难点

数据响应模型网络 -> 本地缓存 -> UI 难点如果一个界面有多个请求，多个请求返回时的数据每次都会重新渲染UI。降低效率，解决避免

深藏阁楼爱情的钟/ 2023年01月02日 06:25/ 0 赞/ 213 阅读

相关 C++ 数据类型蚊子132 详细讲解

地址：[C++ 数据类型蚊子132 详细讲解][C_ _ _132] [蚊子132网][132]，上篇内容讲述了整个语言的发展【为什么会产生编程语言】，以及学习C++所需要

心已赠人/ 2022年08月23日 14:50/ 0 赞/ 194 阅读

相关 Hadoop数据本地化

首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本地化特征。通常输入的数据首先将会分片split，每个分片上构建一个map任

深碍√TFBOYSˉ_/ 2022年06月06日 11:44/ 0 赞/ 272 阅读

相关 spark性能调优本地化等待时长

本地化级别： 1. 进程本地化 2. 节点本地化 3. 机架本地化 4. Any(都没有) Spark在Driver上，对Application的每个stage的ta

电玩女神/ 2022年05月18日 22:13/ 0 赞/ 180 阅读

相关 13.2 Spark数据本地化

大数据计算的原则，数据不移动，计算移动 ----数据本地化 Application的执行流程： job在执行之前，首先是由DAGScheduler负责切割Job，划分sta

待我称王封你为后i/ 2022年05月14日 01:23/ 0 赞/ 196 阅读