transformation 深度剖析

╰+哭是因爲堅強的太久メ 2022-05-15 02:04 263阅读 0赞

union算子

1. 新的rdd，会将就得俩个rdd的partition，原封不动的给挪过来

2. 新的rdd的partition的数量，就是旧的俩个rdd的partition的数量的总和

groupbyKey算子

一般来说，在执行shuffle类的算子的时候比如groupByKey，reduceBykey,join等

其实在算子内部都会创建几个RDD出来，那些隐士创建的RDD,主要是作为这个操作的一些中间数据的表达，以及作为stage划分的边界

因为有些隐士生成的rdd,可能是shuffledrdd,dependency就是shuffleDependency,会将rdd作为stage的第一个rdd划分出来

groupByKey等shuffle算子，都会创建一些隐士RDD,比如说这里，shuffleRDD,作为一个shuffle过程中的中间数据的代表，依赖这个shuffledRDD创建出来一个新的stage(stage1)shuffleRDD会去触发shuffle read操作，从上游stage的task所在节点，拉取过来相同的key进行进一步的聚合

对shuffledRDD中的数据执行一个map类的操作，主要是对每个partition中的数据，都进行一个映射和聚合，这里主要是将每个key对应的数据都聚合到一个iterator集合中

reduceByKey算子

内部原理和groupByKey 的异同之处，

1. 不同之处：reduceByKey，多了一个rdd,MapPartitionsRDD,存在于stage0的，主要代表了进行 本地数据归约之后的rdd,所以要网络传输的数据量，磁盘io会减少，性能更高

2. 相同之处：后面进行shuffle read和聚合的过程基本和groupByKey类似。都是ShuffleRDD，去做shuffle read.然后聚合，聚合后的数据就是最终的rdd.

distinct算子

1. 首先，自己先map给每个值打上一个v2，变成一个tuple,得到tupleRDD,然后对其进行reduceByKey，仅仅返回一个key,这时去重已经完成了，然后将值还原为单值

cogroup算子

其实在很多情况下，我们很少使用cogroup算子，但是cogroup算子是其他很多算子的基础，比如join

发表评论取消回复

表情：

评论列表（有 0 条评论，263人围观）

还没有评论，来说两句吧...

相关阅读

相关【深度学习】Transformer及其变种

简介近年来NLP领域最让人印象深刻的成果，无疑是以谷歌提出的Bert为代表的预训练模型了。它们不断地刷新记录（无论是任务指标上，还是算力需求上），在很多任务上已经能超越

怼烎@/ 2024年02月17日 09:48/ 0 赞/ 64 阅读

相关【深度学习】Transformer简介

> 近年来，Transformer模型在自然语言处理（NLP）领域中横扫千军，以BERT、GPT为代表的模型屡屡屠榜，目前已经成为了该领域的标准模型。同时，在计算机视觉等领域中

本是古典何须时尚/ 2024年02月17日 09:23/ 0 赞/ 58 阅读

相关 vector深度剖析

一、vector特点 vector对象是动态存储的，从这一点看有点像链表，可以动态的增加或减少元素。我们也知道链表中是有指针变量，专门用于存储上一个和下一个元素的地址。正是因

冷不防/ 2024年01月11日 06:58/ 0 赞/ 81 阅读

相关【深度学习 | Transformer】Transformers 教程：pipeline一键预测

文章目录一、前言二、Computer vision 2.1 Image classification 2.2 Object de

た入场券/ 2023年09月27日 19:12/ 0 赞/ 150 阅读

相关 Kafka深度剖析

Kafka简介 Kafka概述： Kafka由 linked-in 开源。 kafka-高产出的分布式消息系统(A high-throughput distri

分手后的思念是犯贱/ 2022年11月14日 10:07/ 0 赞/ 237 阅读

相关 Kafka深度剖析

![96bffeb68e070e27cd6ea214f82b432c.png][] 来源：http://r6d.cn/bdjdi Kafka简介 Kafka概述：

落日映苍穹つ/ 2022年11月13日 12:27/ 0 赞/ 254 阅读

相关深度剖析ConcurrentHashMap

在阅读Spring IOC源码的时候，发现了里面的map是ConcurrentHashMap。有些疑问，我们平时都使用HashMap和HashTable，我们也知道，HashM

梦里梦外;/ 2022年07月14日 04:59/ 0 赞/ 218 阅读

相关深度强化学习剖析

深度强化学习剖析深度强化学习是深度学习与强化学习的结合，具体来说是结合了深度学习的结构和强化学习的思想： ![这里写图片描述][70] 也可以说是将深度学习的感知能

我会带着你远行/ 2022年05月17日 13:36/ 0 赞/ 383 阅读

相关 task深度剖析

Executor接收到了LaunchTask的请求（TaskRunner运行）会做一些准备操作，比如说，反序列话Task(发送过来的时候是序列话的)，然后通过网络拉取需要的

川长思鸟来/ 2022年05月16日 05:52/ 0 赞/ 205 阅读

相关 transformation 深度剖析

union算子 1. 新的rdd，会将就得俩个rdd的partition，原封不动的给挪过来 2. 新的rdd的partition的数量，就是旧的俩个rdd的partiti

╰+哭是因爲堅強的太久メ/ 2022年05月15日 02:04/ 0 赞/ 264 阅读