Spark中action和transformation算子

悠悠 2022-09-02 04:10 204阅读 0赞

RDD是不可变型的，并且针对RDD的每个操作都将创建一个新的RDD。可以在RDD上执行两种类型的操作，即：action和transformation

### 1、transformation ###

transformation通过对现有RDD中的每个元素应用转换逻辑来生成新的RDD。一些转换函数可以对元素进行拆分、过滤或执行排序计算操作。  
多个transformation算子可按顺序操作；但在transformation阶段，并不会真正执行任务。  
*对于transformation算子，Spark会将其加入包含了计算的DAG中。并且只有在driver需要数据时，该DAG才会真正执行。这种陈伟懒惰计算*

transformation算子可以被分为以下四种类型：

#### 1.1、 通用transformation算子 ####

一些转换函数，可用于处理大部分通用性用户场景。常见的如聚集、过滤等。

*  map
 *  filter
 *  flatMap
 *  groupByKey
 *  sortByKey
 *  combineByKey

#### 1.2、数学统计transformation算子 ####

即进行一些统计功能的算子。

*  sampleByKey
 *  randomSpilt

#### 1.3、集合/关系型transformation算子 ####

用于完成对数据集进行连接的功能，或执行其他关系型代数函数。

*  cogroup
 *  join
 *  subtractByKey
 *  fullOuterJoin
 *  leftOuterJoin
 *  rightOutJoin

#### 1.4 、基于结构化数据的transformation算子 ####

用于操作RDD底层数据或RDD分区，通过这些函数，可以直接操作分区而不用接触RDD内部的数据或元素。通常来说，可根据集群的状态和数据大小以及具体的用户场景，来重新考虑分区从而实现性能提升。

*  partitionBy
 *  repartition
 *  zipwithIndex
 *  coalese

### 2、 action算子 ###

action算子会触发DAG(有向无环图)中到现在为止创建的所有transformation算子。他会将这些transformation算子物化，然后执行对应的代码块和函数。此时由DAG指定的操作都将会被触发。

#### 2.1 driver ####

dirver是action的其中一种算子，可以实现例如集合计数，按key计数等。此类action算子会在远程executor上执行某些操作，并将结果拉回到driver。  
*在大数据集上执行基于driver的action算子时，可能导致driver所在机器上的内存超载，从而导致应用运行失败，因此使用包含action算子的driver程序需要注意。*

#### 2.2 分布式action ####

分布式action在集群的所有节点执行。其例子为saveAsTextFile()。大部分的action算子都属于此类型。

发表评论取消回复

表情：

评论列表（有 0 条评论，204人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark中的Transformations和Actions介绍

RDD提供了两种类型的操作：`transformation`和`action` 1. 所有的`transformation`都是采用的懒策略，如果只是将`transfo

深藏阁楼爱情的钟/ 2023年06月10日 03:29/ 0 赞/ 133 阅读

相关 Spark Streaming之Transform算子详解

Transform算子解读： transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现， DStream API中所没有

Myth丶恋晨/ 2022年12月28日 12:52/ 0 赞/ 155 阅读

相关 Spark中action和transformation算子

RDD是不可变型的，并且针对RDD的每个操作都将创建一个新的RDD。可以在RDD上执行两种类型的操作，即：action和transformation 1、transform

悠悠/ 2022年09月02日 04:10/ 0 赞/ 205 阅读

相关 Spark:Transformation和Action

Transformation操作： map(func) 对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD，新RDD的组成元素是输入

落日映苍穹つ/ 2022年08月08日 06:10/ 0 赞/ 167 阅读

相关 spark transformation 和action

transformation 常见操作 ![这里写图片描述][70] ![这里写图片描述][70 1] action 常见操作 ![这里写图片描述][70 2]

系统管理员/ 2022年05月24日 06:37/ 0 赞/ 216 阅读

相关 spark transformation和action操作

spark中的transformation是lazy特性的，比如我们的wordCount操作，在促发action（foreach）操作前，我们前边的算子是不会实际操作执行的，整

小咪咪/ 2022年05月16日 04:59/ 0 赞/ 189 阅读

相关 Spark算子：Action之saveAsHadoopFile、saveAsHadoopDataset

1、saveAsHadoopFile： 1）def saveAsHadoopFile(path: String, keyClass: Class\[\_\], valueCl

水深无声/ 2022年05月11日 07:36/ 0 赞/ 381 阅读

相关 Spark中RDD的transformation和action

一：transformation和action的区别 1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RD

谁践踏了优雅/ 2022年03月26日 15:44/ 0 赞/ 223 阅读

相关图解Spark Transformation算子

0. 写在前面 Spark总共有两类算子，分别是Transformation算子和Action算子。Transformation算子变换不触发提交作业，而Action算子

布满荆棘的人生/ 2022年03月19日 03:35/ 0 赞/ 328 阅读

相关 Spark中的转换算子transformation和动作算子action

主要记录了Spark中转换算子transformation和动作算子action具体含义和使用方法。转换算子-transformation map(func)

柔情只为你懂/ 2021年12月22日 13:09/ 0 赞/ 347 阅读