Spark中RDD的transformation和action

谁践踏了优雅 2022-03-26 15:44 222阅读 0赞

**一：transformation和action的区别**

1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD

2，action是得到一个值，或者一个结果（直接将RDDcache到内存中）

所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。

**二：transformation操作**

map(func):对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD,这个返回的数据集是分布式的数据集

filter(func): 对调用filter的RDD数据集中的每个元素都使用func，然后返回一个包含使func为true的元素构成的RDD

flatMap(func):和map差不多，但是flatMap生成的是多个结果

groupByKey(numTasks):返回(K,Seq\[V\])，也就是hadoop中reduce函数接受的key-valuelist

reduceByKey(func,\[numTasks\]):就是用一个给定的reducefunc再作用在groupByKey产生的(K,Seq\[V\]),比如求和，求平均数

sortByKey(\[ascending\],\[numTasks\]):按照key来进行排序，是升序还是降序，ascending是boolean类型

join(otherDataset,\[numTasks\]):当有两个KV的dataset(K,V)和(K,W)，返回的是(K,(V,W))的dataset,numTasks为并发的任务数

cogroup(otherDataset,\[numTasks\]):当有两个KV的dataset(K,V)和(K,W)，返回的是(K,Seq\[V\],Seq\[W\])的dataset,numTasks为并发的任务数

**三：action操作**

reduce(func)：说白了就是聚集，但是传入的函数是两个参数输入返回一个值，这个函数必须是满足交换律和结合律的

collect()：一般在filter或者足够小的结果的时候，再用collect封装返回一个数组

count():返回的是dataset中的element的个数

first():返回的是dataset中的第一个元素

take(n):返回前n个elements，这个士driverprogram返回的

saveAsTextFile（path）：把dataset写到一个textfile中，或者hdfs，或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中

countByKey()：返回的是key对应的个数的一个map，作用于一个RDD

foreach(func):对dataset中的每个元素都使用func

对于这些操作的实例代码请参考我的GitHub网址，在这上面有详细的代码展示：

链接地址为：[https://github.com/li-zhang-yu/spark-learn/tree/master][https_github.com_li-zhang-yu_spark-learn_tree_master]

[https_github.com_li-zhang-yu_spark-learn_tree_master]: https://github.com/li-zhang-yu/spark-learn/tree/master

发表评论取消回复

表情：

评论列表（有 0 条评论，222人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark中的Transformations和Actions介绍

RDD提供了两种类型的操作：`transformation`和`action` 1. 所有的`transformation`都是采用的懒策略，如果只是将`transfo

深藏阁楼爱情的钟/ 2023年06月10日 03:29/ 0 赞/ 133 阅读

相关 RDD操作：Transformation与Action

Spark对RDD的操作可以整体分为两类: `Transformation`和`Action` 这里的Transformation可以翻译为转换，表示是针对RDD中数据的转换

àì夳堔傛蜴生んèń/ 2022年09月06日 10:10/ 0 赞/ 184 阅读

相关 Spark中action和transformation算子

RDD是不可变型的，并且针对RDD的每个操作都将创建一个新的RDD。可以在RDD上执行两种类型的操作，即：action和transformation 1、transform

悠悠/ 2022年09月02日 04:10/ 0 赞/ 204 阅读

相关 Spark:Transformation和Action

Transformation操作： map(func) 对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD，新RDD的组成元素是输入

落日映苍穹つ/ 2022年08月08日 06:10/ 0 赞/ 167 阅读

相关 spark的RDD中的action(执行)和transformation(转换)两种操作中常见函数介绍

spark的RDD中的action(执行)和transformation(转换)两种操作中常使用的函数 (1) 弹性分布式数据集（RDD） Spark是以

╰+哭是因爲堅強的太久メ/ 2022年06月06日 12:19/ 0 赞/ 212 阅读

相关 Spark核心编程创建RDD及transformation和action详解和案例

创建RDD 进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD

刺骨的言语ヽ痛彻心扉/ 2022年05月25日 09:44/ 0 赞/ 200 阅读

相关 spark transformation 和action

transformation 常见操作 ![这里写图片描述][70] ![这里写图片描述][70 1] action 常见操作 ![这里写图片描述][70 2]

系统管理员/ 2022年05月24日 06:37/ 0 赞/ 216 阅读

相关 spark transformation和action操作

spark中的transformation是lazy特性的，比如我们的wordCount操作，在促发action（foreach）操作前，我们前边的算子是不会实际操作执行的，整

小咪咪/ 2022年05月16日 04:59/ 0 赞/ 189 阅读

相关 Spark中RDD的transformation和action

一：transformation和action的区别 1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RD

谁践踏了优雅/ 2022年03月26日 15:44/ 0 赞/ 223 阅读

相关 Spark Core (一) 什么是RDD的Transformation和Action以及Dependency（转载）

1. Spark的RDD RDD(Resilient Distributed Datasets),弹性分布式数据集，是对分布式数据集的一种抽象。 RDD所具备5个主要特

约定不等于承诺〃/ 2021年10月01日 04:22/ 0 赞/ 223 阅读