spark中常见的RDD的转化操作和行动操作算子都有哪些？实用~

冷不防 2022-05-26 04:41 169阅读 0赞

RDD的常见的转化操作和行动操作算子，其实需要记一记，记住之后，编程的时候就不用在纠结得到的结果是一个RDD，还是一个运算结果。

**转化操作：**

# 对一个\{1,2,3,4,4\}的RDD转化操作 #

map():将函数应用到RDD中的每一个元素，返回值构成新的RDD;

flatmap():将函数应用于RDD中的每一个元素，并将返回的迭代器中的所有内容构成新的RDD，常用于切分单词；

filter():根据条件过滤，返回新的RDD;

distinct():去重

sample(withReplacement,fraction,[seed])：对RDD采样，以及是否替换。
    withReplacement : Boolean , True表示进行替换采样，PoissonSampler取样器,False表示进行非替换采样,BernoulliSampler的取样器。
    fraction : Double, 在0~1之间的一个浮点值，表示要采样的记录在全体记录中的比例。
    seed ：随机种子。

# 对数据分别为\{1,2,3\}和\{2,3,4\}的两个RDD进行的转化操作 #

union():生成一个包含两个RDD中的所有元素的RDD

intersection（）：求两个RDD共同元素的RDD

subtract():移除一个RDD中的内容，例如移除 训练数据，rdd.subtract(other)

cartesian():与另一个 RDD的笛卡尔积；rdd.cartesian(other)

# 对键值对RDD集合的转化操作\{（1,2），（3,4），（3,5,）\} #

reduceByKey(func):合并具有相同键的值；
    rdd.reduceByKey((x,y)=>x+y) { (1,2),(3,9)}

groupByKey():对具有相同键的值进行分组。 rdd.groupByKey()={(1,[2]),(3,[4,5])}

combineByKey(creatCombiner,mergeValue,mergeCombiner,partitioner)
    使用不同的返回类型合并具有相同键的值。详见：https://blog.csdn.net/jiangpeng59/article/details/52538254

mapValues(func):对pairRDD中的每个值应用

flatMapValues(func):对pairRDD中的每个值应用一个返回迭代器的函数，然后对返回的每个元素都生成一个对应原键的键值对记录，通常用于符号化。 rdd.flatMapValues(x=>(x to 5))

keys():返回一个只包含键的RDD

values():返回一个只包含值的RDD

sortBKey():返回一个根据键排序的RDD

# 对两个pair RDD的转化操作 #

subtractByKey():删除RDD中键与otherRDD中键相同的元素
    rdd.subtractByKey(other）

join():对两个RDD进行内连接

rightOuterJoin():对两个RDD进行连接操作，确保第一个RDD的的键必须存在（右外链接）rdd.rightOuterJoin(other)

leftOuterJoin():与上相似

cogroup():将两个RDD中拥有相同键的数据分组。

**行动操作**  
![这里写图片描述][Image 1]  
![这里写图片描述][Image 1]

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark RDD-行动算子

2.4 Action **行动算子：触发运算，在 Executor 执行，如果想直接在 Driver 端看到结果可以使用 collect 和 foreach 都可以将...

小鱼儿/ 2024年04月20日 09:10/ 0 赞/ 101 阅读

相关 Spark RDD-转化算子

**2.RDD** **编程** 2.1 **编程模型** 　　在 Spark 中，RDD 被表示为对象，通过对象上的方法调用来对 RDD 进行转换。经过 ...

迷南。/ 2024年04月20日 09:09/ 0 赞/ 109 阅读

相关 Spark操作——行动操作(二)

集合标量行动操作存储行动操作存储行动操作 saveAsTextFile(path: String): Unit saveAsTextFile

ゞ浴缸里的玫瑰/ 2023年02月12日 12:24/ 0 赞/ 30 阅读

相关 Spark操作——行动操作(一)

集合标量行动操作存储行动操作集合标量行动操作 first(): T 返回RDD中的第一个元素，不进行排序 count(): Long 返回R

青旅半醒/ 2023年02月11日 13:28/ 0 赞/ 32 阅读

相关 Spark-核心编程（四）RDD行动算子

RDD行动算子转换算子是不会触发作业的执行的，只是定义作业需要怎么做，行动算子将会使作业（job）真正的执行。其底层job将会执行上下文对象的runJob方法，底层代码

﹏ヽ暗。殇╰゛Y/ 2022年09月02日 15:58/ 0 赞/ 241 阅读

相关 RDD基本算子操作

1.1. Transformations 1.1.1. 创建RDD 1、数组创建RDD 从普通数组创建RDD，里面包含了1到9这9个数字，它们分别在3个分区中

古城微笑少年丶/ 2022年05月28日 05:57/ 0 赞/ 245 阅读

相关 spark中常见的RDD的转化操作和行动操作算子都有哪些？实用~

RDD的常见的转化操作和行动操作算子，其实需要记一记，记住之后，编程的时候就不用在纠结得到的结果是一个RDD，还是一个运算结果。转化操作：对一个\{1,2,3,4,4

冷不防/ 2022年05月26日 04:41/ 0 赞/ 170 阅读

相关 Spark RDD常见的转化操作和行动操作

Spark RDD常见的转化操作和行动操作 [IDEA 创建scala spark的Mvn项目][IDEA _scala spark_Mvn]：[https://blog

深碍√TFBOYSˉ_/ 2022年04月12日 03:15/ 0 赞/ 271 阅读

相关 Spark RDD操作之Map系算子

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] 本篇博客将介绍Spark RDD的Map系算子的基本用法。 1、ma

落日映苍穹つ/ 2022年01月16日 21:29/ 0 赞/ 300 阅读

相关 Spark算子：RDD行动Action操作–aggregate、fold、lookup；reduce/fold/aggregate区别

关键字：Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup aggregate def aggregate\

清疚/ 2021年09月25日 01:26/ 0 赞/ 339 阅读