spark union java_【Spark Java API】Transformation(3)—union、intersection

àì夳堔傛蜴生んèń 2022-11-10 05:40 94阅读 0赞

union

官方文档描述：

Return the union of this RDD and another one.

Any identical elements will appear multiple times(use\`.distinct()\` to eliminate them).

函数原型：

def union(other: JavaRDD\[T\]): JavaRDD\[T\]

union() 将两个 RDD 简单合并在一起，不改变 partition 里面的数据。RangeDependency 实际上也是 1:1，只是为了访问 union() 后的 RDD 中的 partition 方便，保留了原始 RDD 的 range 边界。

实例：

List data = Arrays.asList(1,2,4,3,5,6,7);

JavaRDD javaRDD = javaSparkContext.parallelize(data);

JavaRDD unionRDD = javaRDD.union(javaRDD);

System.out.println("unionRDD~~~~~~~~~~~~~~~~~~~~~~" + unionRDD.collect());

intersection

官方文档描述：

Return the intersection of this RDD and another one.The output will not contain any duplicate elements, even if the input RDDs did.Note that this method performs a shuffle internally.

函数原型：

def intersection(other: JavaRDD\[T\]): JavaRDD\[T\]

源码分析：

def intersection(other: RDD\[T\]): RDD\[T\] = withScope \{

this.map(v => (v, null)).cogroup(other.map(v => (v, null)))

.filter \{ case (\_, (leftGroup, rightGroup)) => leftGroup.nonEmpty && rightGroup.nonEmpty \}

.keys

\}

先使用 map() 将 RDD\[T\] 转变成 RDD\[(T, null)\]，这里的 T 只要不是 Array 等集合类型即可。接着，进行 a.cogroup(b)(后面会详细介绍cogroup)。之后再使用 filter() 过滤掉 \[iter(groupA()), iter(groupB())\] 中 groupA 或 groupB 为空的 records，得到 FilteredRDD。最后，使用 keys() 只保留 key 即可，得到 MappedRDD。

实例：

List data = Arrays.asList(1, 2, 4, 3, 5, 6, 7);

JavaRDD javaRDD = javaSparkContext.parallelize(data);

JavaRDD intersectionRDD = javaRDD.intersection(javaRDD);

System.out.println(intersectionRDD.collect());

发表评论取消回复

表情：

评论列表（有 0 条评论，94人围观）

还没有评论，来说两句吧...

相关阅读

相关 UNION

SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集。请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必

清疚/ 2022年12月20日 05:46/ 0 赞/ 104 阅读

相关 spark union java_【Spark Java API】Transformation(3)—union、intersection

union 官方文档描述： Return the union of this RDD and another one. Any identical elements wi

àì夳堔傛蜴生んèń/ 2022年11月10日 05:40/ 0 赞/ 95 阅读

相关 union and union all

假设我们有一个表Student，包括以下字段与数据： \[c-sharp\] view plaincopy drop table student;

墨蓝/ 2022年09月17日 07:29/ 0 赞/ 129 阅读

相关 Java-Spark系列3-RDD介绍

文章目录一.RDD概念 1.1 RDD的特点 1.2 RDD的核心属性二.RDD概述 2.1 准备工作

Love The Way You Lie/ 2022年09月12日 10:55/ 0 赞/ 127 阅读

相关 2-2、spark的union和join操作演示

spark的union和join操作演示 union简介：通常如果我们需要将两个select语句的结果作为一个整体显示出来，我们就需要用到union或者union

￡神魔★判官ぃ/ 2022年08月18日 11:48/ 0 赞/ 178 阅读

相关 UNION与UNION ALL区别

UNION用的比较多，union all是直接连接，取到得是所有值，记录可能有重复 union 是取唯一值，记录没有重复 1、UNION 的语法如下：

水深无声/ 2022年07月12日 11:44/ 0 赞/ 194 阅读

相关 Spark学习（3）-Spark SQL（1）

目录： 1. Spark SQL发展历程 2. Spark SQL性能 3. DateFrame介绍 4. Spark RDD SQL 简单使用一.Spa

Dear 丶/ 2022年03月14日 08:44/ 0 赞/ 177 阅读

相关 Spark算子：RDD基本转换transform操作–union、intersection、subtract

Welcome to ____ __ / __/__ ___ _____/ /__ _

╰+哭是因爲堅強的太久メ/ 2021年09月25日 02:00/ 0 赞/ 330 阅读

相关 Flink,union DataSet数据集，union实例，java版本

数据集union，不去重 package union; import org.apache.flink.api.java.DataSet;

心已赠人/ 2021年09月24日 10:52/ 0 赞/ 331 阅读

相关 Flink,union双流，union实例，java版本

union双流后会生成一个新的流，没有去重 package union; import org.apache.flink.api.java.tupl

傷城~/ 2021年09月24日 10:50/ 0 赞/ 282 阅读