Rdd算子之aggregate

迷南。 2022-02-05 13:23 344阅读 0赞

aggregate是聚合的意思

private static void arrgue1() {
            SparkConf conf = new SparkConf().setAppName("hzy").setMaster("local");
            JavaSparkContext sparkContext = new JavaSparkContext(conf);
            
            //生成rdd,并且有三个分区
            JavaRDD<Integer> rdd1 = sparkContext.parallelize(Arrays.asList(1, 2, 3, 4, 5, 6, 7), 3);
            
            /**
            *aggregate = 2 + （2 + 分区1）+（2+分区2）+（2+分区3）
            第一个方法为每个分区内部的操作
            第二个方法为每个分区互相操作
            **/
            Integer aggregate = rdd1.aggregate(2, new Function2<Integer, Integer, Integer>() {
                @Override
                public Integer call(Integer integer, Integer integer2) throws Exception {
                    return integer+integer2;
                }
            }, new Function2<Integer, Integer, Integer>() {
                @Override
                public Integer call(Integer integer, Integer integer2) throws Exception {
                    return integer+integer2;
                }
            });
            System.out.println(aggregate);
        }

发表评论取消回复

表情：

评论列表（有 0 条评论，344人围观）

还没有评论，来说两句吧...

相关阅读

相关【收藏】Spark之RDD的mapPartitions算子

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIz

妖狐艹你老母/ 2023年10月04日 11:52/ 0 赞/ 84 阅读

相关 Spark RDD 算子

目录 Basics Passing Functions to Spark 闭包 Example Local vs. cluster modes Printing

偏执的太偏执、/ 2023年06月11日 03:12/ 0 赞/ 69 阅读

相关 Spark之RDD动作算子（Action）大全

前面已经给大家讲过RDD原理以及常用的转换算子，今天就再给大家说说RDD的动作算子有哪些，以便大家更能全面的理解和掌握。对于动作算子来说，本质上动作算子是通过SparkCo

缺乏、安全感/ 2022年11月25日 00:59/ 0 赞/ 248 阅读

相关 Spark之RDD转换算子（transformation）大全

前面已经给大家讲过RDD原理，今天就给大家说说RDD的转换算子有哪些，以便大家理解。对于转换操作，RDD的所有转换都不会直接计算结果，仅记录作用于RDD上的操作，当遇到动

た入场券/ 2022年11月25日 00:40/ 0 赞/ 359 阅读

相关 RDD算子

RDD算子算子分类 1、transformation（转换）根据已经存在的rdd转换生成一个新的rdd, 它是延迟加载，它不会立即执行例如:

系统管理员/ 2022年10月06日 06:58/ 0 赞/ 246 阅读

相关 Rdd算子之reduce

/ 分三个分区：分区1：1、2 分区2：3、4 分区3：5、6、7 每个分区内部进行相加（1+2）+（3+4）

小鱼儿/ 2022年02月05日 13:25/ 0 赞/ 319 阅读

相关 Rdd算子之aggregate

aggregate是聚合的意思 private static void arrgue1() { SparkConf conf = new Sp

迷南。/ 2022年02月05日 13:23/ 0 赞/ 345 阅读

相关 Spark RDD操作之Map系算子

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] 本篇博客将介绍Spark RDD的Map系算子的基本用法。 1、ma

落日映苍穹つ/ 2022年01月16日 21:29/ 0 赞/ 324 阅读

相关 Spark、RDD、算子

Spark、RDD、算子 spark特点：速度快(基于内存处理数据，有相无关图)，语言广一、Spark核心-RDD（弹性分布式数据） Rdd是逻辑概念，part

川长思鸟来/ 2021年12月03日 10:21/ 0 赞/ 535 阅读

相关 Spark算子：RDD行动Action操作–aggregate、fold、lookup；reduce/fold/aggregate区别

关键字：Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup aggregate def aggregate\

清疚/ 2021年09月25日 01:26/ 0 赞/ 354 阅读