spark的aggregateByKey简单用法

喜欢ヅ旅行 2022-06-11 00:07 127阅读 0赞

问题：求key只出现一次的数据， 如果用groupByKey或reduceByKey很容易就做出来了，现在用aggregateByKey求解一下。

输入数据：

asdfgh	546346
    retr	4567
    asdfgh	7685678
    ghj	2345
    asd	234
    hadoop	435
    ghj	23454
    asdfgh	54675
    asdfgh	546759878
    asd	234
    asdfgh	5467598782

代码：

package scala
    
    import org.apache.spark.rdd.RDD
    import org.apache.spark.{SparkConf, SparkContext}
    
    import scala.collection.mutable
    import scala.collection.JavaConverters._
    
    object AaidTest {
      def main(args: Array[String]): Unit = {
        val conf=new SparkConf().setAppName("AaidTest").setMaster("local")
        val sc=new SparkContext(conf)
    
        sc.textFile("D://sparkmllibData/sparkml/mllibdata/arrregation.txt")
          .map(line=>{
            (line.split("\t")(0),line.split("\t")(1).toLong)
          }).aggregateByKey(0L)(seqOp,seqOp)
            .filter(line=> line._2!=-1L)
          .collect().foreach(println)
    
      }
    
      def seqOp(U : (Long), v : (Long)) : Long = {
        println("seqOp")
        println("U="+U)
        println("v="+v)
        var count:Int=0
        if(U!=0L){
          count+=1
        }
        if(v!=0L){
          count+=1
        }
        if(count>1){
          -1L
        }else{
          v
        }
      }
    }

输出结果：

seqOp
    U=0
    v=546346
    seqOp
    U=0
    v=4567
    seqOp
    U=546346
    v=7685678
    seqOp
    U=0
    v=2345
    seqOp
    U=0
    v=234
    seqOp
    U=0
    v=435
    seqOp
    U=2345
    v=23454
    seqOp
    U=1
    v=54675
    seqOp
    U=1
    v=546759878
    seqOp
    U=234
    v=234
    seqOp
    U=1
    v=5467598782

(hadoop,435)
    (retr,4567)

很明显，达到最后的要求了。

发表评论取消回复

表情：

评论列表（有 0 条评论，127人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark groupByKey reduceByKey aggregateByKey 区别博客

有图，比较详细：[https://blog.csdn.net/sperospera/article/details/89164261][https_blog.csdn.net_

╰半夏微凉°/ 2023年01月13日 01:34/ 0 赞/ 122 阅读

相关 NVelocity的简单用法

1.下载最新版的Nvelocity的dll文件并且引用 2.新建一个类，用来调用Nvelocity： ![Center][] 3.初始化模板的设置 ![Cente

ゞ浴缸里的玫瑰/ 2022年09月18日 14:50/ 0 赞/ 228 阅读

相关 PopupWindow的简单用法

首先创建弹出框的布局 layout\_popupwindow <?xml version="1.0" encoding="utf-8"?> <LinearL

客官°小女子只卖身不卖艺/ 2022年07月15日 10:44/ 0 赞/ 262 阅读

相关 spark的aggregateByKey简单用法

问题：求key只出现一次的数据，如果用groupByKey或reduceByKey很容易就做出来了，现在用aggregateByKey求解一下。输入数

喜欢ヅ旅行/ 2022年06月11日 00:07/ 0 赞/ 128 阅读

相关 HttpURLConnection的简单用法

　使用HttpURLConnection来访问网络，首先需要获取它的实例，它需要new 一个URL对象，例如URL url = new URL("http://www.baid

淩亂°似流年/ 2022年05月19日 04:21/ 0 赞/ 243 阅读

相关 JQuery简单的用法

$(".subkey").click(function()\{ $(this).toggleClass("down"); $(this).parent(

比眉伴天荒/ 2022年05月09日 01:38/ 0 赞/ 386 阅读

相关 spark中算子详解：aggregateByKey

[https://blog.csdn.net/jiaotongqu6470/article/details/78457966][https_blog.csdn.net_jiao

ゝ一世哀愁。/ 2022年03月30日 03:22/ 0 赞/ 394 阅读

相关 Spark中的checkpoint用法

怎么建立checkpoint 首先需要用sparkContext设置hdfs的checkpoint的目录(如果不设置使用checkpoint会抛出异常:throw new

阳光穿透心脏的1/2处/ 2022年03月22日 13:46/ 0 赞/ 291 阅读

相关 c# @ $ $@的简单用法

public void Test() { //1.字符串可直接换行 //特别注意:结果包含了隐藏

深碍√TFBOYSˉ_/ 2022年03月01日 18:50/ 0 赞/ 347 阅读

相关 Spark操作 aggregate、aggregateByKey 实例

1. aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函

向右看齐/ 2021年09月25日 01:12/ 0 赞/ 284 阅读