spark学习7.1：对RDD进行排序取前几

淩亂°似流年 2022-10-10 01:45 98阅读 0赞

# 原始数据： #

两个文件  
![20210625170947173.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70][]

根据第三列，进行倒叙排序，取最大前5个

代码：

import org.apache.spark.\{SparkConf, SparkContext\}

object Top \{  
  def main(args: Array\[String\]): Unit = \{

//creat conf  
    val conf = new SparkConf().setAppName("TopApplicationTest").setMaster("local")  
    //create sc  
    val sc = new SparkContext(conf)

//read  
    val lines = sc.textFile("file:///D:/doc/spark/input/dir1/\*",1)

//clean  
    val cleanLines = lines.filter(s => s.trim().nonEmpty && s.split(",").length == 4)

//split and to special array  
    val sortedRDD = cleanLines.map(s => s.split(",")).map(s => (s(2).toInt, (s(0), s(1), s(3)))).sortByKey(ascending =  
      false)

//top 5  
    val top = sortedRDD.take(5)  
    top.foreach(println(\_))

\}  
\}

ps: 在对键值对进行 排序前一定要 将key 进行 toInt 不然排序会失效

[20210625170947173.png]: /images/20221005/3bb8a423560d423da4b9b5d492ca86f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70]: /images/20221005/a8f5b6ebbf8947e3a8c5a17b33dec4b9.png

发表评论取消回复

表情：

评论列表（有 0 条评论，98人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 创建RDD的几种方式

什么是RDD > RDD （ Resilient Distributed Dataset ）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中

Bertha 。/ 2023年10月02日 19:03/ 0 赞/ 74 阅读

相关 spark学习7：RDD编程

1.目录 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0

待我称王封你为后i/ 2023年01月22日 14:52/ 0 赞/ 6 阅读

相关 Java 对Map进行排序，并取出前几个值

1、创建一个测试用的Map Map<String, Integer> map = new HashMap<>(); map.put("张三",

深藏阁楼爱情的钟/ 2022年12月28日 14:21/ 0 赞/ 439 阅读

相关 spark学习7.1：对RDD进行排序取前几

原始数据：两个文件 ![20210625170947173.png][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shad

淩亂°似流年/ 2022年10月10日 01:45/ 0 赞/ 99 阅读

相关 Spark学习—RDD编程

RDD:弹性分布式数据集(ResilientDistributed Dataset),是Spark对数据的核心抽象。RDD其实是分布式的元素集合。当Spark对数据操

╰半橙微兮°/ 2022年06月16日 07:18/ 0 赞/ 238 阅读

相关 Spark RDD

转载：http://www.infoq.com/cn/articles/spark-core-rdd/ 与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，

我不是女神ヾ/ 2022年06月14日 00:42/ 0 赞/ 296 阅读

相关 spark RDD

RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD

落日映苍穹つ/ 2022年06月03日 10:16/ 0 赞/ 351 阅读

相关 Spark核心编程之排序及取前几数字

基于排序机制的wordcount程序. java package cn.spark.study.core; import java.uti

怼烎@/ 2022年05月25日 10:29/ 0 赞/ 111 阅读

相关 numpy对向量进行排序，输出最大的前几位

a=np.array([1,12,13,14,5,6,7,8]) argsort_a =np.argsort(a) print("a

痛定思痛。/ 2022年04月10日 01:26/ 0 赞/ 140 阅读

相关 Spark学习之RDD

RDD概述什么是RDD > RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不

野性酷女/ 2021年10月29日 08:20/ 0 赞/ 444 阅读