Spark排序方式集锦

灰太狼 2024-04-20 09:41 25阅读 0赞

###  一.简介 ###

spark中的排序一般可以使用orderBy或sort算子，可以结合负号、ASC/DESC和col进行简单排序、二次排序等情况

### 二.代码实现 ###

1 package big.data.analyse.sparksql
     2 
     3 import org.apache.log4j.{Level, Logger}
     4 import org.apache.spark.sql.SparkSession
     5 
     6 /**
     7   * 排序
     8   * Created by zhen on 2019/8/14.
     9   */
    10 object DateFrameSort {
    11   Logger.getLogger("org").setLevel(Level.WARN)
    12   def main(args: Array[String]): Unit = {
    13     val spark = SparkSession.builder().appName("DateFrameSort").master("local[2]").getOrCreate()
    14 
    15     val data = Array((7, 2, 3), (1, 8, 6), (1, 8, 3), (4, 5, 9))
    16     val df = spark.createDataFrame(data).toDF("col1", "col2", "col3")
    17     println("===原始数据===")
    18     df.show()
    19     println("===按照col1,col2进行默认排序===")
    20     // 默认的升序，会按照列的先后顺序进行升序排序
    21     df.orderBy("col2", "col3").show()
    22     println("===按照-df(col1)进行升序排序===")
    23     /**
    24       * 此排序方式需要提前创建好df，不能在创建df时使用
    25       */
    26     df.orderBy(-df("col2")).show
    27     println("===按照df(col1).asc,df(col2).desc进行二次排序===")
    28     /**
    29       * 二次排序
    30       * -号和desc/asc不能在一块使用
    31       */
    32     df.orderBy(df("col1").asc,df("col2").desc).show
    33     println("===asc/desc排序方法===")
    34 
    35     /**
    36       * 使用desc等算子需要预先导入
    37       */
    38     import org.apache.spark.sql.functions._
    39 
    40     df.orderBy(asc("col2")).show
    41     spark.createDataFrame(data).toDF("col1", "col2", "col3").orderBy(desc("col2")).show
    42     df.orderBy(asc("col2"), desc("col3")).show
    43     /**
    44       * sort函数和orderBy用法类似
    45       */
    46     df.sort(desc("col2")).show
    47     println("===col组合asc/desc排序方法===")
    48     df.orderBy(-col("col2")).show
    49     df.orderBy(col("col2").desc).show
    50     /**
    51       * 第二列无效
    52       * -号和desc/asc不能在一个orderBy使用
    53       */
    54     df.orderBy(col("col2").desc, -col("col3")).show
    55     spark.stop()
    56   }
    57 }

### 三.结果 ###

![1343081-20190814192936468-1457318428.png][]

![1343081-20190814192956844-1793254980.png][]

![1343081-20190814193029927-704170743.png][]

![1343081-20190814193047382-318152006.png][]

![1343081-20190814193106198-1066716969.png][]

![1343081-20190814193120793-968947826.png][]

转载于:https://www.cnblogs.com/yszd/p/11354227.html

[1343081-20190814192936468-1457318428.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/0e2d6656406241a7acbbb09f0f672d55.png
[1343081-20190814192956844-1793254980.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/f1b2da13d0c740509f7aa5b1770b1344.png
[1343081-20190814193029927-704170743.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/3520b4175a424de897a0e142a8fe238b.png
[1343081-20190814193047382-318152006.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/5e2edbcdbe38469e90ce742eaf3b3f92.png
[1343081-20190814193106198-1066716969.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/3abd5677911c470e9ea12cdc93a72549.png
[1343081-20190814193120793-968947826.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9c12bc3b3bbd4f079bd5e785325a0bea.png