Spark之CASE...WHEN...THEN...的两种实现方式

﹏ヽ暗。殇╰゛Y 2022-06-06 06:05 170阅读 0赞

在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。  
一种是将dataframe看成数据库中的表，即使用createOrReplaceTempView（）函数，之后利用数据库的CASE…WHTN…THEN进行操作。另一种方法是，利用pyspark.sql.functions的when().otherwise()函数。实例代码如下：

#载入包
    from pyspark.sql import SparkSession
    from pyspark import SparkConf, SparkContext
    import pyspark.sql.functions as F
    #spark初始化
    conf = SparkConf()
    APPNAME = 'spark_temporal_test'
    conf.set("spark.app.name", APPNAME)
    spark = SparkSession.builder.config(conf=conf).getOrCreate()
    #创建dataframe
    df = spark.createDataFrame([[1,'A'],[2,'B'],[3,'C'],[4,'C'],[5,'B'],[6,'A'],[7,'D'],\
                                [8,'A'],[9,'B'],[10,'C'],[11,'C'],[12,'B'],[13,'A'],[14,'D'],\
                                [15,'A'],[16,'B'],[17,'C'],[18,'C'],[19,'B'],[20,'']],['id','split'])
    df = df.withColumn('rand', F.rand(1))
    #CASE WHEN的实现1
    df = df.withColumn('mod_val_test1',F.when(df['rand'] <= 0.35,1).when(df['rand'] <= 0.7, 2).otherwise(3))
    #CASE WHEN的实现2
    df.createOrReplaceTempView("temp")
    df= spark.sql("""select *, case when rand <= %s then 1 when rand <= %s then 2 else 3 end as mod_val_test2 from temp"""%(0.35,0.7))
    #输出，查看结果
    print(df.show())

运行结果如下：  
![这里写图片描述][SouthEast]

--------------------

本次分享到此结束，欢迎大家交流与批评~~

[SouthEast]: /images/20220606/b5a3b07e0d16461aafe1e27f517903a3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，170人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark连接MongoDB的两种方式

一、准备机器操作系统：centos 6 机器：10.211.55.7 端口：27017 二、安装 1、下载MongoDB（64位） wget htt

拼搏现实的明天。/ 2023年11月11日 06:57/ 0 赞/ 218 阅读

相关 TabHost的两种实现方式

TabHost在App中用的还是比较多的，因为最近使用TabHost的时候出现了些小插曲，特写此博文；一来是为了下次使用到时候能够印象深刻，二来是为了帮助和我一样出

港控/mmm°/ 2023年10月17日 22:02/ 0 赞/ 19 阅读

相关栈的两种实现方式

一、数组实现栈 1. 首先需要定义一个数组来储存栈中的数据，并定义一个变量来记录数组中储存元素的个数，编写一个构造方法来构造一个长度为十得数组。 //先顶i有

青旅半醒/ 2023年06月24日 15:24/ 0 赞/ 29 阅读

相关 Spark 实现WordCount的11种方式

文章目录基础环境 1 groupBy 2 groupByKey 3 ReduceBy

柔情只为你懂/ 2022年12月15日 14:03/ 0 赞/ 166 阅读

相关 Spark Streaming 两种方式连接 Flume

Spark Streaming 通过 Push 和 Pull 两种方式对接 Flume 数据源。以 Spark Streaming 的角度来看，Push 方式属于推送（由 Fl

绝地灬酷狼/ 2022年12月05日 01:37/ 0 赞/ 231 阅读

相关 Spark之CASE...WHEN...THEN...的两种实现方式

在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。一种是将dataf

﹏ヽ暗。殇╰゛Y/ 2022年06月06日 06:05/ 0 赞/ 171 阅读

相关 spark连接hive的两种方式

在pom中添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven

迷南。/ 2022年04月08日 13:51/ 0 赞/ 535 阅读

相关 Spring系列之AOP实现的两种方式

AOP常用的实现方式有两种，一种是采用声明的方式来实现（基于XML），一种是采用注解的方式来实现（基于AspectJ）。首先复习下AOP中一些比较重要的概念： Joinp

忘是亡心i/ 2022年03月15日 09:12/ 0 赞/ 298 阅读

相关 Spark RDD转换成DataFrame的两种方式

Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种

阳光穿透心脏的1/2处/ 2022年01月11日 15:05/ 0 赞/ 427 阅读

相关栈的两种实现方式

栈有2种实现方式，分别是数组实现和链表实现。数组实现的栈称为顺序栈，在内存中是连续存放。顺序栈中存放元素的个数有限，因此入栈的时候要判断是否已满。顺序栈中各种方法的时...

小灰灰/ 2021年04月23日 16:20/ 0 赞/ 732 阅读