Spark之CASE...WHEN...THEN...的两种实现方式

﹏ヽ暗。殇╰゛Y 2022-06-06 06:05 138阅读 0赞

在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。  
一种是将dataframe看成数据库中的表，即使用createOrReplaceTempView（）函数，之后利用数据库的CASE…WHTN…THEN进行操作。另一种方法是，利用pyspark.sql.functions的when().otherwise()函数。实例代码如下：

#载入包
    from pyspark.sql import SparkSession
    from pyspark import SparkConf, SparkContext
    import pyspark.sql.functions as F
    #spark初始化
    conf = SparkConf()
    APPNAME = 'spark_temporal_test'
    conf.set("spark.app.name", APPNAME)
    spark = SparkSession.builder.config(conf=conf).getOrCreate()
    #创建dataframe
    df = spark.createDataFrame([[1,'A'],[2,'B'],[3,'C'],[4,'C'],[5,'B'],[6,'A'],[7,'D'],\
                                [8,'A'],[9,'B'],[10,'C'],[11,'C'],[12,'B'],[13,'A'],[14,'D'],\
                                [15,'A'],[16,'B'],[17,'C'],[18,'C'],[19,'B'],[20,'']],['id','split'])
    df = df.withColumn('rand', F.rand(1))
    #CASE WHEN的实现1
    df = df.withColumn('mod_val_test1',F.when(df['rand'] <= 0.35,1).when(df['rand'] <= 0.7, 2).otherwise(3))
    #CASE WHEN的实现2
    df.createOrReplaceTempView("temp")
    df= spark.sql("""select *, case when rand <= %s then 1 when rand <= %s then 2 else 3 end as mod_val_test2 from temp"""%(0.35,0.7))
    #输出，查看结果
    print(df.show())

运行结果如下：  
![这里写图片描述][SouthEast]

--------------------

本次分享到此结束，欢迎大家交流与批评~~

[SouthEast]: /images/20220606/b5a3b07e0d16461aafe1e27f517903a3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark连接MongoDB的两种方式

一、准备机器操作系统：centos 6 机器：10.211.55.7 端口：27017 二、安装 1、下载MongoDB（64位） wget htt

拼搏现实的明天。/ 2023年11月11日 06:57/ 0 赞/ 152 阅读

相关 Spark基于Yarn提交任务两种方式

yarn-client提交任务方式 1. 客户端提交一个Application，在客户端启动一个Driver进程 2. Driver进程会向RS(ResourceM

ゝ一世哀愁。/ 2023年08月17日 15:18/ 0 赞/ 129 阅读

相关 Spark基于Standalone提交任务两种方式

Standalone-client模式： 1、client模式提交任务后，会在客户端启动Driver进程 2、Driver会向Master申请启动App

痛定思痛。/ 2023年08月17日 15:18/ 0 赞/ 125 阅读

相关 Spark 实现WordCount的11种方式

文章目录基础环境 1 groupBy 2 groupByKey 3 ReduceBy

柔情只为你懂/ 2022年12月15日 14:03/ 0 赞/ 123 阅读

相关 Spark Streaming 两种方式连接 Flume

Spark Streaming 通过 Push 和 Pull 两种方式对接 Flume 数据源。以 Spark Streaming 的角度来看，Push 方式属于推送（由 Fl

绝地灬酷狼/ 2022年12月05日 01:37/ 0 赞/ 179 阅读

相关 Spark之CASE...WHEN...THEN...的两种实现方式

在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。一种是将dataf

﹏ヽ暗。殇╰゛Y/ 2022年06月06日 06:05/ 0 赞/ 139 阅读

相关 spark连接hive的两种方式

在pom中添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven

迷南。/ 2022年04月08日 13:51/ 0 赞/ 463 阅读

相关 Spring系列之AOP实现的两种方式

AOP常用的实现方式有两种，一种是采用声明的方式来实现（基于XML），一种是采用注解的方式来实现（基于AspectJ）。首先复习下AOP中一些比较重要的概念： Joinp

忘是亡心i/ 2022年03月15日 09:12/ 0 赞/ 224 阅读

相关 Spark RDD转换成DataFrame的两种方式

Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种

阳光穿透心脏的1/2处/ 2022年01月11日 15:05/ 0 赞/ 368 阅读

相关栈的两种实现方式

栈有2种实现方式，分别是数组实现和链表实现。数组实现的栈称为顺序栈，在内存中是连续存放。顺序栈中存放元素的个数有限，因此入栈的时候要判断是否已满。顺序栈中各种方法的时...

小灰灰/ 2021年04月23日 16:20/ 0 赞/ 657 阅读