spark sql 之 collect_set collect_list 后WrappedArray 取值

傷城~ 2023-02-13 00:22 4阅读 0赞

示例：demo数据

<table> 
 <thead> 
  <tr> 
   <th>userId</th> 
   <th>place</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1001</td> 
   <td>北京</td> 
  </tr> 
  <tr> 
   <td>1001</td> 
   <td>上海</td> 
  </tr> 
 </tbody> 
</table>

spark建立的虚拟表 userPlaceView。根据用户ID进行分组，用collect\_set(place)获取place信息。  
spark sql 函数查询 [地址][Link 1]

Dataset<Row> resultDataSet = SqlContext.sql("select userId, collect_set(place) as place from userPlaceView group by userId");
    resultDataSet.javaRDD().map((Function<Row, UserPlaces>) f->{  //获取分组聚合后的place信息
    	//WrappedArray 开始
    	WrappedArray wrappedArray = (WrappedArray)f.get(1);
    	for(int i=0; i<wrappedArray.size(); i++){ 
             WrappedArray data = (WrappedArray)wrappedArray.apply(i);
             for(int z=0; z<data.size(); z++){ 
                 String place = (String)data.apply(z);
                 System.out.println(place);
             }
         }
         ......
    });

[Link 1]: http://spark.apache.org/docs/latest/api/sql/index.html#collect_list

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark SQL 之 Join 实现

Join作为SQL中一个重要语法特性，几乎所有稍微复杂一点的数据分析场景都离不开Join，如今Spark SQL(Dataset/DataFrame)已经成为Spark应用程序

水深无声/ 2023年10月10日 10:13/ 0 赞/ 57 阅读

相关 Spark SQL之DataSet

DataSet是分布式的数据集，是spark1.6才被添加进来的。比DataFrame出现的晚。DataSet支持lambda表达式，而且DataFrame的API在DataS

分手后的思念是犯贱/ 2023年07月18日 14:16/ 0 赞/ 39 阅读

相关 Spark SQL 之SparkSession

SparkSession是Spark2.x中推荐使用的Spark SQL的入口点。代码如下： package cn.ac.iie.spark

野性酷女/ 2023年07月18日 11:23/ 0 赞/ 37 阅读

相关 Spark SQL 1.x之SQL Context使用

创建Scala项目使用Idea创建项目： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_tex

Dear 丶/ 2023年05月28日 12:56/ 0 赞/ 134 阅读

相关 Spark SQL之DataFrame概述

产生背景 DataFrame不是Spark SQL提出的，而是早期在R、Pandas语言就已经有了的。 Spark RDD API vs MapReduce API

向右看齐/ 2023年05月28日 06:41/ 0 赞/ 41 阅读

相关 spark sql 之 collect_set collect_list 后WrappedArray 取值

示例：demo数据 <table> <thead> <tr> <th>userId</th> <th>place</th> </tr> <

傷城~/ 2023年02月13日 00:22/ 0 赞/ 5 阅读

相关 spark sql 上个月_spark sql

Spark Sql //\\\\\\\\\\\\\\ Spark SQL \\\\\\\\\\\\\\\\\\\ 1、Spark SQL 是Spark套件中的一个模块，他将

古城微笑少年丶/ 2023年01月09日 14:16/ 0 赞/ 277 阅读

相关 spark sql 之 limit

limit执行的不是action操作。 show/head一类的是action操作。 -------------------- Spark limit改进在执行一

清疚/ 2022年12月13日 04:18/ 0 赞/ 406 阅读

相关 Spark SQL（三）之视图与执行SQL

一、视图与sql执行 `SparkSession`能够以编程方式运行SQL查询并返回结果`Dataset<Row>` Dataset<Row> df = spa

怼烎@/ 2022年11月14日 14:40/ 0 赞/ 349 阅读

相关 Spark SQL（一）之简介

Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多

柔光的暖阳◎/ 2022年11月13日 05:25/ 0 赞/ 183 阅读