在scala中使用spark sql解决特定需求

快来打我* 2022-06-12 09:37 245阅读 0赞

spark sql一个强大之处就是能够嵌在编程语言内执行，比如在java或者scala，Python里面，正是因为这样的特性，使得spark sql开发变得更加有趣。 比如我们想做一个简单的交互式查询，我们可以直接在linux终端直接执行spark sql查询hive来分析，也可以开发一个jar来完成特定的任务。

有些时候单纯的使用sql开发可能功能有限，比如我有下面的一个功能：

一张大的hive表里面有许多带有日期的数据，现在一个需求是能够把不同天的数据分离导入到不同天的es索引里面，方便按时间检索，提高检索性能。

有几种方式可以完成：

（1）写一个MapReduce程序，遍历这个表每一条数据，插入到es里面。

（2）使用Hive按日期分区，生成n个日期分区表，再借助es-hadoop框架，通过shell封装将n个表的数据批量导入到es里面不同的索引里面

（3）使用Scala+Spark SQL读取Hive表按日期分组，然后借助es-hadoop框架把每一组的数据导入es里面。

优缺点：

方式一：开发量最大，导入性能最差

方式二：开发量次之，导入性能一般

方式三：开发量小，性能最优

总结分析：

方式一：

直接使用MapReduce读取表数据，然后每一行add一次，插入性能非常低效，有人会说可以批使用list批量插入，但是不要忘记我们现在是每一天的数据插入到不同的索引里面，一个list是不能放不同日期的数据，所以如果想要批量还要维护一个不同日期的list，并放在Map里面，最后提交完清空集合，整体复杂度增加而且维护调试都比较麻烦。

方式二：

直接使用Hive，提前将数据构建成多个分区表，然后借助官方的es-hadoop框架，直接将每一个分区表的数据，导入到对应的索引里面，这种方式直接使用大批量的方式导入，性能比方式一好，但由于Hive生成多个分区表以及导入时还要读取每个分区表的数据涉及的落地IO次数比较多，所以性能一般

方式三：

在scala中使用spark sql操作hive数据，然后分组后取出每一组的数据集合，转化成DataFrame最后借助es-hadoop框架，将每组数据直接批量插入到es里面，注意此种方式对内存依赖比较大，因为最终需要将数据拉回spark的driver端进行插入操作。

关于方式一和方式二就不再细说了，有兴趣的朋友可以自己尝试下，下篇文章会把基于第三种方式实现的例子分享出来，可以直接在spark的local模式下模拟运行。

发表评论取消回复

表情：

评论列表（有 0 条评论，245人围观）

还没有评论，来说两句吧...

相关阅读

相关通过IDEA编写Spark SQL, 以编程方式执行Spark SQL查询, 使用Scala语言操作Spark SQL 25

1. 使用Scala语言操作Spark SQL, 将RDD转为DataFrame 前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDE

冷不防/ 2023年06月04日 13:58/ 0 赞/ 44 阅读

相关 spark scala 检查array list是否含有某个特定元素

比如我有个复杂的数组map猫咪： cat = (('age'->4),('name'-> '旺财')) 我想知道猫咪数组是否记录了猫咪性别，我如果直接取cat('sex')

小灰灰/ 2022年12月23日 09:36/ 0 赞/ 178 阅读

相关在spark 中实现 scala 和 python 相互调用

文章大纲 python 调用scala 原理样例 scala 调用 python 使用jython sp

谁借莪１个温暖的怀抱￠/ 2022年09月13日 04:22/ 0 赞/ 186 阅读

相关 spark中rdd保存到mysql,Spark Streaming在Scala中使用foreachRDD（）将数据保存到MySQL

![Image 1][] Spark Streaming Saving data to MySQL with foreachRDD() in Scala Please, c

朴灿烈づ我的快乐病毒、/ 2022年08月30日 11:17/ 0 赞/ 216 阅读

相关 spark向量矩阵的使用（scala）

向量和矩阵都是做机器学习的基础，下面来介绍下使用 spark的底层的向量和矩阵是基于Breeze的,下面主要介绍下Breeze的使用，下面直接给代码，代码上有注释需要

川长思鸟来/ 2022年06月17日 00:53/ 0 赞/ 265 阅读

相关在scala中使用spark sql解决特定需求（2）

接着上篇文章，本篇来看下如何在scala中完成使用spark sql将不同日期的数据导入不同的es索引里面。首下看下用到的依赖包有哪些： elasticsearc

小鱼儿/ 2022年06月12日 10:37/ 0 赞/ 120 阅读

相关在scala中使用spark sql解决特定需求

spark sql一个强大之处就是能够嵌在编程语言内执行，比如在java或者scala，Python里面，正是因为这样的特性，使得spark sql开发变得更加有趣。比如我们

快来打我*/ 2022年06月12日 09:37/ 0 赞/ 246 阅读

相关 Spark SQL 在SparkStreaming中的运用

文章内容参考地址： [http://spark.apache.org/docs/2.3.0/streaming-programming-guide.html\datafra

冷不防/ 2022年05月12日 03:50/ 0 赞/ 234 阅读

相关在scala中使用spark sql解决特定需求（2）

接着上篇文章，本篇来看下如何在scala中完成使用spark sql将不同日期的数据导入不同的es索引里面。首下看下用到的依赖包有哪些：

骑猪看日落/ 2022年04月06日 09:54/ 0 赞/ 251 阅读

相关在scala中使用spark sql解决特定需求

spark sql一个强大之处就是能够嵌在编程语言内执行，比如在java或者scala，Python里面，正是因为这样的特性，使得spark sql开发变得更加有趣。比如我们

浅浅的花香味﹌/ 2022年04月06日 09:51/ 0 赞/ 236 阅读