Spark 读写Hive分桶表

蔚落 2023-05-31 02:47 20阅读 0赞

I have a number of tables (with 100 million-ish rows) that are stored as external Hive tables using Parquet format. The Spark job needs to join several of them together, using a single column, with almost no filtering. The join column has unique values about 2/3X fewer than the number of rows.

I can see that there are shuffles happening by the join key; and I have been trying to utilize bucketing/partitioning to improve join performance. My thought is that if Spark can be made aware that each of these tables has been bucketed using the same column, it can load the dataframes and join them without shuffling. I have tried using Hive bucketing, but the shuffles don't go away. (From Spark's documentation it looks like Hive bucketing is not supported as of Spark 2.3.0 at least, which I found out later.) Can I use Spark's bucketing feature to do this? If yes, would I have to disable Hive support and just read the files directly? Or could I rewrite the tables once using Spark's bucketing scheme and still be able to read them as Hive tables?

EDIT: For writing out the Hive bucketed tables I was using something like:

customerDF
    .write
    .option("path", "/some/path")
    .mode("overwrite")
    .format("parquet")
    .bucketBy(200, "customer_key")
    .sortBy("customer_key")
    .saveAsTable("table_name")

giftDF.write
    .partitionBy("plat","date")
    .mode(SaveMode.Append)
    .bucketBy(20,"room_id")
    .parquet(path)

发表评论取消回复

表情：

评论列表（有 0 条评论，20人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive 分桶表及作用

Hive 分桶表一.概述分桶和分区的区别？如何创建分桶表？分桶表的作用？二. 补充：通用的 join

我就是我/ 2024年04月07日 14:40/ 0 赞/ 114 阅读

相关 Hive分桶

![8ac99b3f981552515224527077311ec3.jpeg][] 分桶的概述 ![12f338be3a93ca65c343f4301c4e942a.

向右看齐/ 2023年10月13日 14:34/ 0 赞/ 76 阅读

相关 HIve 创建分桶表

1 创建分桶表: 把一个大文件拆分小文件来处理分桶也是一种用于优化查询而设计的表类型。创建分桶表时，指定桶的个数和分桶的依据字段，Hive就可以自动将数据分桶存储。查询时只

偏执的太偏执、/ 2023年06月26日 08:18/ 0 赞/ 83 阅读

相关 Spark 读写Hive分桶表

I have a number of tables (with 100 million-ish rows) that are stored as external Hive t

蔚落/ 2023年05月31日 02:47/ 0 赞/ 21 阅读

相关 Hive-分区表，二级分区，动态分区，分桶表

分区表，二级分区，动态分区，分桶表文章目录分区表，二级分区，动态分区，分桶表分区表与分桶表的区别？分区表

太过爱你忘了你带给我的痛/ 2023年03月04日 12:29/ 0 赞/ 30 阅读

相关 Hive之分区表和分桶表

Hive之分区表和分桶表一、分区表 > 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把

╰+攻爆jí腚メ/ 2022年12月25日 00:47/ 0 赞/ 187 阅读

相关 Hive 分区表 & 分桶表

本文目录 1.分区表 Ⅰ.分区表基本操作 1.创建分区表语句 2.分区数据准备 3.装载

小灰灰/ 2022年10月16日 06:27/ 0 赞/ 321 阅读

相关 Hive-分区表与分桶表

分区表和分桶表分区表分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。 Hive 中的分区就是分目录,把一个大的数

红太狼/ 2022年09月06日 10:26/ 0 赞/ 296 阅读

相关 hive桶表

hive桶表 1 桶表的概念在hive中，数据库、表、分区都是对应到hdfs上的路径，当往表中上传数据的时候，数据会传到对应的路径下，形成新的文件，文件名的格式类

清疚/ 2022年06月12日 13:13/ 0 赞/ 270 阅读

相关 Hive分桶笔记

分桶表与其他表的区别：分桶表是从别的表查询的数据在insert到分桶表中；而其他表是load

我就是我/ 2022年01月14日 06:05/ 0 赞/ 302 阅读