Hive中索引，分区，分桶的对比

忘是亡心i 2022-05-24 09:22 178阅读 0赞

### 一、索引 ###

Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。

Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。

**为什么要创建索引？**

Hive的索引目的是提高Hive表指定列的查询速度。

没有索引时，类似'WHERE tab1.col1 = 0' 的查询，Hive会加载整张表或分区，然后处理所有的rows，  
但是如果在字段col1上面存在索引时，那么只会加载和处理文件的一部分。

与其他传统数据库一样，增加索引在提升查询速度时，会消耗额外资源去创建索引表和需要更多的磁盘空间存储索引。

**hive索引的原理**

hive索引的原理是建立索引表，索引表的基本包含几列：1. 源表的索引列；2. \_bucketname hdfs中文件地址 3. 索引列在hdfs文件中的偏移量。原理是通过记录索引列在HDFS中的偏移量，精准获取数据，避免全表扫描。

### 二、分区 ###

为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。

分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。

分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中每个分区对应着表很多的子目录，将所有的数据按照分区列放入到不同的子目录中去。

其实分区就像是一个索引树，将数据一层一层分到各个粒度（例如x年x月x日）

**为什么要分区？**

庞大的数据集可能需要耗费大量的时间去处理。在许多场景下，可以通过分区的方法减少每一次扫描总数据量，这种做法可以显著地改善性能。

数据会依照单个或多个列进行分区，通常按照**时间**、**地域**或者是商业维度进行分区。比如video表，分区的依据可以是电影的种类和评级，另外，按照拍摄时间划分可能会得到更一致的结果。为了达到性能表现的一致性，对不同列的划分应该让数据尽可能均匀分布。最好的情况下，分区的划分条件总是能够对应where语句的部分查询条件。

**Hive分区的原理**

Hive的分区使用HDFS的子目录功能实现。每一个子目录包含了分区对应的列名和每一列的值。但是由于HDFS并不支持大量的子目录，这也给分区的使用带来了限制。我们有必要对表中的分区数量进行预估，从而避免因为分区数量过大带来一系列问题。

**Hive查询通常使用分区的列作为查询条件**。这样的做法可以指定MapReduce任务在HDFS中指定的子目录下完成扫描的工作。使得 **HDFS的文件目录结构可以像索引一样高效利用**。

### 三、分桶（桶表） ###

桶是通过对指定列进行哈希计算来实现的，通过哈希值将一个列名下的数据切分为一组桶，并使每个桶对应于该列名下的一个存储文件。

**为什么要分桶？**

在分区数量过于庞大以至于可能导致文件系统崩溃时，我们就需要使用分桶来解决问题了。

分区中的数据可以被进一步拆分成桶，不同于分区对列直接进行拆分，桶往往使用列的哈希值对数据打散，并分发到各个不同的桶中从而完成数据的分桶过程。

注意，hive使用对分桶所用的值进行hash，并用hash结果除以桶的个数做取余运算的方式来分桶，保证了每个桶中都有数据，但每个桶中的数据条数不一定相等。  
哈希函数的选择依赖于桶操作所针对的列的数据类型。除了数据采样，桶操作也可以用来实现高效的Map端连接操作。记住，在数据量足够大的情况下，分桶比分区，更高的查询效率。

### 四、总结 ###

**索引和分区最大的区别**

就是索引不分割数据库，分区分割数据库。索引其实就是拿额外的存储空间换查询时间，但分区已经将整个大数据库按照分区列拆分成多个小数据库了。

**分区和分桶最大的区别**

就是分桶随机分割数据库，分区是非随机分割数据库。因为分桶是按照列的哈希函数进行分割的，相对比较平均；而分区是按照列的值来进行分割的，容易造成数据倾斜。

其次两者的另一个区别就是分桶是对应不同的文件（细粒度），分区是对应不同的文件夹（粗粒度）。  
注意：普通表（外部表、内部表）、分区表这三个都是对应HDFS上的目录，桶表对应是目录里的文件

发表评论取消回复

表情：

评论列表（有 0 条评论，178人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive 分桶表及作用

Hive 分桶表一.概述分桶和分区的区别？如何创建分桶表？分桶表的作用？二. 补充：通用的 join

我就是我/ 2024年04月07日 14:40/ 0 赞/ 40 阅读

相关 HIVE调优之分桶

分桶规则对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相同的在一个桶中分桶优点

缺乏、安全感/ 2023年08月17日 15:18/ 0 赞/ 80 阅读

相关 Hive分区和分桶的区别和优缺点

前言主要介绍：分区/Partitioning 和分桶/Bucketing的区别；如何创建分区表、分桶表；分区和分桶的优缺点对比。以Hive为例，其他数据

约定不等于承诺〃/ 2023年01月05日 12:42/ 0 赞/ 251 阅读

相关 Hive 数据表的分区和分桶

分区和桶是什么？先了解一下分区和桶这两种数据类型分区：在Hive中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中。比如wyp表有d

淩亂°似流年/ 2022年12月15日 03:31/ 0 赞/ 186 阅读

相关 Hive 分区表 & 分桶表

本文目录 1.分区表 Ⅰ.分区表基本操作 1.创建分区表语句 2.分区数据准备 3.装载

小灰灰/ 2022年10月16日 06:27/ 0 赞/ 237 阅读

相关 Hive(十九)--分桶

创建带分桶的表建表语句 CREATE TABLE user_info_bucketed(user_id BIGINT, firstname STRING,

痛定思痛。/ 2022年06月09日 05:21/ 0 赞/ 204 阅读

相关 Hive中索引，分区，分桶的对比

一、索引 Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。 Hive索引可以建立在表中的某些列上，以提升一些操作的

忘是亡心i/ 2022年05月24日 09:22/ 0 赞/ 179 阅读

相关深入理解 Hive 分区分桶（Inceptor）

> [大数据核心原理与实践专栏][Link 1] 为何分区分桶我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，

╰半夏微凉°/ 2022年05月13日 23:24/ 0 赞/ 298 阅读

相关 HIVE分区以及分桶的简单概念

1、Hive 分区表在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partit

Love The Way You Lie/ 2022年05月09日 13:40/ 0 赞/ 222 阅读

相关 Hive分桶笔记

分桶表与其他表的区别：分桶表是从别的表查询的数据在insert到分桶表中；而其他表是load

我就是我/ 2022年01月14日 06:05/ 0 赞/ 206 阅读