Hbase中Region/Store/StoreFile/Hfile之间的关系

谁借莪１个温暖的怀抱￠ 2022-02-03 20:15 290阅读 0赞

### Region/Store/StoreFile/Hfile之间的关系 ###

![在这里插入图片描述][1d1de3ed846b2e0f45f6e88b19d86c0a.png]

#### 1. Region ####

`table`在行的方向上分隔为多个`Region`。`Region`是HBase中分布式存储和负载均衡的最小单元，即不同的`region`可以分别在不同的`Region Server`上，但同一个`Region`是不会拆分到多个server上。

`Region`按大小分隔，表中每一行只能属于一个`region`。随着数据不断插入表，`region`不断增大，当`region`的某个列族达到一个阈值（`默认256M`）时就会分成两个新的`region`。

#### 2. Store ####

每一个`region`有一个或多个`store`组成，至少是一个`store`，hbase会把一起访问的数据放在一个`store`里面，即为每个`ColumnFamily`建一个`store`（**即有几个`ColumnFamily`，也就有几个Store**）。一个`Store`由一个`memStore`和`0`或`多个StoreFile`组成。

> HBase以store的大小来判断是否需要切分region。

#### 3. MemStore ####

`memStore` 是放在内存里的。保存修改的数据即`keyValues`。当`memStore`的大小达到一个阀值（`默认64MB`）时，`memStore`会被`flush`到文件，即生成一个快照。目前hbase 会有一个线程来负责`memStore`的`flush`操作。

#### 4. StoreFile ####

`memStore`内存中的数据写到文件后就是`StoreFile`（**即`memstore`的每次`flush`操作都会生成一个新的`StoreFile`**），`StoreFile`底层是以`HFile`的格式保存。

#### 5. HFile ####

`HFile`是HBase中`KeyValue`数据的存储格式，是hadoop的二进制格式文件。一个StoreFile对应着一个HFile。而HFile是存储在HDFS之上的。HFile文件格式是基于Google Bigtable中的SSTable，如下图所示：  
![在这里插入图片描述][3df4b815aec817114e19c5ac48feb007.png]

首先HFile文件是不定长的，长度固定的只有其中的两块：Trailer和FileInfo。Trailer中又指针指向其他数据块的起始点，FileInfo记录了文件的一些meta信息。

[1d1de3ed846b2e0f45f6e88b19d86c0a.png]: /images/20220204/7c6638d6ed40427f9948b822175ffb72.png
[3df4b815aec817114e19c5ac48feb007.png]: /images/20220204/5a48ba904fe240b2a8a35159bb6ab3a4.png