Region/Store/StoreFile/Hfile之间的关系

拼搏现实的明天。 2022-09-09 00:19 188阅读 0赞

![1d1de3ed846b2e0f45f6e88b19d86c0a.png][]

1. Region

table在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的Region Server上，但同一个Region是不会拆分到多个server上。

Region按大小分隔，表中每一行只能属于一个region。随着数据不断插入表，region不断增大，当region的某个列族达到一个阈值（默认256M）时就会分成两个新的region。

2. Store

每一个region有一个或多个store组成，至少是一个store，hbase会把一起访问的数据放在一个store里面，即为每个ColumnFamily建一个store（即有几个ColumnFamily，也就有几个Store）。一个Store由一个memStore和0或多个StoreFile组成。

HBase以store的大小来判断是否需要切分region。

3. MemStore

memStore 是放在内存里的。保存修改的数据即keyValues。当memStore的大小达到一个阀值（默认64MB）时，memStore会被flush到文件，即生成一个快照。目前hbase 会有一个线程来负责memStore的flush操作。

4. StoreFile

memStore内存中的数据写到文件后就是StoreFile（即memstore的每次flush操作都会生成一个新的StoreFile），StoreFile底层是以HFile的格式保存。

5. HFile

HFile是HBase中KeyValue数据的存储格式，是hadoop的二进制格式文件。一个StoreFile对应着一个HFile。而HFile是存储在HDFS之上的。HFile文件格式是基于Google Bigtable中的SSTable，如下图所示：

![3df4b815aec817114e19c5ac48feb007.png][]

首先HFile文件是不定长的，长度固定的只有其中的两块：Trailer和FileInfo。Trailer中又指针指向其他数据块的起始点，FileInfo记录了文件的一些meta信息。

[1d1de3ed846b2e0f45f6e88b19d86c0a.png]: /images/20220829/b2e4aa374a0547ea9ed4bc8390f125a2.png
[3df4b815aec817114e19c5ac48feb007.png]: /images/20220829/9ea5689299fd45668474e216a499cd64.png

发表评论取消回复

表情：

评论列表（有 0 条评论，188人围观）

还没有评论，来说两句吧...

相关阅读

相关对象之间的关系

目录 1. 依赖 2. 关联 3. 聚合 4. 组合 5. 继承 6. 实现 Java的对象/类之间有四种关系：依赖、关联、组合、聚

男娘i/ 2023年09月25日 15:08/ 0 赞/ 104 阅读

相关对象之间的关系

一、设计原则 1、如果想表达创建一个对象或者对一个对象进行修改，那么方法（函数）应该返回一个对象。 2、如果想表达依赖某个对象，则将其作为方法参数传递进来读取或修改，或者在

柔情只为你懂/ 2023年06月01日 11:05/ 0 赞/ 28 阅读

相关 Java类之间的关系

在Java中，有些类之间会存在关系。在类之间，最常见的关系是 \- 依赖（”uses-a”） \- 聚合（”has-a”） \- 继承（”is-a”）依赖

秒速五厘米/ 2022年07月26日 00:25/ 0 赞/ 261 阅读

相关【Spring】Bean之间的关系

Bean之间的关系 -------------------- Bean之间的关系继承依赖 --------------

Love The Way You Lie/ 2022年06月16日 00:21/ 0 赞/ 312 阅读

相关数据库键之间的关系

超键，候选键，主键，外键都属于键。超键：在关系中能唯一标识元素属性的集称为关系模式的超键。候选键：再删除属性，就不是键。主键：从候选键中选择一个。（不加说明，键就是

左手的ㄟ右手/ 2022年05月15日 12:46/ 0 赞/ 318 阅读

相关 Java类之间的关系

一、继承关系继承指的是一个类（称为子类、子接口）继承另外的一个类（称为父类、父接口）的功能，并可以增加它自己的新功能的能力。在Java中继承关系通过关键字ex

Love The Way You Lie/ 2022年03月18日 02:46/ 0 赞/ 406 阅读

相关表之间的关系

表之间的关系定义一张部门员工表 emp id name gander dep_name dep_de

旧城等待，/ 2021年10月30日 08:06/ 0 赞/ 587 阅读

相关类之间的关系

类之间常见的关系有：依赖关系，泛化关系，关联关系，实现关系注意：下面几个图是java书里面截取出来的，可能和UML画的有区别一：依赖关系

Dear 丶/ 2021年09月30日 01:50/ 0 赞/ 582 阅读

相关学习：类之间的关系

类之间的关系 1．种类： Generalization(泛化)，Dependency(依赖关系)、Association(关联关系)、Aggregation(聚合关系)、Co

快来打我*/ 2021年09月29日 08:28/ 0 赞/ 515 阅读

相关 mongo 文档之间的关系

文档间的关系通过内嵌文档来设置一对一(one to one) 一对多/多对一(one to many / many to

爱被打了一巴掌/ 2021年07月24日 12:24/ 0 赞/ 454 阅读