什么是HBase？它是怎样工作的？终于有人讲明白了

今天药忘吃喽~ 2022-12-13 04:22 213阅读 0赞

![format_png][]

**导读：**HBase是一个构建在HDFS之上的、分布式的、支持多版本的NoSQL数据库，它的出现补齐了大数据场景下快速查询数据能力的短板。它非常适用于对平台中的热数据进行存储并提供查询功能。

作者：朱凯

来源：大数据DT（ID：hzdashuju）

![format_png 1][]

**01 概述**

HBase的出现很好地弥补了大数据快速查询能力的空缺。让我们再次将时间拨回到2006年，那时Hadoop项目已经正式启动，开源社区已经拥有了HDFS和MapReduce。通过HDFS我们拥有了能够存储海量文件的分布式文件系统。通过MapReduce我们拥有了一种对海量数据进行批处理操作的途径。

**但是这还不够，我们在大数据领域还没有一款能够称为数据库的产品。**就在2006年年末，Google发表了著名的Bigtable论文。此后HBase便诞生了。

**HBase是一个构建在HDFS之上的、分布式的、支持多版本的NoSql数据库。**它也是Google BigTable的开源实现。HBase非常适合于对海量数据进行实时随机读写。HBase中的一张表能够支撑数十亿行和数百万列。

HBase从设计上来讲是一个由三类服务组成的Master/Slave架构服务。HBase Master进程负责处理Region分配、DDL（create、delete表）这类操。数据的读写由RegionServers进程负责处理。底层数据存储和集群协同管理则交由HDFS和Zookeeper进行管理，如图2-6所示。

![format_png 2][]

▲图2-6 HBase逻辑架构图

HBase的所有数据最终都以HDFS文件的形式进行存储，Region Server服务通常是伴随着HDFS的Datanode进行部署的，这样可以更好地利用数据本地性的优势。

HBase采用主从架构。其分布式协调是通过Zookeeper进行管理的，而数据的物理存储最终会以文件的形式存储到HDFS。

**02 数据模型**

HBase是一个NoSQL数据库，它通过一个四维数据模型定义数据，如图2-7所示。

*  **RowKey：**HBase中的每行数据都必须拥有一个唯一的行键，它类似于关系型数据库中的主键。
 *  **Column Family：**HBase中的每个列都归属于一个列簇，它类似于子表的概念。一个列簇对应一个MemStore对象。
 *  **Column：**HBase用列来定义数据属性字段，和关系型数据库中的表字段类似。
 *  **Version：**HBase中的数据是有版本概念的，每次新增或者修改数据都会产生一个新的版本。

![format_png 3][]

▲图2-7 HBase的四维数据模型

HBase的数据模型由行键、列簇、列名和版本号组成。

**03 Regions**

HBase的表以RowKey的起止区间为范围被水平切分成了多个Region。每个Region中包含了RowKey从开始到结束区间的所有行。这些Region被分配到的集群节点称为RegionServers，RegionServers负责提供HBase中数据的读写功能。一个RegionServer可以容纳大约1000个Region，如图2-8所示。

![format_png 4][]

▲图2-8 HBase Regions的逻辑结构

一个Region Server包含了多个Region，每个Region包含了一部分数据。

**04 HBase Master**

HBase Master主要负责Region的分配和一些DDL操作，如图2-9所示。HBase Master在启动、失败恢复或者负载均衡的时候为region指定所属的RegionServer，或者是创建、删除和更新表的这类操作。

![format_png 5][]

▲图2-9 HBase Master的逻辑结构

HMaster作为主控节点并不直接存储数据，它只是做一些统筹分配和DDL操作。

**05 Region Server**

之前我们提到过，为了利用HDFS数据本地性的能力，通常会将RegionServer一同安装在HDFS的Datanode所在的服务器之上，如图2-10所示。RegionServer自身包含这么几个部分：

*  **WAL：**预写日志是HDFS上的一个文件，它是一种容灾策略。HBase为了提高写入性能，在写入数据的时候并不急于将数据保存到磁盘，而是将数据直接保留在内存中。但是内存中的数据并不是一直可靠的，所以HBase采用了预写日志的方案。当有新数据写入的时候，RegionServer先通过预写日志的方式记录数据，同时将数据放入内存对象MemStore中。当日志写完之后就立刻返回客户端告知写入成功。
 *  **BlockCache：**数据块缓存是一种读缓存，客户端读取数据的时候会先从这个缓存中查找有没相应的数据。块数据缓存采用LRU失效策略。
 *  **MemStore：**MemStore是一种写缓存，HBase为了提升写入性能不会直接将数据刷入磁盘而是先使用MemStore内存对象存储数据。再通过一个守护线程定期将MemStore刷入磁盘。在一个region中每个列簇都拥有一个MemStore。
 *  **Hfile：**Hfile是HBase最终数据存储的载体，它本质上是HDFS上的一个文件。

![format_png 6][]

▲图2-10 Region Server的逻辑结构

Region Server是HBase中真正存储数据的地方，它主要由WAL、BlockCache、MemStore和HFile组成。

**06 MemStore与HFile**

为了提高数据写入时的吞吐量，**HBase并不会实时的将写入的数据直接刷入磁盘，而是先将数据放入内存中进行保管**，MemStroe对象就是负责此项任务的逻辑对象，它将数据以Key-Values的形式保存在内存中。

将数据直接放入内存读写虽然很快，但这样做并不安全，因为一旦服务器重启数据便会全部丢失。所以HBase在此处设计了一种预写日志结合MemStroe的方式来解决这个问题。

当客户端向HBase发起一次写入请求的时候，HBase首先会通过RegionServer将数据写入预写日志，之后再用MemStroe对象将数据保存到内存之中。由于有了预写日志，当服务出现故障重启之后，Region可以通过日志将数据复原到MemStroe。

HBase的这种写入策略极大地提升了其数据写入的吞吐量，因为一旦写入日志的动作完成了就算写入数据成功。同时预写日志是对磁盘文件的顺序写入操作，其写入速度也十分的迅速。

但是，毕竟内存空间是有限的，MemStroe不可能没有限制的存储数据。所以当一个MemStroe存储的数据达到某个阈值的时候，HBase会将这个MemStroe的数据通过HFile的形式写入磁盘并清空该MemStroe。

**HFile是HBase最终存储数据的载体，它本质上对应的是HDFS的文件。**因为HFile是以经过排序的Key-Values对象的形式进行存储的，所以它的在写入文件的时候只需要采用顺序写，写入速度非常快。HFile的逻辑架构如图2-11所示。

**07 使用场景**

HBase由于它强大的存储和查询性能使得它在大数据领域成为一个多面手。

**1. 平台存储**

由于HBase构建在HDFS之上，这意味着它能像HDFS一样实现存储的线性扩容。同时它又能提供毫秒级的查询性能。所以它可以作为其他大数据组件的低层存储支持。比如Apache Kylin就是使用HBase作为其数据索引的存储载体。

![format_png 7][]

▲图2-11 Region Server的逻辑结构

**2. 应用存储/缓存**

由于HBase出色的写入性能，它非常适合大规模数据的实时写入场景。比如在流计算、用户行为数据存储等场景就非常适合用HBase进行存储。

关于作者：朱凯，资深大数据专家和架构师，拥有10年IT从业经验，精通大数据、Java、Node.JS等技术。对大数据领域的主流技术与解决方案有深入研究，擅长分布式系统的架构设计与整合。曾主导过多款大数据平台级产品的规划设计与研发工作，一线实战经验丰富。

本文摘编自《企业级大数据平台构建：架构与实现》，经出版方授权发布。

延伸阅读《企业级大数据平台构建：架构与实现》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**资深大数据专家/一线架构师20000小时实际工作经验总结。以横向视角出发，拉通Hadoop体系技术栈，手把手教你快速构建一个真实可用、安全可靠的企业级大数据平台。

![音符][format_png 8]

**划重点????**

**干货直达????**

*  [人工智能7大关键技术，终于有人讲明白了][7]
 *  [6种数据分析实用方法，终于有人讲明白了][6]
 *  [阿里动物园新成员来了，10本书带你读懂这个新物种][10]
 *  [爱因斯坦是人类历史上最伟大的科学家吗？][Link 1]

**更多精彩????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都完成了这个神操作

**????**

![format_png 9][]

![format_png 10][]

[format_png]: /images/20221123/37305d1cf4e64dbfaa3084354f051a04.png
[format_png 1]: /images/20221123/383de4e4f61b4de1b8893f440d1b6853.png
[format_png 2]: /images/20221123/8718930eba584b829ff9b5911fc5f32a.png
[format_png 3]: /images/20221123/2b09ef6cd6384e158757afe80175deb5.png
[format_png 4]: /images/20221123/d580ef5f9e97458382ebeb5bca776943.png
[format_png 5]: /images/20221123/55e73d1e1dde433e9293ccba00ea4deb.png
[format_png 6]: /images/20221123/87eb2952305f4e9593f332533677713d.png
[format_png 7]: /images/20221123/f2f937a1333d44268082fb97f9300f0d.png
[format_png 8]: /images/20221123/4328821a92b34771a28ecd64abf01b24.png
[7]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc839dbfb412f0b6be103365ebc6ecb641dd5f36173121e974e20ce47e7f3980624afdff0&idx=2&mid=2247516629&scene=21&sn=eec714fe5c9ccfb77941c994f2c8c4bb#wechat_redirect
[6]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc83fdbfb4129bff7a5caf64700794ca4e2fad5810433e693cb5064c568941da83878179a&idx=2&mid=2247516627&scene=21&sn=7e4400068046b9baac2cd6cd6088cc2c#wechat_redirect
[10]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc83cdbfb412a2167113500ca566bffd1725b5669fe9eacc254fd558e3421330d0b523ab4&idx=2&mid=2247516624&scene=21&sn=5ab55e203cda14c6740b622fc382aae9#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc873dbfb41651c3142b00cb1901b546da61cdbc95471a519d8e1e791b4bc2d75504f537f&idx=2&mid=2247516575&scene=21&sn=cf23fa0d96fbb7787c26c3e61d38d8f5#wechat_redirect
[format_png 9]: /images/20221123/1822c9e9a0f04cb68cef6abee995e277.png
[format_png 10]: /images/20221123/1a80486111b84ecc87d35d3b1ee9ee7d.png