LSM树在HBase中的应用

系统管理员 2021-05-12 11:54 461阅读 0赞

### LSM树全称是基于日志结构的合并树（Log-Structured Merge-Tree）。No-SQL数据库一般采用LSM树作为数据结构，HBase也不例外。众所周知，RDBMS一般采用B+树作为索引的数据结构，如图1。RDBMS中的B+树一般是3层n路的平衡树。B+树的节点对应于磁盘数据块。因此对于RDBMS，数据更新操作需要5次磁盘操作（从B+树3次找到记录所在数据块，再加上一次读和一次写）。 ###

在RDBMS中，数据随机无序写在磁盘块中，如果没有B+树，读性能会很低。B+树对于数据读操作能很好地提高性能，但对于数据写，效率不高。对于大型分布式数据系统，B+树还无法与LSM树相抗衡。

![Center][]

图1 B+ 树

LSM树可以看成n层合并树。在HBase中，它把随机写转换成对memstore和hfile的连续写。图2展示了LSM树数据写的过程。

![Center 1][]

图2 LSM树

**数据写（插入，更新）**：数据首先顺序写如hlog (WAL), 然后写到MemStore, 在MemStore中，数据是一个2层B+树(图2中的C0树）。MemStore满了之后，数据会被刷到storefile (hFile)，在storefile中，数据是3层B+树（图2中的C1树），并针对顺序磁盘操作进行优化。

**数据读：**首先搜索MemStore,如果不在MemStore中，则到storefile中寻找。

**数据删除：**不会去删除磁盘上的数据，而是为数据添加一个删除标记。在随后的major compaction中，被删除的数据和删除标记才会真的被删除。

LSM数据更新只在内存中操作，没有磁盘访问，因此比B+树要快。对于数据读来说，如果读取的是最近访问过的数据，LSM树能减少磁盘访问，提高性能。

原文：http://www.cyanny.com/2014/03/13/hbase-architecture-analysis-part1-logical-architecture/

[Center]: /images/20210511/7b4a135e121a444c88dd8e71738139e1.png
[Center 1]: /images/20210511/7b4b51c9768b4a519450ad14364dd398.png

发表评论取消回复

表情：

评论列表（有 0 条评论，461人围观）

还没有评论，来说两句吧...

相关阅读

相关 LSM树的基本原理－学习笔记

一.什么是LSM树? LSM全称为"Log-Structured Merged-Tree"．后来被Google发表的`BigTable`论文发扬广大．LSM相对于B+树而言，

缺乏、安全感/ 2023年07月09日 04:23/ 0 赞/ 10 阅读

相关 ZooKeeper在HBase中的应用

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名

╰半夏微凉°/ 2023年01月07日 11:29/ 0 赞/ 299 阅读

相关 HBase的LSM树

HBase的LSM树讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎是哈希表的持久化实现，支持增、删、改以

- 日理万妓/ 2022年08月02日 01:53/ 0 赞/ 150 阅读

相关 ZooKeeper原理及其在Hadoop和HBase中的应用

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名

r囧r小猫/ 2022年06月13日 12:41/ 0 赞/ 200 阅读

相关 B树、B+树、LSM树以及其典型应用场景

前言动态查找树主要有：二叉查找树、平衡二叉树、红黑树、B树、B+树。前面三种是典型的二叉查找树，查找的时间复杂度是O(log2N)与树的深度有关系，那么降低树的深度也就

深藏阁楼爱情的钟/ 2022年06月07日 06:10/ 0 赞/ 228 阅读

相关 HBase LSM树存储引擎

核心思想是放弃部分读性能，提高写性能。 LSM Tree（Log-Structured Merge Tree）日志结构合并树，核心思路就是假设内存足够大，不需要每次有数据更新

左手的ㄟ右手/ 2022年06月03日 10:51/ 0 赞/ 305 阅读

相关 LSM树

关于LSM树 LSM树，即日志结构合并树(Log-Structured Merge-Tree)。其实它并不属于一个具体的数据结构，它更多是一种数据结构的设计思想。大多No

绝地灬酷狼/ 2021年12月24日 04:59/ 0 赞/ 258 阅读

相关【大数据】——Hbase中的LSM树

一、前言哈希存储引擎是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value

朴灿烈づ我的快乐病毒、/ 2021年12月13日 18:59/ 0 赞/ 266 阅读

相关 HBase的LSM树

讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的

忘是亡心i/ 2021年09月11日 04:18/ 0 赞/ 306 阅读

相关 LSM树在HBase中的应用

LSM树全称是基于日志结构的合并树（Log-Structured Merge-Tree）。No-SQL数据库一般采用LSM树作为数据结构，HBase也不例外。众所周知，RDB

系统管理员/ 2021年05月12日 11:54/ 0 赞/ 462 阅读