HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能

￡神魔★判官ぃ 2022-05-20 01:48 93阅读 0赞

## 1. HDFS的文件append功能 ##

早期版本的HDFS不支持任何的文件更新操作，一旦一个文件创建、写完数据、并关闭之后，这个文件就再也不能被改变了。为什么这么设计？是为了与MapReduce完美配合，MapReduce的工作模式是接受一系列输入文件，经过map和reduce处理，直接产生一系列输出文件，而不是在原来的输入文件上做原位更新。为什么这么做？因为直接输出新文件比原位更新一个旧文件高效的多。

在HDFS上，一个文件一直到它的close方法成功执行之后才会存在，才能被其他的client端所看见。如果某个client端在写文件时或者在close文件时失败了，那么这个文件就不会存在，就好像这个文件从来没写过，唯一恢复这个文件的方法，就是从头到尾重新再写一遍。

Hadoop1.x版本一直都不支持文件的append功能，一直到Hadoop 2.x版本，append 功能才被添加到Hadoop Core中，允许向HDFS文件中追加写数据。为此，HDFS Core 也作出了一些重大的改变，以支持这一操作。append功能添加到HDFS经历了一番曲折和一段很长的时间（具体可以参考[http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/][http_blog.cloudera.com_blog_2009_07_file-appends-in-hdfs]和 [https://issues.apache.org/jira/browse/HADOOP-8230][https_issues.apache.org_jira_browse_HADOOP-8230]）。

## 2. HBase 如何完成数据更新和删除操作 ##

HBase依赖于HDFS来存储数据。HBase作为数据库，必须提供对HBase表中数据的增删改查，而HDFS的文件只支持append操作、不支持删除和更新操作，那么HBase如何依赖HDFS完成更新以及删除操作呢？？。

**2.1 更新操作**

HBase表中的数据当存放到HDFS中时，在HDFS看来，已经可以简单的理解成key-value对，其中key可以理解成是由：rowkey+column family+column qualifier+timestamp+type 组成。HBase 对新增的数据以及要更新的数据（理解成key-value对），都直接先写入MemStore结构中，其实就是 LSM（The Log-Structured Merge-Tree） ，Memstore 就是上边的 Memtable，HFiles 就是上边的 SSTables (HBase权威指南 上 也有明确)，MemStore是完全的内存结构，且是key有序的。当MemStore达到一定大小后，该MemStore一次性从内存flush到HDFS中（磁盘中），生成一个HFile文件，HFile文件同样是key有序的，并且是持久化的位于HDFS系统中的。通过这种机制，HBase对表的所有的插入和更新都转换成对HDFS的HFile文件的创建。

你可能会迅速的想到，那查询怎么办？

是的，这种方式解决了插入和更新的问题，而查询就变得相对麻烦。而这也正是HBase设计之初的想法：以查询性能的下降来换取更新性能的提升。

事实上查询是如下来完成的。

每当MemStore结构flush到HDFS上时，就会产生一个新的HFile文件，随着时间的推移，会产生一连串的HFile文件，这些HFile文件产生的先后顺序非常的重要，可以想象成他们按创建时间排成一个队列，最近产生的在最前面，较早产生的在最后面。当HBase执行查询操作时（可以理解为给出key，要找到value），首先查询内存中的MemStroe结构，如果命中，就返回结果，因为MemStore中的数据永远是最新的，如果不命中，就从前到后遍历之前产生的HFile文件队列，在每个HFile文件中查找key，看是否命中，如果命中即可返回（最新的数据排在最前面），如果不命中一直查找下去，直到所有HFile文件被搜索完结束。

由此可见，查询操作最坏情况下可能要遍历所有HFile文件，最好情况下在内存中MemStore即可命中，这也是为什么HBase查询性能波动大的原因。当然HBase也不会真的很傻的去遍历每个HFile文件中的内容，这个性能是无法忍受的，它采取了一些优化的措施：1、引入bloomfilter，对HFile中的key进行hash，当查询时，对查询key先过bloomfilter，看查询key是否可能在该HFile中，如果可能在，则进入第2步，不在则直接跳过该HFile；2、还记得吗？HFile是key有序的（具体实现是类SSTable结构），在有序的key上查找就有各种优化技术了，而不是单纯的遍历了。

通过以上机制，HBase很好的解决了插入和更新、以及查找的问题，但是问题还没有结束。细心的朋友很可能已经看出来，上述过程中，HFile文件一直在产生，HFile文件组成的列表一直在增大，而计算机资源是有限的，并且查询的性能也依赖HFile队列的长度，因此我们还需要一种合并HFile文件的机制，以保持适度的HFile文件个数。HBase中实现这种机制采用的是LSM树（一种NOSQL系统广泛使用的结构），LSM能够将多个内部key有序的小HFile文件合并生成一个大的HFile文件，当新的大的HFile文件生成后，HBase就能够删除原有的一系列旧的小的HFile文件，从而保持HFile队列不至于过长，查询操作也不至于查询过多的HFile文件。在LSM合并HFile的时候，HBase还会做很重要的两件事：1、将更新过的数据的旧版本的数据删除掉，只留下最新的版本；2、将标有删除标记（下面一节会讲到）的数据删除掉。

**2.2 删除操作**

有了以上机制，HBase完成删除操作非常的简单，对将要删除的key-value对进行打标，通常是对key进行打标，将key中的type字段打标成“删除”标记，并将打标后的数据append到MemStore中，MemStore再flush到HFile中，HFile合并时，检查这个标记，所有带有“删除”标记的记录将被删除而不会合并到新的HFile中，这样HBase就完成了数据的删除操作。

**2.3. HBase 的WAL**

HBase的WAL（Write-Ahead-Log）机制是必须的，一个RegionServer通常与一个HLog一一对应，数据写入Region之前先写HLog能够保障数据的安全。 HLog使用Hadoop的SequenceFile存储日志，而HLog是一直连续不断追加写文件的，它强烈依赖SequenceFile的append功能。事实上正是HLog对append功能的强烈需求，或多或少推动了HDFS在最近的版本中添加了文件追加功能。

原文链接：[https://blog.csdn.net/liqianyuan2009/article/details/45507157][https_blog.csdn.net_liqianyuan2009_article_details_45507157]

[http_blog.cloudera.com_blog_2009_07_file-appends-in-hdfs]: http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/
[https_issues.apache.org_jira_browse_HADOOP-8230]: https://issues.apache.org/jira/browse/HADOOP-8230
[https_blog.csdn.net_liqianyuan2009_article_details_45507157]: https://blog.csdn.net/liqianyuan2009/article/details/45507157

发表评论取消回复

表情：

评论列表（有 0 条评论，93人围观）

还没有评论，来说两句吧...

相关阅读

相关 Mybatis完成增删改查功能（动态增删改查 & 批量删除）

个人总结： > mybatis的增删改查操作就是通过测试程序接收的用户信息然后通过接口的抽象方法传递给sql的映射文件当中进行。SQL语句的查操作的时候,查出来的数据是

布满荆棘的人生/ 2023年09月29日 12:51/ 0 赞/ 84 阅读

相关 HbaseDaoImp HBASE 增删改查

package com.qjzh.bigdata.api.hadoop.hbase.dao.imp; import java.io.IOException; im

逃离我推掉我的手/ 2022年07月14日 08:59/ 0 赞/ 248 阅读

相关 java对hbase的增删改查操作

直接上代码吧,conf里面的是配置,看个人而异,默认zookeeper.znode.parent=/hbase,这个不对的话会报空指针 package hadoop.

淡淡的烟草味﹌/ 2022年06月01日 06:17/ 0 赞/ 287 阅读

相关 java操作hbase的增删改查

首先需要将hbase安装目录下lib文件夹中的jar文件全部加入到项目类路径下，另外还需要将hadoop相关jar包也加入。这里需要用到的主要API介绍一下。 Confi

小咪咪/ 2022年05月24日 13:39/ 0 赞/ 295 阅读

相关 Hadoop-HDFS的增删改查

hadoop-HDFS除了在linux上以shell的方式进行操作外，还可以利用java来操作，接下来我们就来实现吧 1.新建java工程，引入hadoop的源码包

悠悠/ 2022年05月20日 04:35/ 0 赞/ 113 阅读

相关 HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能

1. HDFS的文件append功能早期版本的HDFS不支持任何的文件更新操作，一旦一个文件创建、写完数据、并关闭之后，这个文件就再也不能被改变了。为什么这么设计？是为

￡神魔★判官ぃ/ 2022年05月20日 01:48/ 0 赞/ 94 阅读

相关 HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能？

1.HDFS的文件append功能早期版本的HDFS不支持任何的文件更新操作，一旦一个文件创建、写完数据、并关闭之后，这个文件就再也不能被改变了。为什么这么设计？是为了

- 日理万妓/ 2022年05月17日 12:05/ 0 赞/ 94 阅读

相关 Python操作MySQL数据库完成简易的增删改查功能

说明：该篇博客是博主一字一码编写的，实属不易，请尊重原创，谢谢大家！目录一丶项目介绍二丶效果展示三丶数据准备四丶代码实现五丶完整代码 --------

Love The Way You Lie/ 2022年03月07日 14:45/ 0 赞/ 279 阅读

相关 springBoot连接hbase，用java操作hbase，实现增删改查功能

简介 hbase在hadoop的大数据生态里扮演者不可或缺的作用，特别在数据的实时查询方面；当hbase的分布式集群在linux服务器搭建起来之后，我们需要

梦里梦外;/ 2022年01月31日 12:47/ 0 赞/ 1483 阅读

相关 Java使用jdbc操作SQLServer完成增删改查功能

引言考虑到还是有一部分人使用jdbc操作SQLServer完成增删改查的功能，但网上写的鱼龙混杂不全，相对于Mysql，这方面的资料相对比较少很多，所以在此把完整的增删

「爱情、让人受尽委屈。」/ 2021年09月21日 10:52/ 0 赞/ 445 阅读