大数据原理与应用第四章分布式数据库HBase 学习指南

素颜马尾好姑娘i 2023-09-25 11:45 4阅读 0赞

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库][_ _HBase]

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_02][_ _HBase _02]

点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频

本指南介绍了HBase，并详细指引读者安装HBase. 前面第二章学习指南已经指导大家安装Linux操作系统，并安装配置了Hadoop，但是这只表明我们已经安装好了Hadoop分布式文件系统，而HBase需要另外下载安装，本指南就是详细指导大家安装并配置HBase，完成后大家可以结合厦门大学林子雨编著的《大数据技术原理与应用》第4章节进行深入学习。

本教程使用的系统环境是Ubuntu系统，如果读者使用Mac系统，请访问教程：Mac 安装Hbase-伪分布式配置

本教程运行环境是在Ubuntu-64位系统下，HBase版本为hbase-1.1.2，这是目前已经发行的已经编译好的稳定的版本，带有src的文件是未编译的版本，这里我们只要下载bin版本hbase-1.1.2-bin.tar.gz就好了。hbase-1.1.2-bin.tar.gz.mds是用来校验文件hbase-1.1.2-bin.tar.gz是否完整，一般不需要校验，如果您想要校验可以参考Hadoop安装教程 中对Hadoop的校验。

如果读者是使用虚拟机方式安装Ubuntu系统的用户，请用虚拟机中的Ubuntu自带firefox浏览器访问本指南，再点击下面的地址，才能把HBase文件下载虚拟机Ubuntu中。请不要使用Windows系统下的浏览器下载，文件会被下载到Windows系统中，虚拟机中的Ubuntu无法访问外部Windows系统的文件，造成不必要的麻烦。

如果读者是使用双系统方式安装Ubuntu系统的用户，请运行Ubuntu系统，在Ubuntu系统打开firefox浏览器访问本指南，再点击下面的地址下载(2016.5已经更新到1.2.1版本，最新版本向下兼容，本教程同样适用)

HBase下载地址

说明：HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容，不能随便选择版本。HBase1.1.2和Hadoop2.7.1(或Hadoop2.6.0或Hadoop2.7.3)兼容，而HBase2.2.2和Hadoop3.1.3兼容。

本教程安装HBase1.1.2，并且假设你之前已经安装了Hadoop2.7.1(或Hadoop2.6.0或Hadoop2.7.3，查看安装指南)。

如果要安装HBase2.2.2(假设你之前已经安装了Hadoop3.1.3)，请参考HBase2.2.2安装教程。

《大数据技术原理与应用(第2版)》教材请安装HBase1.1.2，《大数据技术原理与应用(第3版)》教材请安装HBase2.2.2。

1.1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local，命令如下：

1.2 将解压的文件名hbase-1.1.2改为hbase，以方便使用，命令如下：

1.3 配置环境变量

将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作，有助于初学者理解运行过程，熟练之后可以不必切换。

编辑~/.bashrc文件

如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容：

如果已经引入过PATH请在export PATH这行追加/usr/local/hbase/bin，这里的“：”是分隔符。如下图：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_03][_ _HBase _03]

编辑完成后，再执行source命令使上述配置在当前终端立即生效，命令如下：

扩展阅读: 设置Linux环境变量的方法和区别

1.4 添加HBase权限

1.5 查看HBase版本，确定hbase安装成功,命令如下：

命令执行后，输出信息截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_04][_ _HBase _04]

看到以上输出消息表示HBase已经安装成功，接下来将分别进行HBase单机模式和伪分布式模式的配置。

HBase有三种运行模式，单机模式、伪分布式模式、分布式模式。作为学习，我们重点讨论单机模式和伪分布式模式。

以下先决条件很重要，比如没有配置JAVA\_HOME环境变量，就会报错。

– jdk

– Hadoop( 单机模式不需要，伪分布式模式和分布式模式需要)

– SSH

以上三者如果没有安装，请回到第二章的指南参考如何安装。

2.1单机模式配置

1. 配置/usr/local/hbase/conf/hbase-env.sh 。配置JAVA环境变量，并添加配置HBASE\_MANAGES\_ZK为true，用vi命令打开并编辑hbase-env.sh，命令如下：

配置JAVA环境变量，jdk的安装目录默认是 /usr/lib/jvm/java-1.7.0-openjdk， 则JAVA \_HOME=/usr/lib/jvm/java-7-openjdk-amd64，其中java-1.7.0-openjdk是你的jdk版本；配置HBASE\_MANAGES\_ZK为true，表示由hbase自己管理zookeeper，不需要单独的zookeeper。hbase-env.sh中本来就存在这些变量的配置，大家只需要删除前面的\#并修改配置内容即可(\#代表注释)：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_05][_ _HBase _05]

配置hbase-env.sh

添加完成后保存退出即可。

2. 配置/usr/local/hbase/conf/hbase-site.xml

打开并编辑hbase-site.xml，命令如下：

在启动HBase前需要设置属性hbase.rootdir，用于指定HBase数据的存储位置，因为如果不设置的话，hbase.rootdir默认为/tmp/hbase-$\{user.name\},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(/usr/local/hbase/hbase-tmp),添加配置如下：

3. 接下来测试运行。首先切换目录至HBase安装目录/usr/local/hbase；再启动HBase。命令如下：

上述三条命令中，sudo bin/start-hbase.sh用于启动HBase，bin/hbase shell用于打开shell命令行模式，用户可以通过输入shell命令操作HBase数据库。

成功启动HBase，截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_06][_ _HBase _06]

停止HBase运行,命令如下：

注意：如果在操作HBase的过程中发生错误，可以通过\{HBASE\_HOME\}目录(/usr/local/hbase)下的logs子目录中的日志文件查看错误原因。

2.2 伪分布式模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下：

配置JAVA\_HOME，HBASE\_CLASSPATH，HBASE\_MANAGES\_ZK.

HBASE\_CLASSPATH设置为本机Hadoop安装目录下的conf目录(即/usr/local/hadoop/conf)

截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_07][_ _HBase _07]

2.配置/usr/local/hbase/conf/hbase-site.xml

用命令vi打开并编辑hbase-site.xml，命令如下：

修改hbase.rootdir，指定HBase数据在HDFS上的存储路径；将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下，在本机上运行，且NameNode运行在9000端口。

hbase.rootdir指定HBase的存储目录；hbase.cluster.distributed设置集群处于分布式模式.

截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_08][_ _HBase _08]

3. 接下来测试运行HBase。

第一步：首先登陆ssh，之前设置了无密码登陆，因此这里不需要密码；再切换目录至/usr/local/hadoop ；再启动hadoop，如果已经启动hadoop请跳过此步骤。命令如下：

输入命令jps，能看到NameNode,DataNode和SecondaryNameNode都已经成功启动，表示hadoop启动成功，截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_09][_ _HBase _09]

第二步：切换目录至/usr/local/hbase;再启动HBase.命令如下：

启动成功，输入命令jps，看到以下界面说明hbase启动成功

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_10][_ _HBase _10]

进入shell界面：

截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_11][_ _HBase _11]

4.停止HBase运行,命令如下：

注意：如果在操作HBase的过程中发生错误，可以通过\{HBASE\_HOME\}目录(/usr/local/hbase)下的logs子目录中的日志文件查看错误原因。

这里启动关闭Hadoop和HBase的顺序一定是：

启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

1.1 HBase中创建表

HBase中用create命令创建表，具体如下：

命令执行截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_12][_ _HBase _12]

此时，即创建了一个“student”表，属性有：Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行键，无需自行创建，默认为put命令操作中表名后第一个数据。创建完“student”表后，可通过describe命令查看“student”表的基本信息。命令执行截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_13][_ _HBase _13]

1.2 HBase数据库基本操作

本小节主要介绍HBase的增、删、改、查操作。在添加数据时，HBase会自动为添加的数据添加一个时间戳，故在需要修改数据时，只需直接添加数据，HBase即会生成一个新的版本，从而完成“改”操作，旧的版本依旧保留，系统会定时回收垃圾数据，只留下最新的几个版本，保存的版本数可以在创建表的时候指定。

添加数据

HBase中用put命令添加数据，注意：一次只能为一个表的一行数据的一个列，也就是一个单元格添加一个数据，所以直接用shell命令插入数据效率很低，在实际应用中，一般都是利用编程操作数据。

当运行命令：put ‘student’,’95001’,’Sname’,’LiYing’时，即为student表添加了学号为95001，名字为LiYing的一行数据，其行键为95001。

命令执行截图如下，即为student表添加了学号为95001，名字为LiYing的一行数据，其行键为95001。

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_14][_ _HBase _14]

命令执行截图如下，即为95001行下的course列族的math列添加了一个数据。

删除数据

在HBase中用delete以及deleteall命令进行删除数据操作，它们的区别是：1. delete用于删除一个数据，是put的反向操作；2. deleteall操作用于删除一行数据。

1. delete命令

命令执行截图如下， 即删除了student表中95001行下的Ssex列的所有数据。

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_15][_ _HBase _15]

2. deleteall命令

命令执行截图如下，即删除了student表中的95001行的全部数据。

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_16][_ _HBase _16]

查看数据

HBase中有两个用于查看数据的命令：1. get命令，用于查看表的某一行数据；2. scan命令用于查看某个表的全部数据

1. get命令

命令执行截图如下， 返回的是‘student’表‘95001’行的数据。

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_17][_ _HBase _17]

2. scan命令

命令执行截图如下， 返回的是‘student’表的全部数据。

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_18][_ _HBase _18]

删除表

删除表有两步，第一步先让该表不可用，第二步删除表。

命令执行截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_19][_ _HBase _19]

1.3 查询表历史数据

查询表的历史版本，需要两步。

1、在创建表的时候，指定保存的版本数(假设指定为5)

2、插入数据然后更新数据，使其产生历史版本数据，注意：这里插入数据和更新数据都是用put命令

3、查询时，指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5)

查询结果截图如下：

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_20][_ _HBase _20]

1.4 退出HBase数据库表操作

最后退出数据库操作，输入exit命令即可退出，注意：这里退出HBase数据库是退出对数据库表的操作，而不是停止启动HBase数据库后台运行。

本实例使用Eclipse编写java程序，来对HBase数据库进行增删改查等操作，Eclipse可以在Ubuntu软件中心搜索下载并安装。

第一步：启动hadoop，启动hbase

第二步，新建Java Project——>新建Class

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_21][_ _HBase _21]

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_22][_ _HBase _22]

第三步：在工程中导入外部jar包：

这里只需要导入hbase安装目录中的lib文件中的所有jar包。

新版的Hbase 1.1.2的java api已经发生变化，旧版的部分api已经停止使用，教材上第四章编程实例部分，请以本教程为准。

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_23][_ _HBase _23]

这里给出一个编程实例,，以下是源代码：

每次执行完，都可以回到shell界面查看是否执行成功，如：执行完插入数据后，在shell界面中执行。截图如下:

![大数据原理与应用 第四章 分布式数据库HBase 学习指南\_数据库\_24][_ _HBase _24]

[_ _HBase]: https://img-blog.csdnimg.cn/img_convert/c557318bd023f19a3295c475d2ce8ff8.jpeg
[_ _HBase _02]: https://img-blog.csdnimg.cn/img_convert/7a42f0e66bb695a215c5d3b9b90b01fc.jpeg
[_ _HBase _03]: https://img-blog.csdnimg.cn/img_convert/0f59b9adc3256bbbc2ef146b7015473b.png
[_ _HBase _04]: https://img-blog.csdnimg.cn/img_convert/fbf4ad41523a29e264918d388197f727.png
[_ _HBase _05]: https://img-blog.csdnimg.cn/img_convert/64098983ae9048fb10ec3d0060731c4f.png
[_ _HBase _06]: https://img-blog.csdnimg.cn/img_convert/a156c408168afaf1e079205dae1b0ba3.png
[_ _HBase _07]: https://img-blog.csdnimg.cn/img_convert/5a46326e349feb3ea736a3bc2a7fc2c3.png
[_ _HBase _08]: https://img-blog.csdnimg.cn/img_convert/c64740196341ccd15c0de3a3bfe9fa65.png
[_ _HBase _09]: https://img-blog.csdnimg.cn/img_convert/c39fcdd7bf05dcb007045941f098417c.png
[_ _HBase _10]: https://img-blog.csdnimg.cn/img_convert/27a3837622c3865114b2c469791e0a33.png
[_ _HBase _11]: https://img-blog.csdnimg.cn/img_convert/6141666cd69e647e62e8de0fe403101f.png
[_ _HBase _12]: https://img-blog.csdnimg.cn/img_convert/756c7a09307c7d677bc6b05e479ea9eb.png
[_ _HBase _13]: https://img-blog.csdnimg.cn/img_convert/348cfade733d5b9a5c0a387c43ecbd14.png
[_ _HBase _14]: https://img-blog.csdnimg.cn/img_convert/3288fc29c0f1c14d4ed2a05e139a7033.png
[_ _HBase _15]: https://img-blog.csdnimg.cn/img_convert/090124335979bf8d7b314a2b6e3dc62a.png
[_ _HBase _16]: https://img-blog.csdnimg.cn/img_convert/93e148bf93d7daa812af2f8536cf1318.png
[_ _HBase _17]: https://img-blog.csdnimg.cn/img_convert/4d8ea7a148e0ea0f86d245593c07b5a5.png
[_ _HBase _18]: https://img-blog.csdnimg.cn/img_convert/5bf825d3408cea54081ca997a499a05f.png
[_ _HBase _19]: https://img-blog.csdnimg.cn/img_convert/f2ba9def2791e2db87bf5ca68675163d.png
[_ _HBase _20]: https://img-blog.csdnimg.cn/img_convert/18d1792fb4df02fb3c3f96866c608f64.png
[_ _HBase _21]: https://img-blog.csdnimg.cn/img_convert/1edda791e76fd2c976db9508f060d1b5.png
[_ _HBase _22]: https://img-blog.csdnimg.cn/img_convert/15320a046991e249ab54c517014cfb6d.png
[_ _HBase _23]: https://img-blog.csdnimg.cn/img_convert/f25bec03c49e4c058d6e6bb383bc98e7.png
[_ _HBase _24]: https://img-blog.csdnimg.cn/img_convert/a8ed6a01a71482cae719cf9cd05174f1.png