大数据从入门到实战 - HBase 伪分布式环境搭建

淩亂°似流年 2023-01-06 04:25 139阅读 0赞

### 大数据从入门到实战 - HBase 伪分布式环境搭建 ###

*  一、关于此次实践
 *   *  1、实战简介
     *  2、全部任务
 *  二、实践详解
 *   *  1、第1关：伪分布式环境搭建

***叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！***  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]

# 一、关于此次实践 #

## 1、实战简介 ##

通过学习单机版HBase安装与hbase shell常用操作之后，我们就可以来开始配置HBase的伪分布式环境以及完全分布式环境了，伪分布式意味着HBase仍然在单个主机上完全运行，但是每个HBase守护程序（HMaster，HRegionServer和Zookeeper）作为单独的进程运行，在独立模式下，所有守护进程都在一个jvm进程/实例中运行。默认情况下，你的数据仍然存放在本地目录下，在本次实训中，我们将会将数据存储在HDFS中。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center 1]

## 2、全部任务 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70]

# 二、实践详解 #

## 1、第1关：伪分布式环境搭建 ##

**任务描述**

本关任务：安装伪分布式HBase。

**相关知识**

上次实训中我们已经完成了单机版HBase的安装，单机版意味着我们的HBase数据仍然是存放在本地，而没有存放在Hadoop集群中，本关我们来学习如何配置一个伪分布式的HBase环境，伪分布式意味着HBase仍然在单个主机上运行，但每个HBase的守护程序（HMaster、HRegionServer和Zookeeper）作为单独的进程运行；在伪分布式的环境下，我们会将HBase的数据存储在HDFS中，而不是存放在本地了，接下来我们就来一起搭建环境吧。

**实验环境：**

hadoop2.7；
    JDK8；
    HBase2.1.1；
    hadoop已安装；
    JDK已安装，环境变量已配置；
    HBase压缩包已下载，存放在/opt目录下。

在搭建环境之前我们首先来了解一下HBase分布式环境的整体架构：  
![在这里插入图片描述][20210113214625930.png]

我们来简单认识一下与HBase的相关组件：

Zookeeper：
    Zookeeper能为HBase提供协同服务，是HBase的一个重要组件，Zookeeper能实时的监控HBase的健康状态，并作出相应处理。
    
    HMaster：
    HMaster是HBase的主服务，他负责监控集群中所有的HRegionServer，并对表和Region进行管理操作，比如创建表，修改表，移除表等等。
    
    HRegion：
    HRegion是对表进行划分的基本单元，一个表在刚刚创建时只有一个Region，但是随着记录的增加，表会变得越来越大，HRegionServer会实时跟踪Region的大小，当Region增大到某个值时，就会进行切割（split）操作，由一个Region切分成两个Region。
    
    HRegionServer：
    HRegionServer是RegionServer的实例，它负责服务和管理多个HRegion 实例，并直接响应用户的读写请求。

总的来说，要部署一个分布式的HBase数据库，需要各个组件的协作，HBase通过Zookeeper进行分布式应用管理，Zookeeper相当于管理员，HBase将数据存储在HDFS（分布式文件系统）中，通过HDFS存储数据，所以我们搭建分布式的HBase数据库的整体思路也在这里，即将各个服务进行整合。

接下来，我们就一起来搭建一个伪分布式的HBase。

配置与启动伪分布式HBase  
如果你已经完成了单节点HBase的安装，那伪分布式的配置对你来说应该很简单了，只需要修改`hbase-site.xml`文件即可：

vim /app/hbase-2.1.1/conf/hbase-site.xml

在这里主要有两项配置：

1.开启HBase的分布式运行模式，配置hbase.cluster.distributed为true代表开启HBase的分布式运行模式：

<property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
    </property>

2.是设置HBase的数据文件存储位置为HDFS的/hbase目录，要注意的是在这里我们不需要在HDFS中手动创建hbase目录，因为HBase会帮我们自动创建。

<property>
      <name>hbase.rootdir</name>
      <value>hdfs://localhost:9000/hbase</value>
    </property>

修改之后`hbase-site.xml`的`<configuration>`代码：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 1]

标红部分为我们需要注意的配置。我们在设置单节点的时候将hbase.unsafe.stream.capability.enforce属性值设置为了false，在这里我们需要注意设置它的值为true，或者干脆删除这个属性也是可以的。

配置完成之后，我们需要先启动Hadoop，然后启动HBase，最后输入jps查看启动的进程：  
![在这里插入图片描述][20210113214908946.png]

如果出现HMaster和HRegionServer以及HQuorumPeer三个服务则代表伪分布式环境已经搭建成功了。

在HDFS中验证  
接下来我们进一步验证：在HDFS中检查HBase文件。

如果一切正常，HBase会在HDFS中自动建立自己的文件，在上述配置文件中，设置的文件位置为/hbase，我们输入hadoop fs -ls /hbase即可查看，如下图所示，分布式文件系统（HDFS）中hbase文件夹已经创建了：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 2]

**测评**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 3]

**Ending！**  
更多课程知识学习记录随后再来吧！

就酱，嘎啦！

![在这里插入图片描述][20200207152559955.png_pic_center]

注：  
人生在勤，不索何获。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/193cf8a66a0144709fa53884b78c78f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221119/cd5f2af18ea144d09986e1a248648e8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70]: /images/20221119/4ec5fb7c9b324190be4cbc72cb2e6f96.png
[20210113214625930.png]: /images/20221119/d47a8f32cb194acabbd86c3572f1a403.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 1]: /images/20221119/e467859c895f416a8db3ed50d8dbbf13.png
[20210113214908946.png]: https://img-blog.csdnimg.cn/20210113214908946.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210113214927466.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210113215007764.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[20200207152559955.png_pic_center]: https://img-blog.csdnimg.cn/20200207152559955.png#pic_center

发表评论取消回复

表情：

评论列表（有 0 条评论，139人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据从入门到实战 - HBase高级特性：过滤器（二）

大数据从入门到实战 - HBase高级特性：过滤器（二）一、关于此次实践 1、实战简介 2、全部任务二、实践详解 1

- 日理万妓/ 2023年01月06日 05:28/ 0 赞/ 206 阅读

相关大数据从入门到实战 - HBase高级特性：过滤器（一）

大数据从入门到实战 - HBase高级特性：过滤器（一）一、关于此次实践 1、实战简介 2、全部任务二、实践详解 1

叁歲伎倆/ 2023年01月06日 05:28/ 0 赞/ 284 阅读

相关大数据从入门到实战 - HBase 开发：批量操作

大数据从入门到实战 - HBase 开发：批量操作一、关于此次实践 1、实战简介 2、全部任务二、实践详解 1、第

布满荆棘的人生/ 2023年01月06日 04:27/ 0 赞/ 209 阅读

相关大数据从入门到实战 - HBase 伪分布式环境搭建

大数据从入门到实战 - HBase 伪分布式环境搭建一、关于此次实践 1、实战简介 2、全部任务二、实践详解 1、第

淩亂°似流年/ 2023年01月06日 04:25/ 0 赞/ 140 阅读

相关大数据从入门到实战 - HBase的安装与简单操作

大数据从入门到实战 - HBase的安装与简单操作一、关于此次实践 1、实战简介 2、全部任务二、实践详解 1、第1

迈不过友情╰/ 2023年01月06日 01:29/ 0 赞/ 160 阅读

相关 educoder--HBase 伪分布式环境搭建第1关：伪分布式环境搭建答案

第1关：伪分布式环境搭建任务描述相关知识配置与启动伪分布式HBase 在HDFS中验证编程要求测试说明任务描述本关任务：安装伪分

快来打我*/ 2022年10月06日 01:57/ 0 赞/ 197 阅读

相关 HBase 伪分布式搭建

环境变量写入.bash\_profile export HBASE_HOME=/home/hadoop/hbase-1.2.6 export PATH=$PA

悠悠/ 2022年06月08日 12:13/ 0 赞/ 291 阅读

相关搭建hbase伪分布

1.下载 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.5.tar.gz 2.解压 tar

我不是女神ヾ/ 2022年06月06日 01:09/ 0 赞/ 298 阅读

相关 5.3 HBase数据库-伪-完全分布式搭建

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用Hadoop HDFS作为其文件存储系统,利用Hadoo

妖狐艹你老母/ 2022年05月23日 07:47/ 0 赞/ 199 阅读

相关 Hadoop入门——伪分布式环境的搭建

一.配置虚拟机设置静态ip，此处为192.168.159.130 /etc/hosts中配置如下： 192.168.159.130 hdserver1

痛定思痛。/ 2021年09月27日 04:28/ 0 赞/ 455 阅读