HBase(三)：集成Hive、HBase优化

偏执的太偏执、 2023-02-21 04:47 13阅读 0赞

### 文章目录 ###

*  一、与Hive的集成
 *   *  1.1 HBase与Hive的对比
     *  1.2 HBase与Hive集成环境准备
     *  1.3 案例一：HBase表关联Hive表
     *  1.4 案例二：Hive表关联HBase表
 *  二、HBase优化
 *   *  2.1 Master高可用
     *  2.2 预分区
     *  2.3 RowKey设计
     *  2.4 内存优化
     *  2.5 基础优化

# 一、与Hive的集成 #

## 1.1 HBase与Hive的对比 ##

<table> 
 <thead> 
  <tr> 
   <th>Hive</th> 
   <th>HBase</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>数据仓库：Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。</td> 
   <td>一种面向列存储的非关系型数据库</td> 
  </tr> 
  <tr> 
   <td>Hive适用于离线的数据分析和清洗，延迟较高。</td> 
   <td>用于存储结构化和非结构化的数据，适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作</td> 
  </tr> 
  <tr> 
   <td>基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。</td> 
   <td>基于HDFS：数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理。</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度，延迟较低。</td> 
  </tr> 
 </tbody> 
</table>

## 1.2 HBase与Hive集成环境准备 ##

重新编译`hive-hbase-handler-1.2.1.jar`后放到`hive` 下`lib`目录。

因为我们后续可能会在操作`Hive`的同时对`HBase`也会产生影响，所以`Hive`需要持有操作`HBase`的`Jar`，那么接下来拷贝`Hive`所依赖的`Jar`包（或者使用软连接的形式）。

添加环境变量：

#HBase
    export HBASE_HOME=/opt/module/hbase-1.3.1
    
    #Hive
    export HIVE_HOME=/opt/module/hive-1.2.1

建立软连接：

ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar  $HIVE_HOME/lib/hbase-common-1.3.1.jar
    ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
    ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
    ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
    ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it-1.3.1.jar
    ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
    ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
    ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar

同时在`hive-site.xml`中修改`zookeeper`的属性，如下：

<property>
    		<name>hive.zookeeper.quorum</name>
    		<value>hadoop102,hadoop103,hadoop104</value>
    	</property>
    	<property>
    		<name>hive.zookeeper.client.port</name>
    		<value>2181</value>
    	</property>

## 1.3 案例一：HBase表关联Hive表 ##

目标：建立`Hive`表，关联`HBase`表，插入数据到`Hive`表的同时能够影响`HBase`表。

1.  在`Hive`中创建表同时关联`HBase`，执行完成之后，可以分别进入`Hive`和`HBase`查看，都生成了对应的表

CREATE TABLE hive_hbase_emp_table(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int)
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
    TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

1.  `Hive`中创建临时中间表，用于`load`文件中的数据

CREATE TABLE emp(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int)
    row format delimited fields terminated by '\t';

1.  向`Hive`中间表中`load`数据，并导入数据到`Hive`表

hive> load data local inpath '/root/data/emp.txt' into table emp;
    
    hive> insert into table hive_hbase_emp_table select * from emp;

1.  查看`Hive`以及关联的`HBase`表中是否已经成功的同步插入了数据  
    `Hive`：`hive> select * from hive_hbase_emp_table;`  
    `HBase`：`scan ‘hbase_emp_table’`

## 1.4 案例二：Hive表关联HBase表 ##

目标：`Hive`中创建一个外部表来关联`HBase`中的`hbase_emp_table`这张表，使之可以借助`Hive`来分析`HBase`这张表中的数据。

1.  在`Hive`中创建外部表

CREATE EXTERNAL TABLE relevance_hbase_emp(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int)
    STORED BY 
    'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = 
    ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") 
    TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

1.  关联后就可以使用`Hive`函数进行一些分析操作了

hive (default)> select * from relevance_hbase_emp;

# 二、HBase优化 #

## 2.1 Master高可用 ##

在`HBase`中`Hmaster`负责监控`RegionServer`的生命周期，均衡`RegionServer`的负载，如果`Hmaster`挂掉了，那么整个`HBase`集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以`HBase`支持对`Hmaster`的高可用配置。

在`conf`目录下创建`backup-masters`文件，并分发该文件

[root@hadoop100 hbase-1.3.1]# vim conf/backup-masters
    hadoop102

此时访问`http://hadoop102:16010`：  
![在这里插入图片描述][20200628170540152.png]

## 2.2 预分区 ##

每一个`Region`维护着`StartRow`与`EndRowKey`，如果加入的数据符合某个`Region`维护的`RowKey`范围，则该数据交给这个`Region`维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高`HBase`性能。

**①手动设定预分区**

hbase> create 'staff1','info','partition1',SPLITS => ['1000','2000','3000','4000']

![在这里插入图片描述][20200628172359832.png]  
**②生成16进制序列预分区**

hbase> create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

![在这里插入图片描述][20200628172556422.png]  
**③按照文件中设置的规则预分区**  
创建`splits.txt`文件内容如下：

aaaa
    bbbb
    cccc
    dddd

然后执行：

hbase> create 'staff3','partition3',SPLITS_FILE => '/root/splits.txt'

![在这里插入图片描述][20200628172801388.png]  
**④使用`JavaAPI`创建预分区**

//自定义算法，产生一系列Hash散列值存储在二维数组中
    byte[][] splitKeys = 某个散列值函数
    //创建HBaseAdmin实例
    HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());
    //创建HTableDescriptor实例
    HTableDescriptor tableDesc = new HTableDescriptor(tableName);
    //通过HTableDescriptor实例和散列值二维数组创建带有预分区的HBase表
    hAdmin.createTable(tableDesc, splitKeys);

## 2.3 RowKey设计 ##

一条数据的唯一标识就是`rowkey`，那么这条数据存储于哪个分区，取决于`rowkey`处于哪个一个预分区的区间内，设计`rowkey`的主要目的 ，就是让数据均匀的分布于所有的`region`中，在一定程度上防止数据倾斜。接下来我们就谈一谈`rowkey`常用的设计方案。

**①生成随机数、`hash`、散列值**  
比如：  
原本`rowKey`为`1001`的，`SHA1`后变成：`dd01903921ea24941c26a48f2cec24e0bb0e8cc7`  
原本`rowKey`为`3001`的，`SHA1`后变成：`49042c54de64a1e9bf0b33e00245660ef92dc7bd`  
原本`rowKey`为`5001`的，`SHA1`后变成：`7b61dec07e02c188790670af43e717f0f46e8913`  
在做此操作之前，一般我们会选择从数据集中抽取样本，来决定什么样的`rowKey`来`Hash`后作为每个分区的临界值。

**②字符串反转**  
`20170524000001`转成`10000042507102`  
`20170524000002`转成`20000042507102`  
这样也可以在一定程度上散列逐步put进来的数据。

**③字符串拼接**  
`20170524000001_a12e`  
`20170524000001_93i7`

## 2.4 内存优化 ##

`HBase`操作过程中需要大量的内存开销，毕竟`Table`是可以缓存在内存中的，一般会分配整个可用内存的70%给`HBase`的`Java`堆。但是不建议分配非常大的堆内存，因为`GC`过程持续太久会导致`RegionServer`处于长期不可用状态，一般16~48G内存就可以了，如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。

## 2.5 基础优化 ##

**①允许在HDFS的文件中追加内容**  
`hdfs-site.xml`、`hbase-site.xml`  
属性：`dfs.support.append`  
解释：开启`HDFS`追加同步，可以优秀的配合`HBase`的数据同步和持久化。默认值为`true`。

**②优化DataNode允许的最大文件打开数**  
`hdfs-site.xml`  
属性：`dfs.datanode.max.transfer.threads`  
解释：`HBase`一般都会同一时间操作大量的文件，根据集群的数量和规模以及数据动作，设置为4096或者更高。默认值：4096

**③优化延迟高的数据操作的等待时间**  
`hdfs-site.xml`  
属性：`dfs.image.transfer.timeout`  
解释：如果对于某一次数据操作来讲，延迟非常高，`socket`需要等待更长的时间，建议把该值设置为更大的值（默认60000毫秒），以确保`socket`不会被`timeout`掉。

**④优化数据的写入效率**  
`mapred-site.xml`  
属性：  
`mapreduce.map.output.compress`  
`mapreduce.map.output.compress.codec`  
解释：开启这两个数据可以大大提高文件的写入效率，减少写入时间。第一个属性值修改为`true`，第二个属性值修改为：`org.apache.hadoop.io.compress.GzipCodec`或者其他压缩方式。

**⑤设置RPC监听数量**  
`hbase-site.xml`  
属性：`hbase.regionserver.handler.count`  
解释：默认值为30，用于指定RPC监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值。

**⑥优化HStore文件大小**  
`hbase-site.xml`  
属性：`hbase.hregion.max.filesize`  
解释：默认值10737418240（10GB），如果需要运行`HBase`的`MR`任务，可以减小此值，因为一个`region`对应一个`map`任务，如果单个`region`过大，会导致`map`任务执行时间过长。该值的意思就是，如果`HFile`的大小达到这个数值，则这个`region`会被切分为两个`Hfile`。

**⑦优化hbase客户端缓存**  
`hbase-site.xml`  
属性：`hbase.client.write.buffer`  
解释：用于指定`HBase`客户端缓存，增大该值可以减少`RPC`调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少`RPC`次数的目的。

**⑧指定scan.next扫描HBase所获取的行数**  
`hbase-site.xml`  
属性：`hbase.client.scanner.caching`  
解释：用于指定`scan.next`方法获取的默认行数，值越大，消耗内存越大。

**⑨flush、compact、split机制**  
当`MemStore`达到阈值，将`Memstore`中的数据`Flush`进`Storefile`；`compact`机制则是把`flush`出来的小文件合并成大的`Storefile`文件。`split`则是当`Region`达到阈值，会把过大的`Region`一分为二。  
涉及属性：  
即：128M就是`Memstore`的默认阈值  
`hbase.hregion.memstore.flush.size`：134217728  
即：这个参数的作用是当单个`HRegion`内所有的`Memstore`大小总和超过指定值时，`flush`该`HRegion`的所有`Memstore`。`RegionServer`的`flush`是通过将请求添加一个队列，模拟生产消费模型来异步处理的。那这里就有一个问题，当队列来不及消费，产生大量积压请求时，可能会导致内存陡增，最坏的情况是触发`OOM`。  
`hbase.regionserver.global.memstore.upperLimit`：0.4  
`hbase.regionserver.global.memstore.lowerLimit`：0.38  
即：当`MemStore`使用内存总量达到`hbase.regionserver.global.memstore.upperLimit`指定值时，将会有多个`MemStores flush`到文件中，`MemStore flush`顺序是按照大小降序执行的，直到刷新到`MemStore`使用内存略小于`lowerLimit`。

[20200628170540152.png]: https://img-blog.csdnimg.cn/20200628170540152.png
[20200628172359832.png]: https://img-blog.csdnimg.cn/20200628172359832.png
[20200628172556422.png]: https://img-blog.csdnimg.cn/20200628172556422.png
[20200628172801388.png]: https://img-blog.csdnimg.cn/20200628172801388.png