Hbase主-从集群备份

青旅半醒 2022-05-15 03:41 413阅读 0赞

### **三种方法实现****HBASE****主****-****从集群备份** ###

## **1****、****Export/Import** ##

*  通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份，导出时可以指定version，starttime(时间戳)，endtime(时间戳)等参数，并且可以通过\-D指定是否压缩，指定caching等属性，比如：

hbase  org.apache.hadoop.hbase.mapreduce.Export test4 hdfs://yun11.hdp.huayuntech.com:8020（从集群名称）/hbase

1   1415693812520   1415694912520

*  Export导出工具与CopyTable一样是依赖hbase的scan读取数据，并且采用的InportFormat与CopyTable一样是TableInputFormat类，从该类的getSplits()方法可以看出MR的map数与hbase表的region数相同。
 *  在import时可以指定使用bulk的方式，bulk是生成hfile格式的文件，直接导入到Region，无需经历hbase的写数据过程，从而无需消耗memstore，无需Flush等，更加高效，如果不指定bulk文件路径（hdfs的路径）则会采用hbase 的put和delete API进行写入。

Hbase  org.apache.hadoop.hbase.mapreduce.Import  <tablename>  hdfs://yun11.hdp.huayuntech.com:8020/hbase

*  使用Import工具前必须先创建表

### **2****、****Snapshot** ###

* 开启快照功能，在hbase-site.xml文件中添加如下配置项：
 * <table style="width:556px;"> 
 <tbody> 
 <tr> 
 <td style="width:555px;"> &lt;property&gt; &lt;name&gt;hbase.snapshot.enabled&lt;/name&gt; &lt;value&gt;true&lt;/value&gt; &lt;/property&gt; </td> 
 </tr> 
 </tbody> 
 </table>
 * 在hbase shell中使用clone\_snapshot, delete\_snapshot, list\_snapshots, restore\_snapshot, snapshot命令可是是想创建快照，查看快照，通过快照恢复表，通过快照创建一个新的表等功能，需要注意的是：如果该表开启了replication功能实现主从同步则在使用restore\_snapshot功能对主表进行恢复时，必须先停止replication功能并且redo the bootstrap，因为replication是基于WAL日志实现的，而snapshot是直接在hdfs层面不是基于hbase的put、delete等API进行的，不会写WAL日志。
 * 在创建snapshot后，可以通过ExportSnapshot工具把快照导出到另外一个集群，实现数据备份或者数据迁移，ExportSnapshot工具的用法如下：
 * 例如：

Hbase   org.apache.hadoop.hbase.snapshot.ExportSnapshot  -snapshot test4\_snapshot\_201411111422 -copy-to hdfs://yun11.hdp.huayuntech.com:8020 /apps/hbase/data

*  保存到HSFS的/apps/hbase/data这个指定的快照存储路径下hbase才能识别出这个快照
 *  执行该命令后，在yun11这个集群的hdfs中会把test4\_snapshot\_201411111422文件夹copy到/apps/hbase/data /.hbase-snapshot文件下，进入yun11.hdp.huayuntech.com这个hbase集群，执行list\_snapshots会看到有一个快照：test4\_snapshot\_201411111422，通过命令clone\_snapshot可以把该快照copy成一个新的表，不用提前创建表，新表的region个数等信息完全与快照保持一致。
 *  在使用snapshot把一个集群的数据copy到新集群后，应用程序开启双写，然后可以使用Export工具把快照与双写之间的数据导入到新集群，从而实现数据迁移，为保障数据不丢失，Export导出时指定的时间范围可以适当放宽。

### **3****、****Replication** ###

*  可以通过replication机制实现hbase集群的主从模式，具体步骤如下：

1、  zookeeper不能被hbase托管，如果主从hbase集群共用一个zk集群，则zookeeper.znode.parent不能都是默认的hbase，可以配置为hbase-master和hbase-slave

2、 在主hbase集群的hbase-site.xml中添加配置项：

<table> 
 <tbody> 
 <tr> 
 <td> &lt;property&gt; &lt;name&gt;hbase.replication&lt;/name&gt; &lt;value&gt;true&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;replication.source.nb.capacity&lt;/name&gt; &lt;value&gt;25000&lt;/value&gt; &lt;description&gt;主集群每次向从集群发送的entry最大的个数，默认值25000，可根据集群规模做出适当调整&lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;replication.source.size.capacity&lt;/name&gt; &lt;value&gt;67108864&lt;/value&gt; &lt;description&gt;主集群每次向从集群发送的entry的包的最大值大小，默认为64M&lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;replication.source.ratio&lt;/name&gt; &lt;value&gt;1&lt;/value&gt; &lt;description&gt;主集群使用的从集群的RS的数据百分比，默认为0.1，需调整为1，充分利用从集群的RS&lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;replication.sleep.before.failover&lt;/name&gt; &lt;value&gt;2000&lt;/value&gt; &lt;description&gt;主集群在RS宕机多长时间后进行failover，默认为2秒，具体的sleep时间是： sleepBeforeFailover + (long) (new Random().nextFloat() * sleepBeforeFailover) &lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;replication.executor.workers&lt;/name&gt; &lt;value&gt;1&lt;/value&gt; &lt;description&gt;从事replication的线程数，默认为1，如果写入量大，可以适当调大&lt;/description&gt; &lt;/property&gt; </td> 
 </tr> 
 </tbody> 
</table>

3、在从hbase集群的hbase-site.xml中添加：

4、 进入主集群的shell，执行：

add\_peer 'ID' 'CLUSTER\_KEY'

*  ID是自己任意指定的数字，

CLUSTER\_KEY为从集群的zookeeper下的一个Znode,

*  例如：yun1,yun2,yun3:2181:/cluster1\_hbase\_replication

The ID must be a short integer. To compose the CLUSTER\_KEY, use the following template:

hbase.zookeeper.quorum:hbase.zookeeper.property.clientPort:zookeeper.znode.parent

This will show you the help to setup the replication stream between both clusters. If both clusters use the same Zookeeper cluster, you have to use a different zookeeper.znode.parent since they can't write in the same folder.

5、  在从集群中创建一个与master集群相同的表

6、 修改表定义，开启复制功能

disable 'your\_table'

alter 'your\_table', \{NAME => 'family\_name', REPLICATION\_SCOPE => '1'\}

enable 'your\_table

此处的REPLICATION\_SCOPE => '1'中的1，设定允许被备份

**提示：**

1、 hbase的replication，如果是在建立主表和从表的关系前，主表已经有数据则该部分数据不会被同步到从表中，因为replication是依赖WAL日志进行的同步，可以通过如下步骤实现：

a)   通过snapshot把历史数据导入到从集群；

b)   开启replication；

c)   通过Export工具把快照和开启replication之间的数据导入到从表；

d)   通过VerifyReplication工具校验数据的一致性。