hbase java 分区_HBase预分区方法

曾经终败给现在 2022-11-03 10:57 232阅读 0赞

(what)什么是预分区？

HBase表在刚刚被创建时，只有1个分区(region)，当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值，默认10GB)时，

表将会进行split，分裂为2个分区。表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的性能有巨大的影响。

HBase提供了预分区功能，即用户可以在创建表的时候对表按照一定的规则分区。

(why)预分区的目的是什么？

减少由于region split带来的资源消耗。从而提高HBase的性能。

(how)如何预分区？

===方法1===

通过HBase shell来创建。命令样例如下：

create 't1', 'f1', SPLITS => \['10', '20', '30', '40'\]

create 't1', \{NAME =>'f1', TTL => 180\}, SPLITS => \['10', '20', '30', '40'\]

create 't1', \{NAME =>'f1', TTL => 180\}, \{NAME => 'f2', TTL => 240\}, SPLITS => \['10', '20', '30', '40'\]

命令截图：

![34881e2a061931d0b57d6be2fdb8e00d.png][]

从Web界面查看表结构

![f5679f15c36795f72a42ea082ab5dfa8.png][]

===方法2===

仍然是通过HBase shell来创建，不过是通过读取文件

1、在任意路径下创建一个保存分区key的文件，我这里如下

路径：/home/hadmin/hbase-1.3.1/txt/splits.txt

内容如下图

![3ad5d9bb9099f1e60a93c3f0c5da1b82.png][]

2、通过HBase shell命令创建表

命令样例：

create 't1', 'f1', SPLITS\_FILE => '/home/hadmin/hbase-1.3.1/txt/splits.txt'

create 't1', \{NAME =>'f1', TTL => 180\}, SPLITS\_FILE => '/home/hadmin/hbase-1.3.1/txt/splits.txt'

create 't1', \{NAME =>'f1', TTL => 180\}, \{NAME => 'f2', TTL => 240\}, SPLITS\_FILE => '/home/hadmin/hbase-1.3.1/txt/splits.txt'

操作截图：

![c756e7b4f7c770972208c9689b114c74.png][]

Web界面结果：

![a8a2c6c461e2799bb1078c13344f918a.png][]

====方法3==

通过java api创建，代码样例如下：

packageapi;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.Admin;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.client.ConnectionFactory;importorg.apache.hadoop.hbase.util.Bytes;public classcreate\_table\_sample2 \{public static void main(String\[\] args) throwsException \{

Configuration conf=HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");

Connection connection=ConnectionFactory.createConnection(conf);

Admin admin=connection.getAdmin();

TableName table\_name= TableName.valueOf("TEST1");if(admin.tableExists(table\_name)) \{

admin.disableTable(table\_name);

admin.deleteTable(table\_name);

HTableDescriptor desc= newHTableDescriptor(table\_name);

HColumnDescriptor family1= newHColumnDescriptor(constants.COLUMN\_FAMILY\_DF.getBytes());

family1.setTimeToLive(3 \* 60 \* 60 \* 24); //过期时间

family1.setMaxVersions(3); //版本数

desc.addFamily(family1);byte\[\]\[\] splitKeys =\{

Bytes.toBytes("row01"),

Bytes.toBytes("row02"),

\};

admin.createTable(desc, splitKeys);

admin.close();

connection.close();

\--END--

[34881e2a061931d0b57d6be2fdb8e00d.png]: /images/20221024/fdf98712af954641b7c1b7533485a181.png
[f5679f15c36795f72a42ea082ab5dfa8.png]: /images/20221024/67896f60975b4c8c87a34119156d56de.png
[3ad5d9bb9099f1e60a93c3f0c5da1b82.png]: /images/20221024/4cf2710afc5e4610b5ca245108bf55d0.png
[c756e7b4f7c770972208c9689b114c74.png]: /images/20221024/d17ea76e076249408892bba53f03b8b6.png
[a8a2c6c461e2799bb1078c13344f918a.png]: /images/20221024/7e55c68a6ff742ecb52e871ec8069b7d.png