hive删除hbase数据_【大数据】Hbase如何批量删除指定数据-蒲公英云

hive删除hbase数据_【大数据】Hbase如何批量删除指定数据

冷不防 2023-01-09 01:10 287阅读 0赞

一、起因：

Hbase是一个列式存储，nosql类型的数据库，类似mongodb。

目前似乎没有提供批量删除的方法，只有一个单行删除的命令：deleteall ‘tablename’, rowkey

二、删除方法：

方法一：通过写 shell 脚本，从 hbase shell 查出需要删除的 rowkey ，拼成删除命令(deleteall ‘tablename’, rowkey)，写到文本 del_temp.txt ；然后执行 hbase shell del_temp.txt

方法二：通过建映射表，比如在 hive 建一个映射表，然后写 hql 查出需要删除的 rowkey ，拼成删除命令(deleteall ‘tablename’, rowkey)，写到文本 del_temp.txt ；然后执行 hbase shell del_temp.txt

方法三：通过python/ java 代码，调用 hbase 的单行删除方法，写个循环删除

方法四：通过建映射表，比如在 hive 建一个映射表，将需要保留的数据通过 hql 查询出来，备份到 hive 的一张临时表；然后在hbase shell 里面执行 truncate ‘tablename’ ，清空 hbase 的数据；最后在将数据从 hive 的备份表读出来，插入映射表，写回 hbase；

总结：

前面3种方法，本质上都是在 hbase 中逐行删除；而第4种方法，是利用hive的map reduce倒数据。对于不熟悉 hbase 和 java 语法的开发人员而言，使用24方法，是灵活性最好的。

三、代码：

假设hbase有一张表，表名：test_turboway，列族：cf，以第二种删除方法为例：

1、hive 建映射表：

CREATE EXTERNAL TABLEedw.test_turboway_hbase(

`keyid` string COMMENT’from deserializer’,

`title` string COMMENT’from deserializer’,

`bizdate` string COMMENT’from deserializer’,

`loginid` string COMMENT’from deserializer’)

ROW FORMAT SERDE’org.apache.hadoop.hive.hbase.HBaseSerDe’STOREDBY

‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’

WITHSERDEPROPERTIES (‘hbase.columns.mapping’=’:key,cf:title,cf:bizdate,cf:loginid’,’serialization.format’=’1’)

TBLPROPERTIES (‘COLUMN_STATS_ACCURATE’=’false’,’hbase.table.name’=’test_turboway’,’numFiles’=’0’,’numRows’=’-1’,’rawDataSize’=’-1’,’totalSize’=’0’,’transient_lastDdlTime’=’1543297130’)

2、记录hive查询要删除的数据，拼成命令：

hive -e “select concat(‘deleteall \‘test_turboway\‘,\‘’,keyid,’\‘’) from edw.test_turboway_hbase where loginid = ‘20181122’” > del_temp.txt && echo ‘exit’ >> del_temp.txt

3、hbase shell 执行删除命令

hbase shell del_temp.txt > del.log