HBCK2修复RIT实践笔记

红太狼 2023-05-22 04:39 27阅读 0赞

### 目录 ###

*   *  前言
     *   *  1. 下载
         *  2. 使用命令
     *  使用方法
     *   *  1. 查找问题
         *  2. 实践例子
         *  3. 注意事项

## 前言 ##

本文记录了作者使用HBCK2工具对线上HBase发生RIT状态的处理，仅供参考，若有疵漏，还望指正。

网络上关于HBCK2的文章很少，基本都是复制粘贴自田竞云(小米)的这一篇：[HBase指南 | HBase 2.0之修复工具HBCK2运维指南][HBase_ _ HBase 2.0_HBCK2]

事实上这一篇文章介绍得也已经很详细了。这里只是做一些实践上的补充说明。

### 1. 下载 ###

直接去[hbase的官网下载地址][hbase]里就可以找到。这里直接给最新版本的下载链接（截止至2020年4月）：https://downloads.apache.org/hbase/hbase-operator-tools-1.0.0/hbase-operator-tools-1.0.0-bin.tar.gz  
但还是推荐自己去git clone编译，因为官网提供的编译版本有滞后性。通常来说，使用最新版本的hbase再搭配使用最新编译的HBCK2,可以解决绝大部分莫名其妙的问题。（fixMeta+restart暴力流）  
新版本的HBCK2有更多更方便的功能，不过一般只能在新版本的hbase中使用。

### 2. 使用命令 ###

将其解压后得到 hbase-hbck2-1.0.0.jar，再cp到$HBASE\_HOME/lib下，执行 ***hbase org.apache.hbase.HBCK2 <命令>*** 即可，第一次使用推荐 ***hbase org.apache.hbase.HBCK2 -h*** 查看详细介绍

## 使用方法 ##

### 1. 查找问题 ###

参考HBCK2运维指南的思路：

canary tool

Procedures & Locks 页面状态

RIT队列

Master日志

### 2. 实践例子 ###

1.  处理Procedures & Locks  
    在 Procedures & Locks 页面查找waiting状态的procedure，按顺序进行bypass。按顺序是因为有一些waiting的发生是procedure存在依赖关系，将其bypass后后面的procedure会进入success状态。如果bypass返回false就使用bypass -r，还是不行再使用bypass -or
2.  处理RIT队列  
    参考HBCK2运维指南可以以txt格式拿到RIT队列的所有procedure的id，将其复制到任意文件（如pid.txt），再执行以下命令即可
    
        cat pid.txt | xargs hbase org.apache.hbase.HBCK2 bypass -or
    
    然后再以txt格式拿到RIT队列的所有region的encodedName，将其复制到任意文件（如region.txt），再执行以下命令即可
    
        cat region.txt | xargs hbase org.apache.hbase.HBCK2 assigns
3.  assign各个表中offline的region  
    检查一下各个表中是否有region的StorefileSize为0，当然也可能是本身没有存储多少数据，要注意辨别。这种一般对其assigns就可以了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsaW55dWE_size_16_color_FFFFFF_t_70]
    
    对于一些大表可能有上千个region的，一个个甄选未免太浪费时间，可以直接在web界面将其region区域全部拷贝下来，复制到txt，使用下述命令进行筛选
    
        cat regions.txt |grep -v 'GB' |grep -v 'MB' > region2.txt
4.  高版本的hbase有hbck记录页，去页面查看，根据提醒操作就行，更方便  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsaW55dWE_size_16_color_FFFFFF_t_70 1]
    
    使用以下Java代码即可提取出encodedName
    
        @Test
        public void printRegionEncodedName() throws IOException { 
            List<String> lines = FileUtil.readUtf8Lines("C:\\tmp\\region2.txt");
            List<String> regionEncodedNameList= Lists.newArrayListWithExpectedSize(lines.size());
            for (String line : lines) { 
                if(StringUtils.isBlank(line)){ 
                    continue;
                }
                int point1=line.indexOf(".") ;
                int point2=line.indexOf(".", line.indexOf(".")+1);
                String s = line.substring(point1+1, point2);
                System.out.println(s);
                regionEncodedNameList.add(s);
            }
            System.out.println("size:"+regionEncodedNameList.size());
            try (PrintWriter pw = new PrintWriter(new FileWriter("C:\\tmp\\encodedName.txt"));){ 
                regionEncodedNameList.forEach(regionEncodedName->pw.println(regionEncodedName+" "));
            }
        }
    
    然后又是 ***cat encodedName.txt | xargs hbase org.apache.hbase.HBCK2 assigns*** 就可以了  
    如下，一次性对大量region进行操作  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsaW55dWE_size_16_color_FFFFFF_t_70 2]

### 3. 注意事项 ###

对procedure执行bypass后其状态会由waiting转换为success(bypassed)，但不会立即移除出rit队列。可通过重启master解决。

[HBase_ _ HBase 2.0_HBCK2]: https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?spm=a2c4e.11153940.blogcont683107.11.49d762a815MegW
[hbase]: https://hbase.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsaW55dWE_size_16_color_FFFFFF_t_70]: /images/20230521/2fe934d655e242509b3300f75e6d50ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsaW55dWE_size_16_color_FFFFFF_t_70 1]: /images/20230521/0b77a0d758ab4a1fb27a254c25349318.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsaW55dWE_size_16_color_FFFFFF_t_70 2]: /images/20230521/d04d80810e68439cb0670b2b92c662b7.png