使用happybase执行scan()报错RetriesExhaustedException解决

迈不过友情╰ 2022-06-03 10:21 212阅读 0赞

### python脚本 ###

# encoding: utf-8
    
    import os, time
    import sys
    import happybase
    
    CURRENT_DIR = os.path.abspath(os.path.dirname(__file__))
    sys.path.insert(0, CURRENT_DIR + "/../")
    
    HBASE_HOST = "172.30.1.200"
    HBASE_HOST_2 = "172.30.1.201"
    try:
        conn = happybase.Connection(HBASE_HOST, autoconnect=False)
        conn.open()
    except:
        conn = happybase.Connection(HBASE_HOST_2, autoconnect=False)
        conn.open()
        pass
    
    test_table = "test_namespace:test_table"
    table_name = conn.table(test_table)
    print conn
    print "TTTTTTTTTTTT TABLE:", table_name
    print "\n________________conn.tables():\n", conn.tables()
    end_time = time.time()
    print "未扫描操作，总耗时：%s sec\n" % (end_time - start_time)
    
    start_time2 = time.time()
    scan_obj = table_name.scan()
    end_num = 1
    for k,v in scan_obj:
        print k, " || \n", v
        end_num += 1
        if end_num > 3:
            break
    
    end_time2 = time.time()
    print "\n扫描3行，总耗时：%s sec" % (end_time2 - start_time2)
    conn.close()

执行Python脚本happybase\_test\_HbaseScan.py的输出————  
TTTTTTTTTTTT TABLE: < happybase.table.Table name=’test\_namespace:table\_name’>  
![列出所有表][SouthEast]

![scan爆出异常][scan]

从输出结果和python脚本可知，问题出现在 table\_name.scan() 这个方法。下面是排查过程————  
【检查相关服务是否正常】  
登入hbase web UI检查，各个HMaster正常运行，各个Region Server运行正常，各个相关进程都在；hdfs集群各个data node都运行正常。

【检查1】  
根据上面爆出的日志**Hbase\_thrift.IOError: IOError(message=”org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:\\nThu Dec 28 10:05:17 CST 2017, null, java.net.SocketTimeoutException: callTimeout=180000, callDuration=189208:**  
原因可能是zookpeeper上的父节点不存在了，导致客户端连接尝试36次之后仍找不到zk的注册节点，超时断开。然后查看hbase-site.xml配置文件中的zookeeper.znode.parent  
发现”/hbase-unsecure”是在的（配成/hbase-unsecure而不是/hbase-secure是因为我们的Enable Authentication未使用kerberos安全策略，只是使用Simple，如果使用了kerberos就需要把zookeeper.znode.parent配成/hbase-secure）。  
所以这个原因排除掉。

【检查2】  
既然报错信息中提到了java.net.SocketTimeoutException: callTimeout=180000，那么查看一下hbase-site.xml 中的hbase.client.scanner.timeout.period，发现是180000ms，即180秒，  
这应该就是直接导致这种错误的原因了。

【检查3】  
报错中有Failed after attempts=36，到Ambari查看客户端的Maximum Client Retries（客户端最大重试）次数为35

【解决】  
(1) 要么增加hbase.client.scanner.timeout.period的值；  
(2) 要么减少scan获取的记录数，因为扫描过多数量的记录会导致时间过长，一旦超过timeout的值就会出异常、断开连接。

【建议】使用rowkey查询，而不要用scan() 。如果非要用scan也要用参数限定扫描范围，例如start\_row、end\_row、limit、row\_prefix，可以减少查询时间。例如我把代码改成row\_prefix之后就没有那个timeout异常了：

# encoding: utf-8
    # 和上面的代码类似，只不过改了scan()部分的代码
    users = "stats:users"
    table_name2 = conn.table(users)
    scan_obj = table_name2.scan(row_prefix="P_0")
    print "\nscan(stats:users) object____", scan_obj
    end_num = 1
    for k,v in scan_obj:
        print k, " || \n", v
        end_num += 1
        if end_num > 3:
            break

[SouthEast]: /images/20220603/ecde3fdbc12e4e70a286be930672c456.png
[scan]: /images/20220603/2c624aed4755406cbe75b155b98c1a08.png