2.8.7 hadoop体系之离线计算-HBase数据库-HBase高级-HBase-数据Flush过程

清疚 2022-12-26 00:54 147阅读 0赞

**目录**

1.数据Flush过程图

2.Mem Store刷写时机

--------------------

# 1.数据Flush过程图 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 2.Mem Store刷写时机 #

**（1）Region级别**：当某个 memstroe 的大小达到了 hbase.hregion.memstore.flush.size（默认128M）,其所在 region 的所有 memstore 都会刷写。当 memstore 的大小达到了

*  **hbase.hregion.memstore.flush.size（默认值 128M）**
 *  **\* hbase.hregion.memstore.block.multiplier（默认值 4）**

时，会阻止继续往该 memstore 写数据。

**（2）****regionserver级别**：当 region server 中 memstore 的总大小达到

*  **java\_heapsize** 
 *  **\*hbase.regionserver.global.memstore.size（默认值 0.4）** 
 *  **\*hbase.regionserver.global.memstore.size.lower.limit（默认值 0.95）**

当达到堆内存的0.4\*0.95的时候，region 会按照其所有 memstore 的大小顺序（由大到小）依次进行刷写。直到 region server 中所有 memstore 的总大小减小到上述值以下。

当 region server 中 memstore 的总大小达到

*  **java\_heapsize**
 *  **\*hbase.regionserver.global.memstore.size（默认值 0.4）**

时，会阻止继续往所有的 memstore 写数据。

**（3）****regionserver级别：**到达自动刷写的时间，也会触发 memstore flush。自动刷新的时间间隔由该属性进行 配置 **hbase.regionserver.optionalcacheflushinterval**（默认 1 小时，最后一次数据编辑的时间）。

**（4）****regionserver级别：**当 WAL 文件的数量超过 **hbase.regionserver.max.logs**，region 会按照时间顺序依次进行刷写，直到 WAL 文件数量减小到 hbase.regionserver.max.log 以下（该属性名已经废弃，不再暴露给用户， 现无需手动设置，最大值为 32）。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/257d6f28843b40d3b4e5de98b7f1ab5c.png