HBase Minor Compaction和Major Compaction

ゝ一世哀愁。 2023-02-20 02:27 30阅读 0赞

### 背景 ###

`HBase`在将数据落盘到`HDFS`上之后，为了解决小文件并提高数据访问效率，定义了两种方式来合并`HFile`文件。

#### 1. Minor Compaction ####

控制`Minor Compaction`的几个参数及说明：

<table> 
 <thead> 
  <tr> 
   <th>参数名</th> 
   <th>默认值</th> 
   <th>描述信息</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>hbase.hstore.compaction.min</code></td> 
   <td><code>3</code></td> 
   <td>表示至少要有三个文件满足<code>minor</code>合并要求时才会启动<code>minor</code>合并</td> 
  </tr> 
  <tr> 
   <td><code>hbase.hstore.compaction.mix</code></td> 
   <td><code>10</code></td> 
   <td>表示一次<code>minor</code>合并最多选择<code>10</code>个<code>store file</code>进行合并</td> 
  </tr> 
  <tr> 
   <td><code>hbase.hstore.compaction.min.size</code></td> 
   <td></td> 
   <td>小于该值的<code>store file</code>一定会被选入到<code>minor compaction</code>中</td> 
  </tr> 
  <tr> 
   <td><code>hbase.hstore.compaction.mix.size</code></td> 
   <td></td> 
   <td>大于该值的<code>store file</code>一定不会被选入到<code>minor compaction</code>中</td> 
  </tr> 
  <tr> 
   <td><code>hbase.hstore.compaction.ratio</code></td> 
   <td><code>1.2</code></td> 
   <td>将<code>store file</code>按落盘时间排序，<code>minor compaction</code>总是从<code>older store file</code>开始选择，如果该文件的<code>size</code>小于后面<code>hbase.hstore.compaction.max</code>个<code>store file</code>文件总和乘以<code>hbase.hstore.compaction.ratio</code>的值，那么该<code>store file</code>将加入到<code>minor store</code>中，同时要满足<code>hbase.hstore.compaction.mix</code>规定的条件才会启动<code>minor compaction</code>.</td> 
  </tr> 
 </tbody> 
</table>

#### 2. Major Compaction ####

触发`Major Compaction`的三种方法：

1.  在命令行中使用命令`major_compact`
2.  使用`API` `majorCompact()`
3.  `Region Server` 自动运行

如果采用自动运行，则控制`Major Compaction`的几个参数及说明如下：

<table> 
 <thead> 
  <tr> 
   <th>参数名</th> 
   <th>默认值</th> 
   <th>描述信息</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>hbase.hregion.majorcompaction</code></td> 
   <td><code>24</code></td> 
   <td>当启动<code>region server</code>自动运行<code>major compaction</code>时的运行周期</td> 
  </tr> 
  <tr> 
   <td><code>hbase.hregion.majorcompaction.jetter</code></td> 
   <td><code>0.2</code></td> 
   <td>为防止<code>region server</code>在同一时间运行<code>major compaction</code>，运行周期浮动错开同时运行情况.</td> 
  </tr> 
 </tbody> 
</table>

> `24-24*0.2=19.2`
> 
> `24+0.2*24=28.8`
> 
> 所以`Major Compaction` `19.2~28.8`小时运行一次