Hive 全量表、增量表、拉链表解析

ゝ一世哀愁。 2021-09-21 07:40 706阅读 0赞

**1.全量表**

（1）全量表，有无变化，都要报  
（2）每次上报的数据都是所有的数据（变化的 + 没有变化的)

(3)  每天抽取

第一次:

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td>name</td> 
   <td>money</td> 
   <td>time</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>a</td> 
   <td>10</td> 
   <td>2020-05-18 00:01:01</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>b</td> 
   <td>20</td> 
   <td>2020-05-18 10:00:00</td> 
  </tr> 
 </tbody> 
</table>

第二次:

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td>name</td> 
   <td>money</td> 
   <td>time</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>a</td> 
   <td>20</td> 
   <td>2020-05-19 00:01:01</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>b</td> 
   <td>20</td> 
   <td>2020-05-18 10:00:00</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>c</td> 
   <td>10</td> 
   <td>2020-05-19 00:01:01</td> 
  </tr> 
 </tbody> 
</table>

分别抽数两次对应全量表

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td>name</td> 
   <td>money</td> 
   <td>time</td> 
   <td>dt</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>a</td> 
   <td>10</td> 
   <td>2020-05-18 00:01:01</td> 
   <td>2020-05-18</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>b</td> 
   <td>20</td> 
   <td>2020-05-18 10:00:00</td> 
   <td>2020-05-18</td> 
  </tr> 
 </tbody> 
</table>

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td>name</td> 
   <td>money</td> 
   <td>time</td> 
   <td>dt</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>a</td> 
   <td>20</td> 
   <td>2020-05-19 00:01:01</td> 
   <td>2020-05-19</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>b</td> 
   <td>20</td> 
   <td>2020-05-18 10:00:00</td> 
   <td>2020-05-19</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>c</td> 
   <td>10</td> 
   <td>2020-05-19 00:01:01</td> 
   <td>2020-05-19</td> 
  </tr> 
 </tbody> 
</table>

**2.增量表：只要更新(新增、修改)就同步**

第一次:

第二次:

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td>name</td> 
   <td>money</td> 
   <td>time</td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">1</span></td> 
   <td><span style="color:#f33b45;">a</span></td> 
   <td><span style="color:#f33b45;">20</span></td> 
   <td><span style="color:#f33b45;">2020-05-19 00:01:01</span></td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>b</td> 
   <td>20</td> 
   <td>2020-05-18 10:00:00</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>c</td> 
   <td>10</td> 
   <td>2020-05-19 00:01:01</td> 
  </tr> 
 </tbody> 
</table>

对应两次抽数增量表(需要监控表的改变)

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td>name</td> 
   <td>money</td> 
   <td>time</td> 
   <td>dt</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>a</td> 
   <td>20</td> 
   <td>2020-05-19 00:01:01</td> 
   <td>2020-05-19</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>c</td> 
   <td>10</td> 
   <td>2020-05-19 00:01:01</td> 
   <td>2020-05-19</td> 
  </tr> 
 </tbody> 
</table>

**3.拉链表：**

**(1)不需要像全量表，每天抽取所有数据(节省空间)**

**(2)可以查看某条记录的历史状态**

第一次:

第二次:

对应的拉链表

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td>name</td> 
   <td>money</td> 
   <td>time</td> 
   <td>t_start</td> 
   <td>t_end</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>a</td> 
   <td>10</td> 
   <td>2020-05-18 00:01:01</td> 
   <td>2020-05-18</td> 
   <td>2020-05-18</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>a</td> 
   <td>20</td> 
   <td>2020-05-19 00:01:01</td> 
   <td>2020-05-19</td> 
   <td>9999-12-31</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>b</td> 
   <td>20</td> 
   <td>2020-05-18 10:00:00</td> 
   <td>2020-05-18</td> 
   <td>9999-12-31</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>c</td> 
   <td>10</td> 
   <td>2020-05-19 00:01:01</td> 
   <td>2020-05-19</td> 
   <td>9999-12-31</td> 
  </tr> 
 </tbody> 
</table>