hive分区表增加字段会导致新增字段无法显示值的BUG

灰太狼 2022-06-07 00:07 608阅读 0赞

转载：

http://blog.csdn.net/xiao\_jun\_0820/article/details/45560591

最近在查hive版本问题，发现在hive1.1.0和hive1.2.1上，分区表新增字段后新增字段值为空的情况。

网上查了资料，提供了两种解决办法：

1. 修改hive元数据SDS表的CD\_ID字段，原因是修改表结构后，元数据库中的SDS中该表对应的CD\_ID会改变，但是该表分区下面对应的CD\_ID还是原来表的CD\_ID

2.删除当前分区重建

这两个办法都不太适应，办法1修改元数据库风险大，办法2可能会导致数据丢失。

老大给的任务是其他办法workaround。

通过测试发现如下规律，先给出结论：

在分区表里增加字段后，向分区表插入数据有两种情况：  
1).分区在修改表结构前存在  
2).分区在修改表结构前不存在  
对于第二种情况，bug不存在  
针对第一种情形，  
执行alter table denglg add columns(c3 string);  查分区数据新增字段值为空，  
需再执行alter table denglg partition(step='1') add columns(c3 string);【假设当前只有step='1'的分区】  
3.删除对应的分区 day\_key=20131201

ALTER TABLE shphonefeature DROP IF EXISTS PARTITION(year = 2015, month = 10, day = 1);删除掉指定分区

具体测试如下，可以参考看看

1.新建分区表，插入两个分区的数据

1.   **CREATE** **TABLE** testtmp.denglg(c1 string, c2 string)PARTITIONED **BY** (step string);  
2.    **insert** **into** **table** testtmp.denglg partition(step='1') **select** '1','2' **from** **default**.dual;  
3.    **insert** **into** **table** testtmp.denglg partition(step='2') **select** '11','22' **from** **default**.dual;  
4.  hive> **select** \* **from** denglg **where** step='1';   hive> **select** \* **from** denglg **where** step='2';  
5.  OK                                           OK  
6.  1 2 1                              1122 2

2.新增字段c3

1.  **alter** **table** denglg **add** columns(c3 string);

3.向三个分区插入数据  
   insert into table testtmp.denglg partition(step='1') select '1','2','3' from default.dual;  
   insert into table testtmp.denglg partition(step='2') select '11','22','33' from default.dual;  
   insert into table testtmp.denglg partition(step='3') select '111','222','333' from default.dual;  
hive> select \* from denglg where step='1';  
OK  
1  2  NULL  1  
1  2  NULL  1  
Time taken: 0.122 seconds, Fetched: 2 row(s)  
hive> select \* from denglg where step='2';  
OK  
11  22  NULL  2  
11  22  NULL  2  
Time taken: 0.075 seconds, Fetched: 2 row(s)  
hive> select \* from denglg where step='3';  
OK  
111  222   333  3  
Time taken: 0.077 seconds, Fetched: 1 row(s)  
发现分区step=3不受影响  
4.执行alter table denglg partition(step='1') add columns(c3 string);  
hive> select \* from denglg where step='1';  
OK  
1  2  NULL  1  
1  2  3  1  
Time taken: 0.728 seconds, Fetched: 2 row(s)  
hive> select \* from denglg where step='2';  
OK  
11  22  NULL  2  
11  22  NULL  2  
验证上述结论正确。