Hive 表的复制

桃扇骨 2022-02-01 12:41 282阅读 0赞

简介  
本文介绍hive中表的复制

非分区表的复制  
如果我们想要复制一张非分区表,可以使用create tale as去解决;

实例  
假如我们有一张t\_temp的表,为普通的内部表.复制可以采用如下的语句:

create table t\_copy as select \* from t\_temp;  
1  
这样就复制出一张和t\_temp结构一致的表

分区表的复制  
分区表如果采用这种create…as…的方法去复制,数据是可以查询的,但是表的结构是错误的，他已经变成了一个非分区表.想要去实现分区表的复制,有下面2种方法

动态分区  
我们可以建一张和t\_temp一样的表结构的表，然后使用动态分区的方法把数据导入

create table t\_copy like t\_part;  
insert overwrite  table  t\_copy partition(year,month)  
select id,name,orderdate,substring(orderdate,1,4),substring(orderdate,6,2) from t\_part;  
1  
2  
3  
执行后可以得到和之前一样的分区表,但是这种方法并不是最快的方法   
\- 注意当使用了overwrite时，不再使用into.

msck修复分区  
我们可以先复制出一张表结构和t\_part一样的表,然后将t\_part表目录下的数据copy到t\_copy,然后使用分区表的msck指令去重新生成分区.

create table t\_copy like t\_part;  
dfs -cp /user/hive/warehouse/test\_neil.db/t\_part/\* /user/hive/warehouse/test\_neil.db/t\_copy/;  
msck repair table t\_copy;  
1  
2  
3  
使用这样的方法同样可以去快速copy分区表,而且这样操作的速度比使用动态分区要快,因为我们移动数据是使用hdfs的文件复制,而不是启动mapreduce作业.  
\---------------------   
作者：过河卒子Rover   
来源：CSDN   
原文：https://blog.csdn.net/qq\_26937525/article/details/54947813   
版权声明：本文为博主原创文章，转载请附上博文链接！

发表评论取消回复

表情：

评论列表（有 0 条评论，282人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive(1):快速复制表

. CREATE TABLE new\_table LIKE old\_table; 2. 使用hadoop fs -cp 命令，把old\_table对应的HDFS目...

太过爱你忘了你带给我的痛/ 2024年04月18日 19:41/ 0 赞/ 65 阅读

相关 Mysql 表复制和表数据复制

ysql中用命令行复制表结构的方法主要有一下几种: **1.只复制表结构到新表** 1 CREATE TABLE 新表 SELECT * FROM 旧表...

素颜马尾好姑娘i/ 2024年04月18日 09:20/ 0 赞/ 118 阅读

相关 hive复制表结构

1、复制非分区表结构 CREATE TABLE bigdata17\_new AS SELECT \ FROM bigdata17\_old; 2、复制分区表结构 C

短命女/ 2023年03月13日 02:33/ 0 赞/ 23 阅读

相关 Hive中怎么快速复制分区表

（作者：陈玓玏 [data-master][]）我们在hive中操作底层表时，经常会在临时库中做一些测试，然后再把一些测试过程中产生的需要长期保留的结果固化到线上库中。或

朴灿烈づ我的快乐病毒、/ 2023年03月01日 05:37/ 0 赞/ 20 阅读

相关 Hive_定位hive表的各种信息

目录一、目的二、操作 1、建表 2、desc formatted 表名 3、desc 表名 4、show create table 表名 ----------

傷城~/ 2022年09月02日 04:16/ 0 赞/ 163 阅读

相关 mysql表的复制

1.复制表结构及数据到新表 CREATE TABLE 新表 SELECT \ FROM 旧表 2.只复制表结构到新表 CREATE TABLE 新表 SELECT \ F

妖狐艹你老母/ 2022年08月03日 05:11/ 0 赞/ 210 阅读

相关 HIVE Hive内部表和外部表的区别

未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自

系统管理员/ 2022年05月12日 12:08/ 0 赞/ 270 阅读

相关 Hive调优、Hive表数据导入、Hive表数据导出 09

1. Fetch抓取（Hive可以避免进行MapReduce） Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT \ FROM em

约定不等于承诺〃/ 2022年02月28日 11:28/ 0 赞/ 361 阅读

相关 Hive 表的复制

简介本文介绍hive中表的复制非分区表的复制如果我们想要复制一张非分区表,可以使用create tale as去解决; 实例假如我们有一张t\_temp

桃扇骨/ 2022年02月01日 12:41/ 0 赞/ 283 阅读

相关 mysql表的复制

mysql> select from stu; +----+--------+----------+---------------------+-------

末蓝、/ 2021年10月18日 16:34/ 0 赞/ 340 阅读