往HIVE表中导入导出数据的几种方式详解

深碍√TFBOYSˉ_ 2022-05-30 07:50 277阅读 0赞

**一：往HIVE表中导入导出数据**

**语法结构:\[ \]带括号的表示可选择字段**

**LOAD DATA \[LOCAL\] INPATH 'filepath' \[OVERWRITE\] INTO**

**TABLE tablename \[PARTITION (partcol1=val1, partcol2=val2 ...)\]**

各种参数说明：

**1** **-**hive只对导入该表中的数据按照自己的方式 处理，对于错误的数据不管，超出直接丢弃。

**2** \-  **Load 操作只是单纯的复制/移动操作，将数据文件移动到 Hive 表对应的位置。** **所以也可以直接hadoop fs -put  ./1.txt   /user/hive/warehouse/web\_log.db/staff/ 将数据直接导入到hive表对应的位置。****hive对导入的数据没有查错的功能，只是按自己的表字段进行匹配，格式匹配不了的默认用Null替代，** **hive属于读时模式。**

**3** \- LOCAL关键字， 如果指定了 LOCAL， load 命令会去查找本地文件系统中的 filepath。 如果没有指定 LOCAL 关键字，则根据inpath中的uri查找文件

**4** \- OVERWRITE 关键字， 如果使用了 OVERWRITE 关键字，则目标表（或者分区）中的 **内容会先被全部被删除** ，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。 如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。

**1.往Hive表导入数据方式**

**1、本地导入(本地导入以后1.txt文件本地还有备份的)**

load data local inpath 'local\_path/file' into table 表名称 ;

ex: load data  local inpath ./1.txt into table staff;

**2、HDFS导入(导入完以后hdfs上的1.txt文件就不存在了)**

load data inpath 'hdfs\_path/file' into table 表名称 ;

ex: load data inpath '/user/jerry.txt' into table jerry;//不能少了单引号

load data  inpath'hdfs://hadoop102:8020/user/jerry.txt' into table jerry;

**3，覆盖导入:本地文件导入，hdfs文件导入加了overwrite参数而已**

1. load data local inpath 'path/file' overwrite into table 表名称 ;

ex: load data  local inpath ./1.txt  ovewrite  into table staff;

2.load data inpath 'path/file' overwrite into table 表名称 ;

ex:load data inpath '/user/jerry.txt'  overwrite into table jerry;

**4、查询导入(其实就是创建新表)**

create table track\_log\_bak as select \* from db\_web\_data.track\_log;

**5、insert查询结果插入hive中（insert导入必须基于别的表查询导入的)将查询结果插入Hive表**

语法结构 (overwrite在前面，load的ove rwrite在后面)

INSERT OVERWRITE TABLE tablename1 \[PARTITION (partcol1=val1, partcol2=val2 ...)\]

select\_statement1 FROM from\_statement

覆盖-overwrite-显示指定-使用频率高

追加-append-默认方式 （用into）

** insert  into table staff （这里没有as） select \* from track\_log;**

**       insert overwrite table staff2 select id,name from staff where id<100;**

**2.从Hive表导出数据方式(也是查询方式导出，跟导入区别insert后面一个是table,一个是directory)**

**1、hive中数据导出到本地**

标准语法 ： INSERT OVERWRITE \[LOCAL\] DIRECTORY directory1 SELECT ... FROM ...

例如：insert overwrite local directory "/home/admin/Desktop/1/2"

row format delimited  fields terminated by '\\t'

select \* from db\_hive\_demo.emp ;（row 这一行可以不加）

**温馨提示：会递归创建目录,一定要选择文件夹，否则会覆盖目录，造成数据丢失**

**2、insert查询结果导出到HDFS**

insert overwrite  directory 'hdfs://hadoop102:8020/user/hive/warehouse/emp2/emp2'

select \* from emp where empno >7800;

**3、Bash shell覆盖追加导出**

例如：$ bin/hive -e "select \* from staff;"  > /home/z/backup.log

**4、Sqoop把hive数据导出到外部**

发表评论取消回复

表情：

评论列表（有 0 条评论，277人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive(四)--数据导入导出方式

导入 Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从

电玩女神/ 2022年09月29日 05:18/ 0 赞/ 261 阅读

相关 Hive四种数据导入方式

Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中

绝地灬酷狼/ 2022年07月16日 07:07/ 0 赞/ 194 阅读

相关 hive 数据导入表的方式

1. 本地导入创建学生表，将”\\t”作为分割 CREATE TABLE student (id int , name string, sex string

爱被打了一巴掌/ 2022年06月07日 09:18/ 0 赞/ 233 阅读

相关 Hive四种数据导入方式

Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中

谁践踏了优雅/ 2022年06月07日 03:09/ 0 赞/ 255 阅读

相关往HIVE表中导入导出数据的几种方式详解

一：往HIVE表中导入导出数据语法结构:\[ \]带括号的表示可选择字段 LOAD DATA \[LOCAL\] INPATH 'filepath' \[OVERWRIT

深碍√TFBOYSˉ_/ 2022年05月30日 07:50/ 0 赞/ 278 阅读

相关 Hive的数据导入和导出方式

> HIve导入数据和导出数据的方式 load方式，本地 `load data local inpath 'local_path' into table tb_name;

秒速五厘米/ 2022年05月29日 03:20/ 0 赞/ 448 阅读

相关往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解

往hive数据仓库的表中导入数据，可以直接insert ，也可以选择load方式。当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive

古城微笑少年丶/ 2022年05月24日 03:54/ 0 赞/ 191 阅读

相关 Hive调优、Hive表数据导入、Hive表数据导出 09

1. Fetch抓取（Hive可以避免进行MapReduce） Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT \ FROM em

约定不等于承诺〃/ 2022年02月28日 11:28/ 0 赞/ 333 阅读

相关一起学Hive——详解四种导入数据的方式

在使用Hive的过程中，导入数据是必不可少的步骤，不同的数据导入方式效率也不一样，本文总结Hive四种不同的数据导入方式：从本地文件系统导入数据从HDFS中导

╰+攻爆jí腚メ/ 2022年02月16日 11:06/ 0 赞/ 300 阅读

相关往HBase导入数据的几种操作

HBase作为Hadoop DataBase，除了使用put进行数据导入之外，还有以下几种导入数据的方式：（1）使用importTsv功能将csv文件导入HBase；（

妖狐艹你老母/ 2021年09月17日 01:30/ 0 赞/ 2856 阅读