大数据Sqoop系列之Sqoop导入导出数据

逃离我推掉我的手 2022-05-22 04:11 346阅读 0赞

# 一、Sqoop介绍 #

*  Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。

![70][]

*  Sqoop工具接收到客户端的shell命令或者Java api命令后，通过Sqoop中的任务翻译器(Task Translator)将命令转换为对应的MapReduce任务，而后将关系型数据库和Hadoop中的数据进行相互转移，进而完成数据的拷贝。

![70 1][]

# 二、导入数据  #

### 1.  参数说明 ###

## 链接MySQL数据库url
    --connect jdbc:mysql://127.0.0.1:3306/test_db
    
    ## 链接MySQL数据库用户名
    --username root
    
    ## 链接MySQL数据库密码
    --password 123456
    
    ## 链接MySQL数据库中的表
    --table tb1
    
    ## 设置map的个数
    --num-mappers 1 
    
    ## 设置导入到hdfs文件所在的位置
    --target-dir /datas/sqoop/input
    
    ## 设置导入到hdfs文件前先删除已经存在的目录
    --delete-target-dir 
    
    ## 设置导入到hdfs文件的分隔符
    --fields-teminated-by ',' 
    
    ## 设置增量导入到hdfs上的检查列
    --check-column id 
    
    ## 设置增量导入到hdfs上的追加方式
    --incremental append 
    
    ## 设置增量导入到hdfs上的开始位置
    --last-value 4
    
    ## 设置增量导入到hdfs上的文件存储格式
    --as-parquetfile
    
    ## 指定hive中的数据库
    --hive-database test_db 
    
    ## 设置操作类型
    --hive-import 
    
    ## 指定hive中的表
    --hive-table tb1
    
    ## 备注：delete-target-dir和incremental append不能同时使用

### 2.  Sqoop获取MySQL的所有数据库 ###

sqoop list-databases \
    --connect jdbc:mysql://127.0.0.1:3306 \
    --username root \
    --password 123456;

### 3.  Sqoop从MySQL导入数据到HDFS ###

sqoop import \
    --connect jdbc:mysql://127.0.0.1:3306/test_db \
    --username root \
    --password 123456 \
    --table tb1 \
    --num-mappers 1 \
    --target-dir /datas/sqoop/input \
    --delete-target-dir;

### 4.  Sqoop从MySQL导入数据到Hive ###

sqoop import \
    --connect jdbc:mysql://127.0.0.1:3306/test \
    --username root \
    --password 123456 \
    --table tb1 \
    --num-mappers 1 \
    --fields-terminated-by ',' \
    --delete-target-dir \
    --hive-database test \
    --hive-import \ 
    --hive-table tb1;

# 三、导出数据 #

### 1.  参数说明 ###

## 链接MySQL数据库url
    --connect jdbc:mysql://127.0.0.1:3306/test_db
    
    ## 链接MySQL数据库用户名
    --username root
    
    ## 链接MySQL数据库密码
    --password 123456
    
    ## 链接MySQL数据库中的表
    --table tb1
    
    ## 设置map的个数
    --num-mappers 1
    
    ## 设置hdfs文件导出的分隔符
    --fields-terminated-by ','
    
    ## 设置hdfs文件所在的位置
    --export-dir /user/hive/warehouse/test_db.db/tb1

### 2.  Sqoop从Hive导出数据到MySQL ###

sqoop export \
    --connect jdbc:mysql://127.0.0.1:3306/test_db \
    --username root \
    --password 123456 \
    --table tb1 \
    --num-mappers 1 \
    --fields-terminated-by ',' \
    --export-dir /user/hive/warehouse/test_db.db/tb1;

[70]: /images/20220522/0548fdd632154b4da07f5bccabaa9e58.png
[70 1]: /images/20220522/20350bfa8551433e9a4cca209412b8a6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，346人围观）

还没有评论，来说两句吧...

相关阅读

相关 Sqoop数据导入导出常用参数

Sqoop数据导入导出常用参数 bin/sqoop import \\ -----------------公有----------------------

冷不防/ 2022年12月27日 14:15/ 0 赞/ 247 阅读

相关 sqoop导入mysql重复_sqoop 增量导入，数据重复问题

根据自增ID导入数据时重复，可以使用下列方法 ![3e5476ad1c1f13085b16f28cc1213091.png][] 7.2.10. Incremental I

素颜马尾好姑娘i/ 2022年10月28日 12:26/ 0 赞/ 304 阅读

相关 sqoop数据导入导出应用案例

sqoop数据导入导出应用案例 sqoop导入数据 1 语法 2 测试数据

快来打我*/ 2022年06月12日 10:20/ 0 赞/ 249 阅读

相关大数据Sqoop系列之Sqoop1.x安装部署

1. 下载链接 [http://mirrors.shuosc.org/apache/sqoop/1.4.6/sqoop-1.4.6.bin\_\_hadoop-2.0.4

客官°小女子只卖身不卖艺/ 2022年06月04日 02:23/ 0 赞/ 191 阅读

相关大数据Sqoop系列之Sqoop导入导出数据

一、Sqoop介绍 Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到

逃离我推掉我的手/ 2022年05月22日 04:11/ 0 赞/ 347 阅读

相关 Sqoop全量数据导入、增量数据导入、并发导入（Sqoop进阶）

Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。下面依次来看： -------------------- 全量数据导入就像名

短命女/ 2022年05月20日 10:36/ 0 赞/ 481 阅读

相关 Sqoop从mysql导入数据至HDFS操作（sqoop初级）

后面文章打算用flume + kafka + SlipStream流处理结合起来做一个黑名单访问实时监测数据案例，所以就不单独介绍每个组件具体的用法了，直接在实战中让大家

超、凢脫俗/ 2022年05月19日 05:53/ 0 赞/ 559 阅读

相关 sqoop的导入导出

1.Sqoop的数据导入在mysql中有一个库userdb中三个表：emp, emp\_add和emp\_contact 表emp: <table style="mar

古城微笑少年丶/ 2022年03月15日 11:14/ 0 赞/ 331 阅读

相关 Sqoop导出数据 02

1. hdfs导出到mysql 创建mysql表 CREATE TABLE `emp_out` ( `id` INT(11) DEFAULT

迷南。/ 2022年02月25日 12:06/ 0 赞/ 237 阅读

相关大数据_Sqoop

大数据\_Sqoop 简述 sqoop1与sqoop2区别架构 Sqoop安装 Sqoop的数据导入 MySQL表导入H

港控/mmm°/ 2021年10月06日 04:30/ 0 赞/ 415 阅读