sqoop工具安装和基本命令使用记录

电玩女神 2022-05-28 05:06 150阅读 0赞

> sqoop底层就是MR，利用MapReduce加快数据传输速度，批处理方式进行数据传输，sqoop不管是导入还是导出都没有reduce操作，只有map操作。

#### 安装sqoop ####

1、下载上传[sqoop-1.4.5-cdh5.3.6][]到hadoop环境上面，需要先搭建好hadoop环境。  
2、修改配置文件/opt/cdhmoduels/sqoop-1.4.5-cdh5.3.6/conf目录下的配置文件sqoop-env.sh文件，先去掉后面的临时标识template。主要修改上地方，参考如下:

export HADOOP_COMMON_HOME=/opt/cdhmoduels/hadoop-2.5.0-cdh5.3.6
    export HADOOP_MAPRED_HOME=/opt/cdhmoduels/hadoop-2.5.0-cdh5.3.6
    export HIVE_HOME=/opt/cdhmoduels/hive-0.13.1-cdh5.3.6

3、使用sqoop与mysql进行操作，需要上传mysql的驱动包到sqoop的lib目录下，`/opt/cdhmoduels/sqoop-1.4.5-cdh5.3.6/lib`,mysql的驱动包网上下载一个就好。

#### sqoop的常用命令 ####

查看帮助命令
    [hadoop1@hadoop sqoop-1.4.5-cdh5.3.6]$ bin/sqoop help
    usage: sqoop COMMAND [ARGS]
    Available commands:
      codegen            Generate code to interact with database records
      create-hive-table Import a table definition into Hive eval Evaluate a SQL statement and display the results export Export an HDFS directory to a database table help List available commands import Import a table from a database to HDFS ..... 查看子命令的帮助类似这样 [hadoop1@hadoop sqoop-1.4.5-cdh5.3.6]$ bin/sqoop list-databases --help list-databases 就是你需要执行的子命令

显示数据库下面的表命令

bin/sqoop list-tables --connect jdbc:mysql://hadoop.madman.com:3306/cdhmetastore --username root --password aaa111
    上面的命令是写在一行上面的，有时候写在一行不方便，可以用下面这种换行的形式，但是换行后面需要加上 \ 符号，特别注意前面需要加上空格，要不然会用问题的，命令和参数值需要写在同一行。
    bin/sqoop list-databases \
    --connect jdbc:mysql://hadoop.madman.com:3306 \
    --username root \
    --password aaa111

#### sqoop的导出命令 ####

先新建库和表用于测试。

建库
    create database if not exists sqoop;
    
    建表：
    create table tohdfs( id int primary key not null, name varchar(20) not null );
    插数据：
    insert into tohdfs value('1','one');
    insert into tohdfs value('2','two');
    insert into tohdfs value('3','three');
    insert into tohdfs value('4','four');
    insert into tohdfs value('5','five');
    insert into tohdfs value('6','six');
    insert into tohdfs value('7','seven');
    insert into tohdfs value('8','eight');
    insert into tohdfs value('9','six');
    insert into tohdfs value('10','seven');
    insert into tohdfs value('11','eight');
    【mysql导入到HDFS默认路劲是/user/hadoop1/tohdfs】
    bin/sqoop import \
    --connect \
    jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username \
    root \
    --password \
    aaa111 \
    --table \
    tohdfs \
    【mysql导入到HDFS并指定路劲】
    bin/sqoop import \
    --connect \
    jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username \
    root \
    --password \
    aaa111 \
    --table \
    tohdfs \
    --target-dir \
    /sqoop
    【指定Mapper个数】
    bin/sqoop import \
    --connect \
    jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username root \
    --password aaa111 \
    --table tohdfs \
    --delete-target-dir \
    --target-dir /sqoop \
    --num-mappers 1
    -----------------------------------
    --delete-target-dir 删除目标目录
    --num-mappers 1 指定mapper个数
    
    【指定Mapper个数和指定分隔符】
    --------------------------------
    Input parsing arguments:输入指定分隔符
    Output line formatting arguments:输出指定分隔符
    -----------------------------
    bin/sqoop import \
    --connect \
    jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username root \
    --password aaa111 \
    --table tohdfs \
    --delete-target-dir \
    --target-dir /sqoop \
    --num-mappers 1 \
    --fields-terminated-by '\t'
    【更快的运行方式】
    bin/sqoop import \
    --connect \
    jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username root \
    --password aaa111 \
    --direct \
    --table tohdfs \
    --delete-target-dir \
    --target-dir /sqoop \
    --num-mappers 1 \
    --fields-terminated-by '\t'
    -----------------------
    --direct 简称：快速模式

##### 增量导入 #####

> 有时候我们从mysql导出到HDFS的时候，不需要每次都重新导入，那我们就可以使用增量导入的形式。

Incremental import arguments:
       --check-column <column> Source column to check for incremental change    --incremental <import-type> Define an incremental import of type 'append' or 'lastmodified'    --last-value <value> Last imported value in the incremental check column 检查列，将某一列作为一个增量导入的依据，一般是主键                           
    实现导入方式： 'append' or 'lastmodified'                          
    根据最后插入的值来判断 ，--last-value指的是上一次最后插入的值，或者是最后导入的那条记录的时间
    案例：
    【增量导入】
    bin/sqoop import \
    --connect \ jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username root \ --password aaa111 \ --direct \ --table tohdfs \ --target-dir /sqoop \ --num-mappers 1 \ --fields-terminated-by '\t' \ --check-column id \ --incremental append \ --last-value 5 --------------------------- 时间戳的案例
    --last-value '2017-05-14 15:00:30'

#### 通过创建job的形式导出数据 ####

查看job的帮助命令  
`$ bin/sqoop job --help`  
案例

bin/sqoop job \
    --create stu_info \ -- \ import \
    --connect \ jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username root \ --password aaa111 \ --direct \ --table tohdfs \ --target-dir /sqoop \ --num-mappers 1 \ --fields-terminated-by '\t' \ --check-column id \ --incremental append \ --last-value 8 查看job任务的命令
    $ bin/sqoop job --show stu_info
    执行job的命令
    [hadoop1@hadoop sqoop-1.4.5-cdh5.3.6]$ bin/sqoop job --exec stu_info

#### 从mysql导入hive中 ####

案例

bin/sqoop import \
    --connect \ jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username root \ --password aaa111 \ --table tohdfs \ --hive-import \ --hive-database db_emp \ --hive-table stu_info \ --num-mappers 1 \ --fields-terminated-by '\t' ------------------------------ create database student;
    create table stu_info(
    id int,
    name string
    )
    row format delimited fields terminated by '\t'
    hive的导出和mysql导到HDFS一样，先将数据文件放到HDFS上，然后将结果集移动到hive的表对应的文件夹下

#### sqoop导出 ####

> 可以使用sqoop导出HDFS或者HIVE到mysql,导入的命令是一样的，只是–export-dir的目录不一样而已。

案例：

建表：
    create table tomysql( id int primary key not null, name varchar(20) not null );
    参考命令：
    bin/sqoop export \
    --connect \
    jdbc:mysql://hadoop.madman.com:3306/sqoop \
    --username root \
    --password aaa111 \
    --table tomysql \
    --export-dir /sqoop \
    --num-mappers 1 \
    --input-fields-terminated-by '\t'

#### sqoop执行文件命令 ####

执行sqoop 文件
    bin/sqoop --options-file sqoop.file
    sqoop.file文件内容：
    export
    --connect jdbc:mysql://hadoop.madman.com:3306/sqoop
    --username root
    --password aaa111
    --table filetomysql
    --export-dir /sqoop
    --num-mappers 1
    --input-fields-terminated-by '\t'

[sqoop-1.4.5-cdh5.3.6]: http://www.apache.org/dyn/closer.lua/sqoop/1.4.7