MySQL表导入到HDFS

旧城等待， 2023-06-25 07:55 2阅读 0赞

导入loudacre数据库中的account表到HDFS

sqoop import \
    --connect jdbc:mysql://localhost/loudacre \
    --username training --password training \
    --table accounts \
    --target-dir /loudacre/accounts \
    --null-non-string '\\N'

## 增量更新导入到HDFS ##

–check-column <column name> 检查的增量更新的列

–last-value <largest\_column\_num> 检查的列中的上一个导入的值

sqoop import \
    --connect jdbc:mysql://localhost/loudacre \
    --username training --password training \
    --incremental append \
    --null-non-string '\\N' \
    --table accounts \
    --target-dir /loudacre/accounts \
    --check-column acct_num \
    --last-value <largest_acct_num>

## 指定的字段分隔符导入到HDFS ##

–fields-terminated-by <char> 表示要进行设置的字段分隔符，默认是”,”，这里我们可以用制表符”\\t”

sqoop import \
    --connect jdbc:mysql://localhost/loudacre \
    --username training --password training \
    --table webpage \
    --target-dir /loudacre/webpage \
    --fields-terminated-by "\t"

## 特定条件的数据导入到HDFS ##

可用–where <where clause> 来指定要导入的条件

sqoop import \
    --connect jdbc:mysql://localhost/loudacre \
    --username training --password training \
    --table accounts \
    --where "state = 'CA' and acct_close_dt IS NULL" \
    --target-dir /loudacre/accounts-active  \
    --null-non-string '\\N'

## 将MySQL数据导入到Hive中 ##

使用–hive-import 可将表导入到Hive中

sqoop import \
    --connect jdbc:mysql://localhost/loudacre \
    --username training --password training \
    --fields-terminated-by '\t' \
    --table device \
    --hive-import

## 使用avro的格式导入到HDFS ##

使用–as-avrodatafile可将导入数据格式化成avro

sqoop import \
    --connect jdbc:mysql://localhost/loudacre \
    --username training --password training \
    --table accounts \
    --target-dir /loudacre/accounts-avro  \
    --null-non-string '\N' \
    --as-avrodatafile

## 使用parquet的格式导入到HDFS ##

使用–as-parquetfile可将导入数据格式化成parquet

sqoop import \
    --connect jdbc:mysql://localhost/loudacre \
    --username training --password training \
    --table accounts \
    --target-dir /loudacre/accounts-parquet  \
    --null-non-string '\N' \
    --as-parquetfile