sqoop使用以及常见问题

电玩女神 2022-03-09 13:00 448阅读 0赞

### 1、hdfs文件的权限问题 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2plcnJ5RHphbg_size_16_color_FFFFFF_t_70][]

问题分析与解决：

根据报错信息是hdfs文件的权限问题，命令进入集群执行的用户为null，而hdfs文件所有者为hdfs。

要么以用户hdfs执行命令，要么调整hdfs文件的权限，因为我只是使用hdfs文件的其中之一，暂时考虑：以hdfs用户执行命令。

在~/.bash\_profile文件增加：

export HADOOP\_USER\_NAME=hdfs

### 2、文件格式问题 ###

hive sequencefile导入文件遇到FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match the file format of the destination table.错误

原因

这是因为SequenceFile的表不能使用load来加载数据，只能导入sequence类型的数据

解决办法

*  先创建一个临时表（save as textfile），将数据导入进去，
 *  然后再导入这个表里   insert into table test\_sq select \* from test\_tex

### 3、错误：ERROR tool.ImportTool: Error during import: No primary key could be found for table TRANS\_GJJY02. Please specify one with --split-by or perform a sequential import with '-m 1'. ###

![20190313113254697.png][]

根据错误提示我们可以知道这是因为表中的数据没有设置主键。而针对这个问题有两种杰解决方案：

方案一：老老实实地在表中设置主键，然后再执行这个导入语句，就不会出错。

方案二：有些数据无法设置主键，比如很多的监测记录数据，找不到唯一值，针对这种数据，我们可以根据上面的错误提示通过以下两个方法来解决：

（1）将你的map个数设置为1（Sqoop默认是4）

-m 1

(2)使用--split-by，后面跟上表的最后一列名字。从而能够对数据进行分行 ，命令如下：

--split-by column1

这两种解决方法，推荐使用方法（2），因为方法（1）只用一个map，效率太低，相比较而言，方法（2）可以自己设置map个数，效率会高一些。

### 4、Output directory already exists错误 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2plcnJ5RHphbg_size_16_color_FFFFFF_t_70 1][]

增加配置参数  --delete-target-dir \\

### 5、ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop.splitter.allow\_text\_splitter=true" property passed as a parameter ###

Caused by: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop.splitter.allow\_text\_splitter=true" property passed as a parameter  
        at org.apache.sqoop.mapreduce.db.TextSplitter.split(TextSplitter.java:67)  
        at org.apache.sqoop.mapreduce.db.DataDrivenDBInputFormat.getSplits(DataDrivenDBInputFormat.java:201)  
        ... 23 more

解决方法：在sqoop import命令后加参数 -Dorg.apache.sqoop.splitter.allow\_text\_splitter=true

### 6、常用命令整理 ###

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--append</code></td> 
   <td>将数据追加到hdfs中已经存在的dataset中。使用该参数，sqoop将把数据先导入到一个临时目录中，然后重新给文件命名到一个正式的目录中，以避免和该目录中已存在的文件重名。</td> 
  </tr> 
  <tr> 
   <td><code>--as-avrodatafile</code></td> 
   <td>将数据导入到一个Avro数据文件中|</td> 
  </tr> 
  <tr> 
   <td><code>--as-sequencefile</code></td> 
   <td>将数据导入到一个sequence文件中</td> 
  </tr> 
  <tr> 
   <td><code>--as-textfile</code></td> 
   <td>将数据导入到一个普通文本文件中，生成该文本文件后，可以在hive中通过sql语句查询出结果。</td> 
  </tr> 
  <tr> 
   <td><code>--boundary-query &lt;statement&gt;</code></td> 
   <td>边界查询，也就是在导入前先通过SQL查询得到一个结果集，然后导入的数据就是该结果集内的数据，格式如：<code>--boundary-query 'select id,no from t where id = 3'</code>，表示导入的数据为id=3的记录，或者 <code>select min(&lt;split-by&gt;), max(&lt;split-by&gt;) from &lt;table name&gt;</code>，注意查询的字段中不能有数据类型为字符串的字段，否则会报错</td> 
  </tr> 
  <tr> 
   <td><code>--columns&lt;col,col&gt;</code></td> 
   <td>指定要导入的字段值，格式如：<code>--columns id,username</code></td> 
  </tr> 
  <tr> 
   <td><code>--direct</code></td> 
   <td>直接导入模式，使用的是关系数据库自带的导入导出工具。官网上是说这样导入会更快</td> 
  </tr> 
  <tr> 
   <td><code>--direct-split-size</code></td> 
   <td>在使用上面direct直接导入的基础上，对导入的流按字节数分块，特别是使用直连模式从PostgreSQL导入数据的时候，可以将一个到达设定大小的文件分为几个独立的文件。</td> 
  </tr> 
  <tr> 
   <td><code>--inline-lob-limit</code></td> 
   <td>设定大对象数据类型的最大值</td> 
  </tr> 
  <tr> 
   <td><code>-m,--num-mappers</code></td> 
   <td>启动N个map来并行导入数据，默认是4个，最好不要将数字设置为高于集群的节点数</td> 
  </tr> 
  <tr> 
   <td><code>--query，-e &lt;sql&gt;</code></td> 
   <td>从查询结果中导入数据，该参数使用时必须指定<code>–target-dir</code>、<code>–hive-table</code>，在查询语句中一定要有where条件且在where条件中需要包含 <code>\$CONDITIONS</code>，示例：<code>--query 'select * from t where \$CONDITIONS ' --target-dir /tmp/t –hive-table t</code></td> 
  </tr> 
  <tr> 
   <td><code>--split-by &lt;column&gt;</code></td> 
   <td>表的列名，用来切分工作单元，一般后面跟主键ID</td> 
  </tr> 
  <tr> 
   <td><code>--table &lt;table-name&gt;</code></td> 
   <td>关系数据库表名，数据从该表中获取</td> 
  </tr> 
  <tr> 
   <td><code>--delete-target-dir</code></td> 
   <td>删除目标目录</td> 
  </tr> 
  <tr> 
   <td><code>--target-dir &lt;dir&gt;</code></td> 
   <td>指定hdfs路径</td> 
  </tr> 
  <tr> 
   <td><code>--warehouse-dir &lt;dir&gt;</code></td> 
   <td>与 <code>--target-dir</code> 不能同时使用，指定数据导入的存放目录，适用于hdfs导入，不适合导入hive目录</td> 
  </tr> 
  <tr> 
   <td><code>--where</code></td> 
   <td>从关系数据库导入数据时的查询条件，示例：<code>--where "id = 2"</code></td> 
  </tr> 
  <tr> 
   <td><code>-z,--compress</code></td> 
   <td>压缩参数，默认情况下数据是没被压缩的，通过该参数可以使用gzip压缩算法对数据进行压缩，适用于SequenceFile, text文本文件, 和Avro文件</td> 
  </tr> 
  <tr> 
   <td><code>--compression-codec</code></td> 
   <td>Hadoop压缩编码，默认是gzip</td> 
  </tr> 
  <tr> 
   <td><code>--null-string &lt;null-string&gt;</code></td> 
   <td>可选参数，如果没有指定，则字符串null将被使用</td> 
  </tr> 
  <tr> 
   <td><code>--null-non-string &lt;null-string&gt;</code></td> 
   <td>可选参数，如果没有指定，则字符串null将被使用|</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--enclosed-by &lt;char&gt;</code></td> 
   <td>给字段值前后加上指定的字符，比如双引号，示例：<code>--enclosed-by '\"'</code>，显示例子："3","jimsss","dd@dd.com"</td> 
  </tr> 
  <tr> 
   <td><code>--escaped-by &lt;char&gt;</code></td> 
   <td>给双引号作转义处理，如字段值为"测试"，经过 <code>--escaped-by "\\"</code> 处理后，在hdfs中的显示值为：<code>\"测试\"</code>，对单引号无效</td> 
  </tr> 
  <tr> 
   <td><code>--fields-terminated-by &lt;char&gt;</code></td> 
   <td>设定每个字段是以什么符号作为结束的，默认是逗号，也可以改为其它符号，如句号<code>.</code>，示例如：<code>--fields-terminated-by</code></td> 
  </tr> 
  <tr> 
   <td><code>--lines-terminated-by &lt;char&gt;</code></td> 
   <td>设定每条记录行之间的分隔符，默认是换行串，但也可以设定自己所需要的字符串，示例如：<code>--lines-terminated-by "#"</code> 以#号分隔</td> 
  </tr> 
  <tr> 
   <td><code>--mysql-delimiters</code></td> 
   <td>Mysql默认的分隔符设置，字段之间以<code>,</code>隔开，行之间以换行<code>\n</code>隔开，默认转义符号是<code>\</code>，字段值以单引号<code>'</code>包含起来。</td> 
  </tr> 
  <tr> 
   <td><code>--optionally-enclosed-by &lt;char&gt;</code></td> 
   <td>enclosed-by是强制给每个字段值前后都加上指定的符号，而<code>--optionally-enclosed-by</code>只是给带有双引号或单引号的字段值加上指定的符号，故叫可选的</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--hive-home &lt;dir&gt;</code></td> 
   <td>Hive的安装目录，可以通过该参数覆盖掉默认的hive目录</td> 
  </tr> 
  <tr> 
   <td><code>--hive-overwrite</code></td> 
   <td>覆盖掉在hive表中已经存在的数据</td> 
  </tr> 
  <tr> 
   <td><code>--create-hive-table</code></td> 
   <td>默认是false，如果目标表已经存在了，那么创建任务会失败</td> 
  </tr> 
  <tr> 
   <td><code>--hive-table</code></td> 
   <td>后面接要创建的hive表</td> 
  </tr> 
  <tr> 
   <td><code>--table</code></td> 
   <td>指定关系数据库表名</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--check-column (col)</code></td> 
   <td>用来作为判断的列名，如id</td> 
  </tr> 
  <tr> 
   <td><code>--incremental (mode)</code></td> 
   <td>append：追加，比如对大于last-value指定的值之后的记录进行追加导入。lastmodified：最后的修改时间，追加last-value指定的日期之后的记录</td> 
  </tr> 
  <tr> 
   <td><code>--last-value (value)</code></td> 
   <td>指定自从上次导入后列的最大值（大于该指定的值），也可以自己设定某一值</td> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2plcnJ5RHphbg_size_16_color_FFFFFF_t_70]: /images/20220309/0577966fa4fd4f4fa5283c34bacf5787.png
[20190313113254697.png]: /images/20220309/5fdfc0aedbad44e7999edbb0164cc3e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2plcnJ5RHphbg_size_16_color_FFFFFF_t_70 1]: /images/20220309/e96dd9350b574a98890f18b5475feb1a.png