Hive学习总结之列分割符和行分割符的使用

川长思鸟来 2023-02-21 06:57 31阅读 0赞

我们在Hive中在创建表时，一般会根据导入的数据格式来指定字段分隔符和列分隔符。一般导入的文本数据字段分隔符多为逗号分隔符或者制表符（但是实际开发中一般不用着这种容易在文本内容中出现的的符号作为分隔符），`如果我们使用了逗号。或者分号这类分割符，一旦文本中存在，那么就会丢失数据。`当然也有一些别的分隔符，也可以自定义分隔符。有时候也会使用hive默认的分隔符来存储数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]  
如上可以看出hive默认的列分割类型为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe，而这其实就是\*\*^A\*\*分隔符，hive中默认使用 \*\*^A(ctrl+A)\*\*作为列分割符，如果用户需要指定的话，等同于row format delimited fields terminated by ‘\\001’，因为^A八进制编码体现为’\\001’.所以如果使用默认的分隔符，可以什么都不加，也可以按照上面的指定加‘\\001’为列分隔符，效果一样。

<table> 
 <thead> 
  <tr> 
   <th>分隔符</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>\n</td> 
   <td>对于文本文件来说，每行都是一条记录，因此换行符可以分隔记录</td> 
  </tr> 
  <tr> 
   <td>^A(Ctrl+A)</td> 
   <td>用于分隔字段(列)。在CREATE TABLE语句中可以使用八进制编码\001表示</td> 
  </tr> 
  <tr> 
   <td>^B</td> 
   <td>用于分隔ARRAY或者STRUCT中的元素，或用于MAP中键-值对之间的分隔。在CREATE TABLE语句中可以使用八进制编码\002表示</td> 
  </tr> 
  <tr> 
   <td>^C</td> 
   <td>用于MAP中键和值之间的分隔。在CREATE TABLE语句中可以使用八进制编码\003表示</td> 
  </tr> 
 </tbody> 
</table>

CREATE TABLE emails (
        name string,
        salary FLOAT,
        subordinates ARRAY<STRING>,
        deductions MAP<STRING, FLOAT>,
        address STRUCT<street:STRING, city:STRING, state:STRING, zip:INT>
    )
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\001'
    COLLECTION ITEMS TERMINATED BY '\002'
    MAP KEYS TERMINATED BY '\003'
    LINES TERMINATED BY '\n'
    STORED AS TEXTFILE;

\-注意：`ROW FORMAT DELIMITED这组关键字必须要写在其他子句(除了STORED AS…)子句之前。`  
hive默认使用的行分隔符是’\\n’分隔符 ，也可以加一句：LINES TERMINATED BY ‘\\n’ ，加不加效果一样。但是区别是hive可以通过row format delimited fields terminated by '\\t’这个语句来指定不同的分隔符，但是hive不能够通过LINES TERMINATED BY '$$'来指定行分隔符，目前为止，hive的默认行分隔符仅支持‘\\n’字符。否则报错。

一般来说hive的默认行分隔符都是换行符，如果非要自定义行分隔符的话，可以通过自定义Inputformat和outputformat类来指定特定行分隔符和列分隔符。

当然如hive中集合数据类型struct ,map,array,也都有默认的字段分隔符，也都可以指定字段分隔符。hive中对于上述三个集合数据类型的默认字段分隔符是\*\*^B\*\*，八进制体现为‘\\002’,用collection items terminated by '\\002’语句来指定分隔符，对于map来说，还有键值之间的分割符，可以用map keys terminated by ‘\\003’（^C）来指定分隔符。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200629174137631.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA==,size_16,color_FFFFFF,t_70