Hive压缩

曾经终败给现在 2023-10-13 22:48 115阅读 0赞

![v2-4b22527985384cedba02ae95e6d244cc\_250x0][v2-4b22527985384cedba02ae95e6d244cc_250x0]

### Hive的压缩 ###

HQL语句最终会被编译成Hadoop的Mapreduce job,因此hive的压缩设置，实际上就是对底层MR在处理数据时的压缩设置。

#### hive在map阶段的压缩 ####

map阶段的设置， 就是在MapReduce的shuffle阶段对mapper产生的中间结果数据压缩 。 在这个阶段，优先选择一个低CPU开销的算法。

<property>
        <name>hive.exec.compress.intermediate</name>
        <value>false</value>
    </property>
    
    
    <property>
        <name>hive.intermediate.compression.codec</name>
        <value/>
    </property>
    
    
    <property>
        <name>hive.intermediate.compression.type</name>
        <value/>
    </property>

#### hive在reduce阶段的压缩 ####

即对reduce阶段的输出数据进行压缩设置。

<property>
        <name>hive.exec.compress.output</name>
        <value>false</value>
    </property>
    
    注意:如果开启，默认使用中间压缩配置的压缩编码器和压缩类型。

#### 常用压缩格式 ####

<table> 
 <thead> 
  <tr> 
   <th>压缩格式</th> 
   <th>压缩比</th> 
   <th>压缩速度</th> 
   <th>需要安装</th> 
   <th>支持切分</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bzip2</td> 
   <td>最高</td> 
   <td>慢</td> 
   <td>否</td> 
   <td>是</td> 
  </tr> 
  <tr> 
   <td>gzip</td> 
   <td>很高</td> 
   <td>比较快</td> 
   <td>否</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>snappy</td> 
   <td>比较高</td> 
   <td>很快</td> 
   <td>是</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>lzo</td> 
   <td>比较高</td> 
   <td>很快</td> 
   <td>是</td> 
   <td>是(需要建立索引)</td> 
  </tr> 
 </tbody> 
</table>

#### 压缩编码器： ####

<table> 
 <thead> 
  <tr> 
   <th>压缩格式</th> 
   <th>压缩编码器</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>deflate</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec</td> 
  </tr> 
  <tr> 
   <td>gzip</td> 
   <td>org.apache.hadoop.io.compress.GzipCodec</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>org.apache.hadoop.io.compress.BZip2Codec</td> 
  </tr> 
  <tr> 
   <td>lzo</td> 
   <td>com.hadoop.compression.lzo.LzopCodec（中间输出使用）</td> 
  </tr> 
  <tr> 
   <td>snappy</td> 
   <td>org.apache.hadoop.io.compress.SnappyCodec（中间输出使用）</td> 
  </tr> 
 </tbody> 
</table>

案例测试：

-- 开启中间压缩机制
    hive (mydb)> set hive.exec.compress.intermediate=true;
    -- 设置中间压缩编码器
    hive (mydb)> set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;
    -- 设置压缩类型
    hive (mydb)> set hive.intermediate.compression.type=RECORD;
    -- 开启reduce端的压缩机制
    hive (mydb)> set hive.exec.compress.output=true;
    
    
    
    create external table if not exists stocks_seq_2 (
    exchange1 string,
    symbol string,
    ymd string,
    price_open float,
    price_high float,
    price_low float,
    price_close float,
    volume int,
    price_adj_close float
    )
    row format delimited
    fields terminated by ','
    stored as sequencefile;
    
    --动态加载数据：
    insert into stocks_seq_2 select * from stocks_1;
    
    验证数据是否变小了..........

### **更多大数据精彩内容欢迎B站搜索“[千锋教育][Link 1]”或者扫码领取全套资料** ###

【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频

[v2-4b22527985384cedba02ae95e6d244cc_250x0]: https://img-blog.csdnimg.cn/img_convert/944a580dfd75bb40d9535cbbef57fc16.jpeg
[Link 1]: https://space.bilibili.com/146668655?spm_id_from=333.337.0.0