几种压缩方式及各自优缺点【重点】

叁歲伎倆 2023-10-14 11:53 50阅读 0赞

![up-7f60fb9cec81b3e56b5177e4e91d947eb2c.png][]

**压缩方式有Gzip、Bzip2、LZO、Snappy压缩等几种方式，他们的优缺点分别为：**

**1.Gzip压缩：Hadoop自带的压缩方式，不支持切片，压缩比率高，但压缩速度慢；**

应用场景：

（1）因为不支持切片，所以可以用在“当每个文件压缩之后都不超过130M以内的（一个块大小内）的场景。”

**2.Bzip2压缩：Hadoop自带的压缩方式，支持切片，压缩率很高，比Gzip还高，但压缩速度很慢，毕竟慢工出细活；**

应用场景：

（1）适合对速度要求不高，但需要较高的压缩率的时候

（2）输出的数据比较大，需要压缩存档减少磁盘空间并且以后数据用的少的情况（冷数据）

（3）单个很大的文本文件想压缩来减少存储空间，同时又需要支持Split。

**3.LZO压缩：Hadoop默认不支持LZO，需要手动配置才可以使用，支持切片，压缩率介于Gzip和Snappy之间，压缩速度也较快。**

应用场景：

（1）当一个文本文件很大时，压缩之后还大于200M以上的可以考虑，而且单个文件越大，LZO有点越明显。

**4.Snappy压缩：Hadoop自带的压缩方式，不支持切片，压缩率较低，但压缩速度特别快。**

应用场景：

（1）当Map输出的数据较大，作为Map到Reduce的中间数据的压缩格式

（2）作为一个MapReduce作业的输出（reduce）和另一个MapReduce作业的输入（Map）

**提示：**  如果面试过程问起，我们一般回答压缩方式为   Snappy   ，特点速度快，缺点无法

切分（可以回答在链式   MR   中，   Reduce   端输出使用   bzip2   压缩，以便后续的   map   任务对数   据进行   split   ）

**项目经验之**   **LZO**   **压缩**

Hadoop   默认不支持   LZO   压缩，如果需要支持   LZO   压缩，需要添加   jar   包，并在   hadoop   的   cores-site.xml   文件中添加相关压缩配置。

[up-7f60fb9cec81b3e56b5177e4e91d947eb2c.png]: https://oscimg.oschina.net/oscnet/up-7f60fb9cec81b3e56b5177e4e91d947eb2c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，50人围观）

还没有评论，来说两句吧...

相关阅读

相关 java压缩图片几种方式及安装

[Springboot集成GraphicsMagick - 掘金][Springboot_GraphicsMagick -] [Linux下安装GraphicsMagick\

迈不过友情╰/ 2024年02月22日 06:58/ 0 赞/ 64 阅读

相关几种压缩方式及各自优缺点【重点】

![up-7f60fb9cec81b3e56b5177e4e91d947eb2c.png][] 压缩方式有Gzip、Bzip2、LZO、Snappy压缩等几种方式，他们的优

叁歲伎倆/ 2023年10月14日 11:53/ 0 赞/ 51 阅读

相关 JSON常见几种压缩方式

无论使用何种编程语言，json格式的数据已被广泛应用，不论是数据的传输还是存储，在很多应用场景下，你可能想进一步地压缩JSON字符串的长度，以提升传输效率，如果你使用的是nos

落日映苍穹つ/ 2023年07月11日 15:25/ 0 赞/ 74 阅读

相关 Redis集群的5种使用方式，各自优缺点分析

一、常见使用方式 Redis 的几种常见使用方式包括： Redis 单副本 Redis 多副本(主从) Redis Sentinel(哨兵) Red

冷不防/ 2023年07月10日 15:43/ 0 赞/ 45 阅读

相关前端实时通信的几种方式及其优缺点

1.短轮询短轮询的原理很简单，每隔一段时间客户端就发出一个请求，去获取服务器最新的数据，一定程度上模拟实现了即时通讯。优点：兼容性强，实现非常简单缺点：延迟性

电玩女神/ 2023年03月04日 09:17/ 0 赞/ 58 阅读

相关 asp.net中常用的几种页面间传递参数的方法,及各自优缺点

1、页面重定向方式中常用的两 (1)Redirect 方法将客户端重定向到新的页面，只是简单地终止当前页面，并转入新的页面开始执行，对转入的页面无任何限制。 (2)Tra

Dear 丶/ 2023年02月28日 01:41/ 0 赞/ 50 阅读

相关 Redis集群的5种使用方式，各自优缺点分析

参考文章：[Redis集群的5种使用方式，各自优缺点分析][Redis_5] 一、常见使用方式 Redis 的几种常见使用方式包括： > 1. Redis 单副本

男娘i/ 2023年01月14日 10:55/ 0 赞/ 155 阅读

相关解析几种编码器技术原理及优缺点

关注+星标公众号，不错过精彩内容 ![2101ea76daabfe7c09079235da904925.gif][] 编排 | strongerHuang 来源 |

系统管理员/ 2022年11月07日 13:24/ 0 赞/ 204 阅读

相关 Android图片压缩几种方式

图片压缩在Android开发中很常见也很重要，防止图片的OOM也是压缩的重要原因。首先看下Bitmap图片文件的大小的决定因素： Bitmap所占用的内存 =

我会带着你远行/ 2022年09月28日 01:21/ 0 赞/ 601 阅读

相关八：动态代理的几种实现方式及优缺点

1. 动态代理 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM

绝地灬酷狼/ 2022年02月04日 13:47/ 0 赞/ 309 阅读