压缩算法和压缩库

小鱼儿 2021-09-21 14:00 449阅读 0赞

### LZ4 ###

LZ4能很好的支持多线程环境，获得更高的压缩和解压速度。

![20131203153101156][]

### QuickLZ ###

QuickLZ官网：http://www.quicklz.com/

QuickLZ is the world's fastest compression library, reaching 308MB/s per core.

QuickLZ自称是世界上最快的压缩算法，然而我们看到它和LZ4还是有差距的，特别是解压速度。

![20131212141502062][]

### snappy ###

snappy项目：https://code.google.com/p/snappy/

snappy is developed by Google based on ideas from LZ77 and open-sourced in 2011.

It was designed to be very fast and stable, but not to achieve a high compression ratio.

Compression speed is 250MB/s and decompression speed is 500MB/s using a single threaded,

64-bit core i7 processor. The compression ratio is 20-100% lower than gzip.

snappy追求的是速度，压缩比并不高。

### zip ###

zlib库，可通过包含zlib.h使用。

zip原名为Deflate，仅支持一个LZ77的变种算法Deflate。

zip/unzip，后缀为.zip。zip也是Windows下常见的压缩格式。

###  gzip ###

gzip/gunzip是GNU程序，后缀为.gz。Web也常用GZIP压缩技术。

首先使用LZ77算法进行压缩，对结果再使用huffman编码进行压缩。

tar中用-z来调用：

tar -czf pic.tar.gz \*.jpg

tar -xzf pic.tar.gz

### bzip2 ###

bzip2/bunzip2，后缀为.bz2。

相比于gzip，压缩比更高，压缩效果比传统的LZ77/LZ78更好，但压缩速度较慢。

首先使用Burrows-Wheeler变换（BWT，块排序文本压缩），然后使用哈夫曼编码进行压缩。

tar中使用-j来调用：

tar -cjf pic.tar.bz2 \*.jpg

tar -xjf pic.tar.bz2

### compress ###

compress/uncompress，后缀为.Z，现在已经不再流行了。

使用LZ78算法的变种LZW。

tar中使用-Z来调用。

### rar ###

rar/unrar，后缀为.rar。

rar格式较zip格式的压缩比高。

注意RAR非免费，是Windows下常见压缩格式，也有RAR for Linux。

rar a pic \*.jpg // pic.rar

rar e pic.rar // pic

### 7z ###

7-Zip，后缀为.7z。

和rar、zip一样，7z也是Windows下常见的压缩格式。

使用改良与优化后的LZ77算法LZMA、LZMA2，压缩比高于zip。

### xz ###

xz，后缀为.xz。

如果说LZ4是压缩速度之王，xz则是压缩比之王。

一般来说，用xz压缩后的文件，能比用gzip压缩的小30%，比用bzip2压缩的小15%。

主要使用LZMA2压缩算法。

tar不支持xz格式，xz / xz -d。

### 测试 ###

Quick comparison: single thread, Core i5-3340M @2.7GHz, using the Open-Source Benchmark by m^2 (v0.14.2)

compiled with GCC v4.6.1 on Linux Ubuntu 64-bits v11.10, using the Silesia Corpus.

对比当前流行的压缩工具，可以看到LZ4具有最快的压缩和解压速度，尽管压缩比一般。

![20131128174238828][]

### 总结 ###

1.snappy 从各个方面是相对均衡的压缩算法,使用场景比较多

2.lz4 是了解到各方面都比较优越的算法,

3.当然还有其他的 lzo,gz,zlib 等等,相比上面两种来说要差一些,当然特殊场景下可以择优选取,但是通用场景选 snappy 或者 lz4 是比较不错的。

[20131203153101156]: /images/20210920/fd57d1decf714c4aa5cb430af1028f8f.png
[20131212141502062]: /images/20210920/2ad835ddf6f442848b911f453cb73429.png
[20131128174238828]: /images/20210920/ea4f744a94e64da3846ef43a76d1f8a7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，449人围观）

还没有评论，来说两句吧...

相关阅读

相关什么是压缩算法及压缩算法定义

目录一、什么是压缩算法文件存储二、压缩算法定义 -------------------- 一、什么是压缩算法我想必都有过压缩和解压缩文件的经历

我会带着你远行/ 2024年04月03日 08:22/ 0 赞/ 93 阅读

相关 LZW压缩算法

1.LZW压缩适用的场景：对于有大量重复出现的字符或者字符串，可以将重复出现的多个串用一个字符表示，并写进文件。比如可以压缩这个字符串：“TOBEORNOTTOBEORT

超、凢脫俗/ 2022年09月27日 04:54/ 0 赞/ 177 阅读

相关 Huffman 编码压缩算法

前两天发布那个[rsync算法][rsync]后，想看看数据压缩的算法，知道一个经典的压缩算法Huffman算法。相信大家应该听说过 [David Huffman][] 和他的

女爷i/ 2022年09月24日 15:29/ 0 赞/ 218 阅读

相关 Snappy压缩库安装和使用之一

近日需要在毕业设计中引入一个压缩库，要求压缩与解压缩速度快，但是压缩率可以不那么苛刻。查找资料发现Google的snappy库比较合适，而且该库开源，由C++写成。所以

ゞ浴缸里的玫瑰/ 2022年08月27日 05:55/ 0 赞/ 576 阅读

相关使用ZLib库压缩解压缩Demo

头文件： \include "zlib.h" 编译：需要加上 -lz 解压缩： 1. \define CHUNK 100000

迷南。/ 2022年08月08日 11:51/ 0 赞/ 227 阅读

相关 gzip压缩算法

gzip,zlib,以及图形格式png，使用的是同一个压缩算法deflate。我们通过对gzip源码的分析来对deflate压缩算法做一个详细的说明：第一，gzip压缩算法

谁借莪１个温暖的怀抱￠/ 2022年06月08日 03:09/ 0 赞/ 276 阅读

相关几款压缩库介绍

LZ4 LZ4能很好的支持多线程环境，获得更高的压缩和解压速度。 ![20131203153101156][] QuickLZ QuickLZ官网：

喜欢ヅ旅行/ 2022年05月11日 10:50/ 0 赞/ 1114 阅读

相关 Snappy压缩库安装和使用之一

近日需要在毕业设计中引入一个压缩库，要求压缩与解压缩速度快，但是压缩率可以不那么苛刻。查找资料发现Google的snappy库比较合适，而且该库开源，由C++写成。所以

- 日理万妓/ 2022年04月13日 10:24/ 0 赞/ 451 阅读

相关 python使用zlib库压缩图片，使用ffmpeg压缩视频

python压缩图片、视频图片压缩使用zlib库视频压缩使用工具ffmpeg ffmpeg -i 1.mp4 -r 10 -pix_fmt yuv42

本是古典何须时尚/ 2022年02月03日 11:27/ 0 赞/ 359 阅读

相关压缩算法和压缩库

LZ4 LZ4能很好的支持多线程环境，获得更高的压缩和解压速度。 ![20131203153101156][] QuickLZ QuickLZ官网：htt

小鱼儿/ 2021年09月21日 14:00/ 0 赞/ 450 阅读