各个序列化框架（Java序列化、Avro 序列化、Kyro）

灰太狼 2023-06-11 12:27 396阅读 0赞

## Java 序列化 ##

Java  提供了一种对象序列化的机制，该机制中，一个对象可以被表示为一个字节序列，该字节序列包括该对象的数据、有关对象的类型的信息和存储在对象中数据的类型。

将序列化对象写入文件之后，可以从文件中读取出来，并且对它进行反序列化，也就是说，对象的类型信息、对象的数据，还有对象中的数据类型可以用来在内存中新建对象。

整个过程都是 Java 虚拟机（JVM）独立的，也就是说，在一个平台上序列化的对象可以在另一个完全不同的平台上反序列化该对象。

java 通过实现 Serializable 接口实现序列化。

*  只支持 Java 语言的序列化
 *  序列化和反序列化性能低
 *  序列化产出的数据很大（尤其在数据量大时体现比较明显）

## Kyro ##

Kryo 是一个快速高效的 Java 二进制对象图序列化框架。该项目的目标是传输快、数据量小和易于使用的API。在任何需要持久化对象的时候，不管是文件、数据库还是网络，这个项目都很有用。

官文介绍，Kryo序列化机制比Java序列化机制性能提高10倍左右

Kryo 还可以执行自动的深度和深度复制/克隆。这是直接从对象复制到对象，而不是从对象复制到字节再复制到对象。

如何在 Spark 中使用 Kryo 序列化：[Spark 中的 Kryo 磁盘序列化][Spark _ Kryo]

## Avro ##

Avro 是一个数据序列化系统，提供了

*  **丰富的数据结构**
 *  **一种紧凑、快速的二进制数据格式**
 *  **用于存储持久数据的容器文件。**
 *  **远程过程调用(RPC)。**
 *  **与动态语言的简单集成。**读取或写入数据文件不需要代码生成，也不需要使用或实现RPC协议。代码生成作为一种可选的优化，只值得为静态类型语言实现。

**Schemas**

Avro 依赖于模式。当读取 Avro 数据时，写入数据时使用的模式始终存在。这使得每个数据的写入没有每个值的开销，使得序列化既快又小。这也促进了动态脚本语言的使用，因为数据及其模式是完全自描述的。

当 Avro 数据存储在一个文件中时，它的模式也随之存储，这样以后任何程序都可以处理这些文件。如果读取数据的程序需要不同的模式，那么可以很容易地解决这个问题，因为两个模式都存在。

在 RPC 中使用 Avro 时，客户机和服务器在连接握手中交换模式。(这可以进行优化，因此对于大多数调用，实际上不传输模式。)由于客户机和服务器都具有对方的完整模式，所以相同命名字段、缺少字段、额外字段等之间的通信都可以很容易地解决。

Avro 模式是用 JSON 定义的。这有助于在已经拥有 JSON 库的语言中实现。

## 与其他系统的比较 ##

Avro 提供了与系统类似的功能，如 Thrift、Protocol Buffers 等。Avro 在以下几个基本方面与这些系统不同。

*  **动态类型：**Avro 不需要生成这些代码。数据总是伴随着一个模式，该模式允许对数据进行完全处理，而不需要代码生成、静态数据类型等。这有助于构建通用的数据处理系统和语言。
 *  **未标识数据：**由于在读取数据时存在模式，因此需要用数据编码的类型信息要少得多，从而导致序列化的大小更小。
 *  **没有手动分配的字段ID：**当模式更改时，处理数据时总是同时存在旧模式和新模式，因此可以使用字段名象征性地解决差异。

[Spark _ Kryo]: https://blog.csdn.net/zpf_940810653842/article/details/102854358

发表评论取消回复

表情：

评论列表（有 0 条评论，396人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka结合Avro、confluent进行序列化和反序列化

首先需要添加如下的依赖：  <

末蓝、/ 2023年06月30日 09:15/ 0 赞/ 34 阅读

相关各个序列化框架（Java序列化、Avro 序列化、Kyro）

Java 序列化 Java 提供了一种对象序列化的机制，该机制中，一个对象可以被表示为一个字节序列，该字节序列包括该对象的数据、有关对象的类型的信息和存储在对象中数据的

灰太狼/ 2023年06月11日 12:27/ 0 赞/ 397 阅读

相关序列化/反序列化

序列化/反序列化转载声明本文大量内容系转载自网络，有删改，并参考其他文档资料加入了一些内容： [java序列化，看这篇就够了][java]

╰半夏微凉°/ 2023年02月24日 03:52/ 0 赞/ 96 阅读

相关 Apache Avro 序列化与反序列化 (Java 实现)

![apache-avro-150x150.png][] 像两个交流一样要找一个互相能理解的语言, 在国内为普通话, 跑国外多用英语相通, 两个进程间通信也需要找一个大家都能

短命女/ 2022年07月11日 05:55/ 0 赞/ 284 阅读

相关 avro序列化和反序列化——利用avsc文件方式

主要参考： [https://blog.csdn.net/u013054888/article/details/64444908][https_blog.csdn.net_u

Bertha 。/ 2022年05月19日 23:10/ 0 赞/ 289 阅读

相关 avro序列化和反序列化——使用生成类方式

主要参考： [https://blog.csdn.net/u013054888/article/details/64444908][https_blog.csdn.net_u

短命女/ 2022年05月19日 23:10/ 0 赞/ 296 阅读

相关序列化，反序列化

序列化：对象的序列化主要有两种用途：　　1）把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中；　　2）在网络上传送对象的字节序列。　　

系统管理员/ 2022年05月16日 12:13/ 0 赞/ 446 阅读

相关 avro序列化实例

hadoop中，就是用的avro作为序列化的，现在按照官方文档，我们按照如下步骤来做这个实例。 1. 构建maven工程，加入apache-avro依赖库，以及插件依赖。

左手的ㄟ右手/ 2022年04月03日 11:06/ 0 赞/ 370 阅读

相关 Java序列化、反序列化

目录 1：什么是序列化、反序列化？ 2：序列化的用途？ 3：序列化的n种方式 1：什么是序列化、反序列化？把对象转换为字节序列的过程称为对象的序列化

た入场券/ 2022年02月23日 07:44/ 0 赞/ 397 阅读

相关 java序列化、反序列化

Java 序列化是 JDK 1.1 时引入的一组开创性的特性，用于将 Java 对象转换为字节数组，便于存储或传输。此后，仍然可以将字节数组转换回 Java 对象原有的状态。

系统管理员/ 2021年05月12日 11:49/ 0 赞/ 850 阅读