Hadoop入门（七）之java对应的Hadoop数据类型及自定义类型序列化

￡神魔★判官ぃ 2022-06-09 04:18 510阅读 0赞

首先，我们都知道，Hadoop的读写都是通过流来实现的。在java中想把一个对象通过流进行读写，我们时要把它序列化和反序列化（Serialization、Deserialization）的。那么，Hadoop的对象读写操作也需要序列化-----格式： Writable 。 序列化在分布式环境的两大作用：进程间通信，永久存储。

下面，我们说一下Hadoop的数据类型：

Hadoop数据类型，基本上都是Writable接口的实现类。

上一篇，我们提到的数据类型Text对应java中的String（默认utf-8序列）

java基本类型                    Writable实现                            序列化大小（字节）

boolean                            BooleanWritable                               1

byte                                    ByteWritable                                      1

int                                       IntWritable （或VintWritable)          4(1~5)

float                                   FloatWritable                                      4

long                                   LongWritable(或VlongWritable)      8(1~9)

double                              DoubleWritable                                  8

再说一下Writable接口;

§Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.

§Mapper、Reducer的任意Key和Value必须实现Writable接口。

MR的任意key必须实现WritableComparable接口（而Java值对象的比较：一般需要重写toString()，hashCode()，equals()方法）

Writable接口有2个方法：

public interface Writable\{

void   write(DataOutpute out) throws IOException;  //把每个对象序列化到输出流

void   readFields(DataInpute in) throws IOException;  //把输入流字节反序列化

\}

下面看一下writable接口的完整结构：

![Center][]

下面这个就是自定义数据类型，要实现Writable接口：

![Center 1][]

下一篇，通过一个自定义类型的实例Demo,去理解自定义类型。

[Center]: /images/20220609/975bf62d5f6b4ce1bebf5924f73d1794.png
[Center 1]: /images/20220609/badd4b5bdaa64fac9926b9c51f9b373a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，510人围观）

还没有评论，来说两句吧...

相关阅读

相关自定义bean对象实现hadoop序列化

文章目录一、源代码 1.UserSaleMapper类 2. UserSaleReducer类

- 日理万妓/ 2023年09月26日 22:07/ 0 赞/ 60 阅读

相关 Hadoop数据类型

> Writable类 > > Hadoop将许多Writable类归入org.apache.hadoop.io包。形成如下图所示的类层次结构。![2016071720195

末蓝、/ 2022年09月23日 09:30/ 0 赞/ 122 阅读

相关 Hadoop 自定义序列化MapReduce实战

前言我笑了，跑个mapReduce，执行了三十秒自定义序列化这次实现手机号上行下行流量的求和，模拟使用MapReduce实现 Bean im

旧城等待，/ 2022年09月05日 00:14/ 0 赞/ 248 阅读

相关 Hadoop系列-MapReduce自定义数据类型（序列化、反序列化机制）（十二）

Github代码下载地址： 1，[JAVA工程代码][JAVA] 大家都知道，Hadoop中为Key的数据类型必须实现WritableComparable接口，而

港控/mmm°/ 2022年06月13日 05:24/ 0 赞/ 245 阅读

相关 Hadoop数据类型

一. Hadoop内置的数据类型 BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:

比眉伴天荒/ 2022年06月10日 04:53/ 0 赞/ 155 阅读

相关 Hadoop入门（八）自定义类型实例-统计手机流量数据Demo

业务需求：跟运营商后台数据，统计手机流量数据下面是部分数据的截图： ![Center][] 我们把上面每一行数据抽象出来安“\\t” 隔开出11个字段： ![C

矫情吗；*/ 2022年06月09日 04:26/ 0 赞/ 170 阅读

相关 Hadoop入门（七）之java对应的Hadoop数据类型及自定义类型序列化

首先，我们都知道，Hadoop的读写都是通过流来实现的。在java中想把一个对象通过流进行读写，我们时要把它序列化和反序列化（Serialization、Deserializ

￡神魔★判官ぃ/ 2022年06月09日 04:18/ 0 赞/ 511 阅读

相关 Hadoop 自定义序列化

需求统计每一个手机号耗费的总上行流量、下行流量、总流量。数据如下。 <table> <thead> <tr> <th>手机号</th>

àì夳堔傛蜴生んèń/ 2022年02月23日 03:14/ 0 赞/ 339 阅读

相关 Hadoop MR 之(二) 传递自定义数据类型 & 排序

前言前章, 我们介绍了简单的WordCount代码的基本实现([Hadoop MR 之(一) 编写自己的WordCount][Hadoop MR _ _WordCoun

Dear 丶/ 2022年02月23日 02:40/ 0 赞/ 365 阅读

相关 Hadoop之Hadoop序列化

Hadoop之Hadoop序列化 -------------------- 目录 1. 什么是序列化 2. 为什么要序列化 3. 为什么不用Java的序列化

傷城~/ 2022年01月21日 12:07/ 0 赞/ 300 阅读