HDFS写入读取原理详解

古城微笑少年丶 2023-02-23 12:04 136阅读 0赞

# 前言 #

HDFS（分布式文件系统）是当下大数据处理组件Hadoop的重要组成部分，用来处理海量数据的存储问题。

企业面试常常会询问些原理方面的知识，只是知道如何操作是不行的，毕竟原理是你学会工具调优的基础，毕竟到企业级开发，不能像在学校demo级开发那么奢侈，能省则省，用最小的资源，获得性能最优是关键。

# HDFS的三大角色 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70]  
在HDFS中，关键的三大角色为：**NameNode（命名节点）**、**DataNode（数据节点）**、**Client（客户端）**

我们来看看上面的这张图，我们根据这个图来简单描述下这三个元素的作用。  
**NameNode**：从图上我们可以看到Client会存储Metadata（元数据）到NameNode上，同时也可以从NameNode上都去Metadata。那么，Metadata  
里包含什么呢？Metadata主要包含了从Client上传的文件存储的路径以及文件在DataNode中的block块位置，以便我们需要读取的时候还能够找到他们，这就好比你去银行存钱，你说你账户想不起来了，这咋去找你的存款呢？

**DataNode**：HDFS会将数据存储在不同的服务器上，这就是分布式的意义，而每个服务器就可以理解为是一个DataNode。在DataNode中，文件都是以Block块的形式进行存储。存储是通过NameNode的元数据中的信息来分配的，Client也是通过获取存储在NameNode上的元数据来读取各个分布存储的Block块。

**Client**：这个就没啥好说的，我们用户通过客户端来执行HDFS的操作，实现HDFS的读取、写入等等操作。

# HDFS写入过程 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 2]  
这里有两张图，画了HDFS的写入文件流程，应该是能很直观地理解，就不赘述了。我们来讲些这么设计的缘由吧，这样更好地帮助大家理解。

**为什么文件要切成block块存储？**

HDFS作为一个分布式文件系统，目的是解决大型数据文件的存储。单节点存储的问题是什么？就是单个节点服务器可能存储不了庞大的文件。

比如说服务器有1TB的容量，然后你要存5TB的文件，这明显存不下来，而且也没有这样容量的单个服务器呀。因此通过HDFS把文件切割成block块，通过分布式，分别平摊的存到多个服务器上，这样的话对于这么多个服务器存储量都是能够接受的，且都可以进行后续的计算。

**为什么DataNode中文件block块有重复？**  
因为是分布式存储，你不能保证你这个文件存储的服务器哪一天突然就挂了，要是不做副本备份，你的数据就这么丢失了。这个问题是十分严重的，毕竟那些删库跑路的程序猿对于一个企业的损失都是千万级别的，都是牢底坐穿的。

**DataNode中block写入为什么不是都通过NameNode写入**  
HDFS设计是基于线性的流水写入，不支持并行的操作。NameNode选择一个DataNode写入block块，之后是存储的DataNode对其他的DataNode建立流水线进行复制备份操作，默认是保存3份，即有三个DataNode拥有同一个block。

# HDFS读取过程 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 4]  
读取相对应于写入就比较简单了，和单节点的读取没有什么区别，唯一不同的是在读取完block块后，先是返回到客户端的缓存区进行组装成完整的文件，随后再给客户端使用。上面的两张图片将整个流程展现的十分清楚了，这里也不进行赘述了。

# 结语 #

如果说这篇文章有让你学到一定的知识的话，不妨点个赞和关注，让博主能够看到。如果讲解中有什么错误和疏忽，也劳烦在评论中指出或提问，博主会第一时间进行更新和答复，谢谢！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200707110013621.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200707112700425.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200707132250813.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200707114953973.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200707132845672.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA==,size_16,color_FFFFFF,t_70