HDFS 读取流程详解

朱雀 2022-04-16 04:36 222阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3M1NjYwZ3Q_size_16_color_FFFFFF_t_70][] 数据流示意图

上图描述了HDFS客户端程序在读取文件时的各个主要事件的流程。

*  第一步：客户端程序（client）通过调用FileSystem对象的open()方法来打开需要读取的文件，在HDFS中FileSystem是DistributedFileSystem类的一个实例。
 *  第二步：DistributedFileSystem 使用RPC调用namenode的相关接口，来获取要读取的文件所包含的数据块（block）信息。（如果要读取的文件很大，它就包含许多数据块（block），这时DistributedFileSystem一次只会加载一部分块信息。）

<table> 
 <tbody> 
  <tr> 
   <td>对于每个block，namenode都会返回存储该数据块副本的所有datanode地址。需要留意的是，这些地址是按照一定的规则排序好的。如果客户端所在的节点本身就是一个datanode，比如MapReduce任务，且存储有需要读取的block副本的话，那么客户端就会从本机读取数据。<br> DistributedFileSystem将会返回一个FSDataInputStream类型的对象，该对象是一个支持文件索引的输入流对象。客户端程序就通过FSDataInputStream来读取数据。FSDataInputStream中封装了用来进行datanode和namenode做通信管理的类DFSInputStream。</td> 
  </tr> 
 </tbody> 
</table>

*  第三步：客户端程序调用DFSInputStream的read()方法从最近的datanode上读取数据块。
 *  第四步：DFSInputStream执行read()方法，即从指定的datanode上读取数据。
 *  第五步：当前一个数据块已经读取完成之后，DFSInputStream将会关闭与对应datanode的连接，然后寻找下一个数据块所在的datanode。从客户端程序的角度来看，所读取的流依然是同一个，因此数据块之间的切换对其是透明的。
 *  第六步：当客户端所需文件的全部数据都读取完成时，客户端程序将调用FSDataInputStream的close()方法来关闭流。

--------------------

### 数据容错 ###

如果在读取数据时出错，例如与对应的datanode连接中断，那么DFSInputStream将会终止与该datanode的连接并从数据块副本地址队列里取出下一个最近的datanode地址，然后连接读取数据。如果所需文件包含的其他数据块副本也有保存在出错datanode中的话，当读取对应数据块时就不再启用出错datanode了。除了检测是否断开连接这种大的问题之外，DFSInputStream同时也会验证所读取数据的校验和。如果发现读取的数据校验和与正确校验和不对应，则可以断定该数据已经损坏，那么DFSInputStream将会丢弃错误数据然后从其他副本存储地址中去读取，同时将错误信息报告给namenode。

--------------------

### 性能提升 ###

在以上所提到的数据读取模式中，客户端程序只在namenode上获取所需文件的数据块信息，而读取数据时则是客户端程序直接连接datanode。这种设计可以允许更多的客户端程序同时访问HDFS，因为数据传输的压力被分布到了集群中的各个datanode上，而namenode仅仅负责处理对数据块地址的请求。由于文件与数据块副本的对应关系是存储在namenode的内存中的，则namenode在处理来自客户端的请求时效率是很高的。在一个集群中，namenode通常只有不到10个（一般的小型集群通常只有一个活动的namenode），这时namenode的带宽和性能就成了整个集群的瓶颈所在，这种不需要namenode处理数据块传输的设计方式极大地解放了namenode，使得集群的效率明显提升，可扩展性也极大增强。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3M1NjYwZ3Q_size_16_color_FFFFFF_t_70]: /images/20220416/4346250df11c4b898296e6dd2fb36e34.png