HDFS读取副本的选择策略

绝地灬酷狼 2022-06-15 01:36 165阅读 0赞

HDFS对文件的存储是分块来存储的，即HDFS对于客户端写入的数据先按照固定大小对这些数据进行分块，然后把每一个数据块的多个副本存储在不同的DataNode节点上，同时不同的数据块也可能存储在不同的DataNode节点上。那么，当客户端要从HDFS上读取某个文件时，它又是如何处理的呢？很明显，客户端也是按照分块来读取文件的数据的，关于客户端如何分块读取文件的详细原理与过程我已经在前面的博文中详细的阐述了，在这里就不多赘述了。但是，一个数据块有多个副本，客户端到底优先读取那个DataNode节点上的该数据块的副本呢？这将是本要所要讨论的重点了，即HDFS读取副本的选择策略，而这个工作具体是由NameNode来完成的。

当客户端读到一个文件的某个数据块时，它就需要向NameNode节点询问这个数据块存储在那些DataNode节点上，这个过程如下图：

![0_1329139300n9Y8.gif][]

当然，客户端至少需要向NameNode传输三个参数：文件路径、读取文件的起始位置、读取文件的长度，而NameNode会向该客户端返回它所要读取文件内容所在的位置——LocatedBlock对象，该对象包含对应的数据块所有副本所在的DataNode节点的位置信息，客户端接着就会依次从这些DataNode节点上读取该数据块，直到成功读取为止。这里就设计到了一个优化问题了：客户端应该总是选择从距离它最近的可用DataNode节点上读取需要的数据块，所以此时的关键就是如何来计算客户端与DataNode节点之间的距离。这个计算距离的问题本质上涉及到我前面介绍过的一种数据结构——NetworkTopology，这种数据结构被NameNode节点用来形象的表示HDFS集群中所有DataNode节点的物理位置，自然这个优化工作就交由NameNode来处理了。

NameNode对文件的读优化的实现很简单，基本原理就是按照客户端与DataNode节点之间的距离进行排序，距客户端越近的DataNode节点越被放在LocatedBlock的前面，该算法的基本思路如下：

1.如果该Block的一个副本存在于客户端，则客户端优先从本地读取该数据块；

2.如果该Block的一个副本与客户端在同一个机架上，且没有一个副本存放在客户端，则客户端优先读取这个同机架上的副本；否则客户端优先读取同机器的副本，失败的情况下然后再优先考虑这个同机架上的副本；

3.如果该Block既没有一个副本存在客户端，又没有一个副本与客户端在同一个机架上，则随机选择一个DataNode节点作为优先节点。

其详细实现如下：

/**  
       * @param reader 客户端
       * @param nodes 某个Block所在的DataNode节点
     */
    public void pseudoSortByDistance( Node reader, Node[] nodes ) {
        int tempIndex = 0;
        if (reader != null ) {
          int localRackNode = -1;
          //scan the array to find the local node & local rack node
          for(int i=0; i<nodes.length; i++) {
            if(tempIndex == 0 && reader == nodes[i]) { //local node
              //swap the local node and the node at position 0
              if( i != 0 ) {
                swap(nodes, tempIndex, i);
              }
              tempIndex=1;
              if(localRackNode != -1 ) {
                if(localRackNode == 0) {
                  localRackNode = i;
                }
                break;
              }
            } else if(localRackNode == -1 && isOnSameRack(reader, nodes[i])) {
              //local rack
              localRackNode = i;
              if(tempIndex != 0 ) break;
            }
          }
    
          // swap the local rack node and the node at position tempIndex
          if(localRackNode != -1 && localRackNode != tempIndex ) {
            swap(nodes, tempIndex, localRackNode);
            tempIndex++;
          }
        }
        
        // put a random node at position 0 if it is not a local/local-rack node
        if(tempIndex == 0 && nodes.length != 0) {
          swap(nodes, 0, r.nextInt(nodes.length));
        }
      }

从上面的具体实现可以看，这种优化策略存在一个很大的缺陷：完全没有考虑到DataNode上的负载情况，从而致使HDFS的读性能急速下降。这一点也正好反映了HDFS好友很大的优化空间，但遗憾的是，HDFS对这种读Block时的副本选择策略并没有开放给开发者，以至于大大的增加了优化的难度。

[0_1329139300n9Y8.gif]: /images/20220615/6f6e8508f4f44b78849d387bc52d5d10.png

发表评论取消回复

表情：

评论列表（有 0 条评论，165人围观）

还没有评论，来说两句吧...

相关阅读

相关 Windows Server 中存储副本的已知问题

存储副本的已知问题 2019/06/25 适用于：Windows Server 2019、Windows Server 2016、Windows Server（半年频

刺骨的言语ヽ痛彻心扉/ 2023年10月09日 13:14/ 0 赞/ 4 阅读

相关 6.2.2 分区与副本

6.2.2分区与副本 > 本章最开始分析底层的消息集时，主要专注物理层面的日志、日志分段、日志管理器，并没有过多考虑什么时候通过日志管理器去调用日志对象的相关方法。然后，在分

忘是亡心i/ 2023年01月15日 12:26/ 0 赞/ 102 阅读

相关【kafka源码】kafka分区副本的分配规则

> 该文章可能已过期,已不做勘误并更新,请访问原文地址(持续更新) [Kafka中分区副本的分配规则][Kafka] > kafka管控平台推荐使用滴滴开源

阳光穿透心脏的1/2处/ 2022年10月05日 14:55/ 0 赞/ 178 阅读

相关 HDF文件的显示策略

作者：朱金灿来源：[http://blog.csdn.net/clever101][http_blog.csdn.net_clever101] hd

浅浅的花香味﹌/ 2022年08月13日 12:45/ 0 赞/ 167 阅读

相关 HDFS的副本存放策略——ReplicationTargetChooser

HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为Map

梦里梦外;/ 2022年06月16日 02:08/ 0 赞/ 133 阅读

相关 HDFS读取副本的选择策略

HDFS对文件的存储是分块来存储的，即HDFS对于客户端写入的数据先按照固定大小对这些数据进行分块，然后把每一个数据块的多个副本存储在不同的DataNode节点上，

绝地灬酷狼/ 2022年06月15日 01:36/ 0 赞/ 166 阅读

相关控制Elasticsearch分片和副本的分配

ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引

逃离我推掉我的手/ 2022年06月06日 14:39/ 0 赞/ 172 阅读

相关 HDFS副本存放策略

数据分块存储和副本的存放，是保证可靠性和高性能的关键将每个文件的数据进行分块存储，每一个数据块又保存有多个副本。这些数据块副本分布在不同的机器节点上设置备份数

水深无声/ 2022年06月04日 04:43/ 0 赞/ 139 阅读

相关 HDFS中副本的相关问题

\\\\\副本存放策略： 1、先在客户端所连接的datanode上存放一个副本 2、再在另一个机架上选择一个datanode存放第二个副本 3、最后在本机架上根据负载情况

矫情吗；*/ 2022年05月24日 11:18/ 0 赞/ 130 阅读

相关 Elasticsearch副本的作用

副本分片的作用：副本分片的主要目的是为了故障转移。（1）故障转移/集群恢复如果持有主分片的节点挂了，一个副本分片就会晋升为主分片在索引写入时，副本分片做

谁借莪１个温暖的怀抱￠/ 2022年05月16日 02:57/ 0 赞/ 189 阅读