Hadoop3.2.1 【 HDFS 】源码分析 :DatanodeDescriptor解析

男娘i 2022-12-15 02:20 152阅读 0赞

# 一.前言 #

数据节点描述符（DatanodeDescriptor）是Namenode中对Datanode的抽象， 继承自DatanodeInfo类。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70][]

# 二.DatanodeId #

DatanodeID用于唯一标识一个Datanode,Datanode是通过<ip, port>以及storageId进行标识的

// IP地址
      private String ipAddr;     // IP address
    
    
      private ByteString ipAddrBytes; // ipAddr ByteString to save on PB serde
    
      // Datanode声明的hostname
      private String hostName;   // hostname claimed by datanode
    
    
      private ByteString hostNameBytes; // hostName ByteString to save on PB serde
    
      //真实连接的hostname
      private String peerHostName; // hostname from the actual connection
    
      //数据传输端口
      private int xferPort;      // data streaming port
    
    
      // info服务端口
      private int infoPort;      // info server port
    
      // info服务端口
      private int infoSecurePort; // info server port
    
      // IPC服务端口
      private int ipcPort;       // IPC server port
    
    
      //数据传输地址
      private String xferAddr;

## 三.DatanodeInfo ##

DatanodeInfo类继承自DatanodeId，实现了Node接口. 它携带了一些比较简单的Datanode信息

//容量
      private long capacity;
      //使用的空间
      private long dfsUsed;
      //非hadoop文件系统所使用的空间
      private long nonDfsUsed;
      //剩余空间
      private long remaining;
      //数据块池使用量
      private long blockPoolUsed;
      //缓存容量
      private long cacheCapacity;
      //缓存使用量
      private long cacheUsed;
      //上次更新时间
      private long lastUpdate;
    
      private long lastUpdateMonotonic;
    
      // xceiver数量
      private int xceiverCount;
    
      //地址
      private volatile String location = NetworkTopology.DEFAULT_RACK;
    
      //软件版本
      private String softwareVersion;

HDFS使用AdminStates定义了Datanode可能处于的状态 \[五种\]

NORMAL("In Service"), //服务中
        DECOMMISSION_INPROGRESS("Decommission In Progress"), //退役中
        DECOMMISSIONED("Decommissioned"),   //退役
        ENTERING_MAINTENANCE("Entering Maintenance"), //这维护中
        IN_MAINTENANCE("In Maintenance"); //维护中

# 四.DatanodeDescriptor #

DatanodeDescriptor是Namenode中用于描述一个Datanode信息的类.DatanodeDescriptor继承自DatanodeInfo类。

这个类只用在Namenode侧， 对于Client是不可见的。

**■ Datanode状态相关：** 包括isAlive、currApproxBlocksScheduled等字段。 isAlive记录当前Datanode是否有效 ;currApproxBlocksScheduled等几个成员变量用于估计Datanode的负载，在写文件操作分配数据块或进行数据块复制时， 根据节点负载信息， 选择比较空闲的节点作为目标节点

■ **指令相关：** DatanodeDescriptor中的bandwidth、 replicateBlocks、erasurecodeBlocks 、recoverBlocks、invalidateBlocks字段都是与Namenode向Datanode下达指令相关的字段。

**bandwidth：** HDFS系统管理员可以通过“dfsadmin -setBalanacerBandwidth<newbandwidth>”命令更改均衡器（balancer） 带宽。  
新设置的带宽值将会赋值给bandwidth字段， 并通过心跳下发到指定Datanode。 当下发指令完成后， bandwidth将会被重置为0。

**replicateBlocks：** 保存要在当前Datanode上复制的副本队列， Namenode会在下次心跳回复中将这个队列中的一部分副本带到Datanode， 并下发复制指令， Datanode接受指令后会将该数据块副本复制到目标数据节点。replicateBlocks的类型是BlockQueue， 它保存的元素类型是BlockTargetPair。BlockQueue是DatanodeDescriptor的内部类， 是一个简单的队列类。BlockTargetPair类则包含了要被复制的数据块以及复制操作的目标数据节点（列表） 两项信息。

**recoverBlocks：** 保存要在当前Datanode上进行数据块恢复操作的副本队列，Namenode会在下次心跳回复中将这个队列中的一部分副本带到Datanode，并下发数据块恢复指令， Datanode接受指令后会作为主恢复数据节点指导整个数据块的恢复操作 。 与replicateBlocks类似， recoverBlocks的类型也是保存BlockTargetPair的BlockQueue.这里BlockTargetPair的目标数据节点是所有参与恢复过程的Datanode。

**invalidateBlocks：** 要在Datanode上进行删除操作的副本队列。

**■ 缓存相关：** 包括pendingCached、 cached、 pendingUncached三个字段， 它们都是CachedBlocksList类型的， CachedBlocksList是CachedBlock的集合类，CachedBlock类则用于描述一个被缓存的数据块。 pendingCached字段中保存的是所有在当前Datanode上等待缓存的数据块； cached中保存的是当前Datanode上已经缓存的数据块， pendingUncached中保存的则是等待取消缓存的数据块。

参考:  
Hadoop 2.X HDFS源码剖析 -- 徐鹏

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]: /images/20221123/e565a66d00f74b048938f17113abed40.png