hdfs启动流程

忘是亡心i 2022-10-05 10:42 203阅读 0赞

## NameNode ##

1.init()

namenode初始化，执行加载配置文件等操作

2.loadFsImage()

2、loadFsImage() ,开始加载元数据 FsImage

3.loadEditlog()

加载Editlog，将Editlog中记录的元数据修改应用到内存中；

4.saveCheckpoint()

将内存中最新的目录树持久化为新的FsImage到磁盘，以加快下次启动速度

5.startRpcServer()

启动RPC服务，开始接受外部请求；

6.startTrashEmptier()

如果启用了回收站机制，初始化垃圾清理线程，定期删除回收站中的数据；

##  ##

DataNode

7.init()

Datanode初始化，执行加载配置文件等操作。namenode与datanode同时启动，与1-6无先后关系

##  ##

NameNode

8.register()

datanode发起PRC请求，将自身注册到集群；注册消息主要包含 hostname 和blockPool 标识（namenode格式化时生效，类似UUID，全局唯一），用于判断改datanode是否允许接入该集群。

##  ##

DataNode

9.scanBlock()

datanode按照配置的数据存储路径，并行扫描本地数据磁盘，加载数据块信息到内存中（主要是块id，块文件物理路径等元数据信息，不包含数据块内容本身）

##  ##

NameNode

10.safeMode()

namenode在完成自身的一些列初始化流程后进入安全模式，等待datanode上报数据块信息。此时，系统是只读的。

11.blockReport()

datanode在完成数据磁盘扫描后生成块报告，上报给namenode，每个块使用三个long值描述，即块id，块长度，版本时间戳GS，共24字节(通过网络发送时，使用变长编码，因此通常远小于24字节)

##  ##

DataNode

12.startDataXceiverServer()

datanode启动字节传输服务，开始接受数据块的读写请求

13.startRpcServer()

datanode启动RPC服务，该服务主要用于集群内部通信，传输管理命令

##  ##

NameNode

14.wait()

namenode在收到足够数量的blockReport之后（默认为99.9%的块达到了，最小副本为1，等待额外的30秒，推出安全模式，此时namenode完成数据块个datanode的映射关系，允许接受读写请求。

namenode与datanode均采用多线程架构，没有严格的顺序，多个线程并行在后台运行。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTExMTAzMDE_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTExMTAzMDE_size_16_color_FFFFFF_t_70]: /images/20221005/6bd31ba7067d40bf9d3690b57da9285d.png

hdfs启动流程

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 HDFS - 写流程、读流程

相关 HDFS源码分析——DataNode启动流程

相关 HDFS源码分析——NameNode启动流程

相关 HDFS读写流程

相关 HDFS 写流程和读流程

相关 hdfs架构与使用以及启动流程

相关 hdfs启动流程

相关 HDFS核心源码解析(一)——NameNode的启动流程

相关 HDFS常用命令启动流程

相关 HDFS 读取流程详解