HDFS 副本策略，文件上传流程，NameNode和2NN工作机制

小鱼儿 2022-04-06 04:10 268阅读 0赞

#### Hadoop副本节点选择原则 ####

hadoop副本节点的选择是从效率和安全方面的综合考虑

1. 第一个副本在本机--目的是效率方面考虑
    2. 第二个副本在同机架不同节点
    3. 第三个是不同机架的不同节点上

##### HDFS文件上传流程 #####

1、 client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode
    检查目标文件是否已存在，父目录是否存在，返回是否可以上传；
    2、 client 请求第一个 block 该传输到哪些 DataNode 服务器上；
    3、 NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分
    配，返回可用的 DataNode 的地址如：A，B，C；
    注：Hadoop 在设计时考虑到数据的安全与高效，数据文件默认在 HDFS 上存放
    三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一
    节点上一份。
    4、 client 请求 3 台 DataNode 中的一台 A 上传数据（本质上是一个 RPC 调
    用，建立 pipeline），A 收到请求会继续调用 B，然后 B 调用 C，将整个
    pipeline 建立完成，后逐级返回 client；
    5、 client 开始往 A 上传第一个 block（先从磁盘读取数据放到一个本地内
    存缓存），以 packet 为单位（默认 64K），A 收到一个 packet 就会传给 B，
    B 传给 C；A 每传一个 packet 会放入一个应答队列等待应答。
    6、 数据被分割成一个个 packet 数据包在 pipeline 上依次传输，在
    pipeline 反方向上，逐个发送 ack（命令正确应答），最终由 pipeline
    中第一个 DataNode 节点 A 将 pipeline ack 发送给 client;
    7、 当一个 block 传输完成之后，client 再次请求 NameNode 上传第二个
    block 到服务器。

##### NameNode和2NN的工作机制 #####

1.namenode启动后 加载fsImage和少量的Edits_log(这样是效率和数据完整性的综合考虑),然后进行一次checkpoint
        然后进入safe mode
        2.客户端对元数据进行增删改查操作，请求首先记录在edits log中，然后再加载到内存中(数据完整性)
        3.2NN每隔1分钟进行一次checkPoint询问，是否需要进行checkpoint,（checkpont的条件是1.每隔1小时或edits log数据量
        达到100万）
        4.将边记日志和镜像文件拷贝到2NN中，2NN加载边记日志和镜像文件到内存，并进行合并,生成新的fsimage.chkpint到NameNode中
        5.NameNode将fsimage.chkpoint进行重命名