(转)Hadoop的nameNode

素颜马尾好姑娘i 2022-10-06 14:44 158阅读 0赞

以下大部分内容转自:

[https://blog.csdn.net/weixin\_45324890/article/details/108593297][https_blog.csdn.net_weixin_45324890_article_details_108593297]

和[https://www.cnblogs.com/cicada-smile/p/13801180.html][https_www.cnblogs.com_cicada-smile_p_13801180.html]

和[https://blog.csdn.net/andyguan01\_2/article/details/89711714][https_blog.csdn.net_andyguan01_2_article_details_89711714]

NameNode有两种文件

1.Fsimage 记录元数据。fsimage中的元数据和内存中的元数据并不是同步的

2.Edits文件 记录写操作

启动流程：

加载edits和Fsimage文件到内存，将edits的文件合并到fsimage文件里去。

运行流程:

1.当NameNode接收到写请求之后，会先将该请求记录到edits\_inprogess文件中，如果记录成功，则将该请求同步更新到内存中，修改内存中的元数据，内存修改完成之后会给客户端返回一个ack表示成功(在这一步,内存中的元数据就跟Fsimage文件的元数据内容不一致)

写请求，是DataNode在心跳时上报的

DataNode的写操作触发的，当我们往DataNode写文件时，DataNode会跟NameNode通信，告诉NameNode什么文件的第几个block放在它那里，NameNode这个时候会将这些元数据信息写到edit logs文件中。

2.当edits文件达到条件的时候会将操作更新到fsimage文件中，即修改fsimage文件中的元数据  
2.1条件如下

*  a. 空间：edits\_inprogress文件达到指定大小时触发更新(默认64M)
 *  b. 时间：离上一次更新达到指定间隔时触发更新(默认1H)
 *  c. 重启更新：NameNode重启后,自动将edits\_inprogress中的操作更新到fsimage
 *  d. 强制更新：hadoop dfsadmin -rollEdits

2.2 每次更新产生一个新的edits\_inprogress文件,旧的edits\_inprogress文件改名为edits\_xx-xx

安全模式

*  背景：不满足最小副本条件

两个属性决定：

dfs.namenode.replication.min 成功执行写操作所需要创建的最小副本数(默认1)

dfs.namenode.safemode.threshold-pct 满足最小副本数的块的比例(默认0.999)

比如说最小副本数是1 比例是0.5 就是要求系统中所有的数据块，至少要50%的块都要有1个副本

*  逻辑：

1.某个DataNode没在指定时间内上报心跳，认为这个节点已经挂了，会将这个节点的数据在新的dataNode节点上进行备份，保持副本数量

2.假设没新的节点可备份，则副本数不够，会进入安全模式

1和2点是我个人猜测，未证真

*  进入安全模式后

nameNode处于只读模式，客户端无法上传文件

*  相关命令

hdfs dfsadmin -safemode get #获取安全模式状态
    响应：Safe mode is OFF
    hdfs dfsadmin -safemode enter #进入安全模式
    响应：Safe mode is ON
    hadoop fs -put test2.txt /wcb  #试上传一个文件
    响应：put: Cannot create file/wcb/test2.txt._COPYING_. Name node is in safe mode.
    hdfs dfsadmin -safemode leave #退出安全模式
    响应：Safe mode is OFF
    hadoop fs -put test2.txt /wcb  #试上传一个文件
    上传成功
    hadoop fs -cat /wcb/test2.txt #查看上传的文件
    响应：2021-06-14 15:24:00 #输出了文件的内容

多地备份 hdfs-site.xml设置多个存放目录,Edits和Fsimage会备份多份存放在这些目录

<property>
       <name>dfs.namenode.name.dir</name>
       <value>
            file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas1,
            /export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas2,
            /export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas3,
            /export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas4
       </value>
    </property>

[https_blog.csdn.net_weixin_45324890_article_details_108593297]: https://blog.csdn.net/weixin_45324890/article/details/108593297
[https_www.cnblogs.com_cicada-smile_p_13801180.html]: https://www.cnblogs.com/cicada-smile/p/13801180.html
[https_blog.csdn.net_andyguan01_2_article_details_89711714]: https://blog.csdn.net/andyguan01_2/article/details/89711714