轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.31 【重要必掌握】NameNode工作机制

╰+攻爆jí腚メ 2024-03-22 18:30 32阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.31 【重要!必掌握】NameNode工作机制

![在这里插入图片描述][b61779560d1e477b8279dacaf8bf778a.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.31 【重要!必掌握】NameNode工作机制 ######

其实NN 中最重要的需要关注的就是元数据

![在这里插入图片描述][1e044c8378534a8c9f9f5d79d271427b.png_pic_center]

当然它管理它的，我们平时使用的时候很难能够感知得到

我们做的`put /rename /delete..` 等等操作，其实是叫命名空间管理

每一个操作对于文件系统来说，特别是分布式文件系统来说，这种层级结构是需要记录的【比如这个文件拆成了多少个Block、这些Block 存在了哪些节点上… 】

所以元数据信息记录在哪里？

*  磁盘(性能较低，但是可靠)
 *  内存(性能高，但是可靠性没那么高，机器一挂，就丢了)
 *  内存 + 磁盘【HDFS 用的这种，当然也有风险，比如数据已经到内存了，还没来得及刷入磁盘，机器挂了，这个问题如何解决】

这里就有个新概念`FsImage` 文件系统的镜像，作用是将内存中的元数据备份到磁盘上

还有个`Edits` 操作日志，用于记录每次的操作(追加方式)，如果出现问题，会将所有的记录`回放` 一遍

文件系统镜像和日志加起来，就是我们整个文件系统的命名空间【整份元数据信息，一定是完整的 】

如果Edits 很大(因为操作频繁导致)， 恢复检查肯定会花费一些时间，这样对于NN 来说压力也不小，

所以有了`SecondaryNameNode` SNN

![在这里插入图片描述][9e0ac9dbaec44dbfa5c834303d568450.png_pic_center]

妙啊，之前我们说过它不是NN 的热备，是来辅助NN 完成一些合并【镜像和日志】工作的。

这些信息到底在哪儿

其实之前我们配置过，默认是`\tmp` 下，但是我们修改过

![在这里插入图片描述][27e25f17b99641b990576090f9600f1f.png_pic_center]

就是这里了

看看

![在这里插入图片描述][88f81a532e46471e8984a5ecc788b96a.png_pic_center]

在name 文件夹中

![在这里插入图片描述][c24c94f82ee44a5abb7a49f7cd9b6782.png_pic_center]

带`inprogress` 的，是还没有合并掉的，正在合并的，这件事情是交给SNN ，让其周期性的完成的

![在这里插入图片描述][20b7d6b6a33948bc80549d306d45aa4f.png_pic_center]

第一步NN，启动时，将这两类文件组合成一份完成的元数据信息，这时如果客户端来了一个`put` 请求

![在这里插入图片描述][aeeaa28090f84c5f8e9812c1ab29769a.png_pic_center]

这个时候不仅内存要改，磁盘上也会加一条，加就是加在 edit 日志文件中，操作都是这样一个流程

SNN 会周期性的向NN 发请求

![在这里插入图片描述][09f1941111d948b79d51d9e58c9606b4.png_pic_center]

![在这里插入图片描述][9fcfd11a5bdf467f8106729a5b7d37cd.png_pic_center]

NN 同意，SNN 就会执行`checkpoint` 操作，执行的大致流程，首先将`edits_inprogress` 拷贝一份出来，

![在这里插入图片描述][cfc351d82bbe4ac1bbf35357819845f5.png_pic_center]

然后拷贝一份镜像到自己那儿，

![在这里插入图片描述][9939fc52137c4a9a8c7ab0513dc4754a.png_pic_center]

合并操作完成后，生成(在内存中完成)一个新的`fsimage`文件， 并将其推给NN 老大，

![在这里插入图片描述][3b1f876531014eb8bf06116aa227f1e5.png_pic_center]

并将名字改掉。

当然请求周期是通过参数进行配置的，官网文档：[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_hdfs-default.xml]

![在这里插入图片描述][b5809cc2fba144c8aad9cc671a2048db.png_pic_center]

看看这个目录

![在这里插入图片描述][39d211e3d8464acab2eb04ec820eb90f.png_pic_center]

没问题

然后时间是3600s，意思是一个小时处理一次。但是有时候我们数据量很大时，一个小时一次显然是不合适的

所以还有一个可以根据阈值

![在这里插入图片描述][2d27820f31fc420da444f160186cb5b1.png_pic_center]

以一百万为上限做检查，如果到了，照样进行合并`checkpoint`操作

我现在想看一下这些东西

[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HdfsEditsViewer.html]

![在这里插入图片描述][7bf63c451eb84c5f8c7550a69235b871.png_pic_center]

这两个工具。当然更重要的还是理解整个过程

![在这里插入图片描述][4966e0a27e6543bd91dd3517c95da59d.png_pic_center]

【总结一下】

NN 启动时，如果是第一次启动并且做了format，那就是一个空的edit 和 镜像，如果不是第一次即HDFS 中有文件，那么肯定就是存在日志和镜像的，那就将其加载到内存中形成一份完成的元数据信息

当客户端进行一系列操作时，NN 会进行记录日志，内存+磁盘(磁盘就是在edit 中)

当SNN 问NN ，是否进行checkpoint 操作(可以根据时间和大小阈值来规定周期)，SNN 将edits\_inprocess 搞一份带编号的出来 加上一份镜像拉到SNN 的内存中，进行合并操作，合并完成后，生成一份`fsimage.checkpoint` ，将其拷贝到NN，改个名字变成NN 新的FsImage。周而复始。

[b61779560d1e477b8279dacaf8bf778a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/84ada75a81e14365af8cbce01fd601d8.png
[1e044c8378534a8c9f9f5d79d271427b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/129892f4f3e5467dbae2bb47982508c7.png
[9e0ac9dbaec44dbfa5c834303d568450.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/52c3e74c81f84820a67fbc5a2b936e07.png
[27e25f17b99641b990576090f9600f1f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/2d9cd2abe65c4d2a8034bfffff86bcb4.png
[88f81a532e46471e8984a5ecc788b96a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e48a9c42baf14391a385768a87019e69.png
[c24c94f82ee44a5abb7a49f7cd9b6782.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e42342635ac64086a48c747dd58db626.png
[20b7d6b6a33948bc80549d306d45aa4f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/08d701196e1447f09415de93676f347a.png
[aeeaa28090f84c5f8e9812c1ab29769a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/01fa804df7b44e5684e906c47e08cda4.png
[09f1941111d948b79d51d9e58c9606b4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/9200367204b64852817cb0c110e9eff7.png
[9fcfd11a5bdf467f8106729a5b7d37cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/50466c57280449e4a5c7e660e0040873.png
[cfc351d82bbe4ac1bbf35357819845f5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3e5f541822ca422eafb1d891d582bf54.png
[9939fc52137c4a9a8c7ab0513dc4754a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e8d7dc48eb034b8eb0f7c7f1dbdfdd91.png
[3b1f876531014eb8bf06116aa227f1e5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/ca93347d8b2c4637873257c853050839.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_hdfs-default.xml]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
[b5809cc2fba144c8aad9cc671a2048db.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/2ffea32e4176455585a6ae216a4ab984.png
[39d211e3d8464acab2eb04ec820eb90f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1e9ccb29885d45fe9945ce53f2128bf8.png
[2d27820f31fc420da444f160186cb5b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6d92ecbca3f74a8cab2b11a3febd6457.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HdfsEditsViewer.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html
[7bf63c451eb84c5f8c7550a69235b871.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/ad620aac1227486cb74ad34ceeac86f7.png
[4966e0a27e6543bd91dd3517c95da59d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/bc9fb702d11c4bd8b7c576dcf9e763d4.png