HDFS文件存储组织

雨点打透心脏的1/2处 2022-07-24 10:25 175阅读 0赞

1、作为一个分布式文件系统，HDFS内部的数据和文件存储机制、读写过程与普通的本地文件系统有较大的差别。

2、文件数据的存储组织

①HDFS中最主要的部分就是NameNode和DataNode。NameNode存储了所有文件元数据、文件与数据块的映射关系，以及文件属性等核心数据，DataNode则存储了具体的数据块。

3、NameNode目录结构NameNode借助本地文件系统来保存数据，保存的文件架位置由配置选项\{dfs.name.dir\}决定（未配置此选项，则为hadoop安装目录下的/tmp/dfs/name），

所以这里我们以$\{dfs.name.dir\}代表NameNode节点管理的根目录。目录下的文件和子目录则以$\{dfs.name.dir\}/file和$\{dfs.name.dir\}/subdir的格式来表示。

在NameNode的$\{dfs.name.dir\}之下有3个文件夹和1个文件：

1）current目录：主要包括如下的内容和结构：

a)文件VERSION：b保存了当前运行的HDFS版本信息

b)FsImage:是整个系统的空间镜像文件

c)Edit:EditLog编辑日志

d）Fstime:上一次检查点的时间

2）previous.checkPoint 目录： 和current内容结构一致，不同之处在于，此目录保存的是上一次检查点的内容。

3）image目录： 旧版本(版本<0.13)的FsImage存储位置

4）in\_use.lock: NameNode锁，只有在NameNode有效（启动并且能和DataNode正常交互）时存在；不满足上述情况时，该文件不存在。这一文件具有“锁”的功能，可以防止多个NameNode共享同一目录（如果一个机器上只有一个NameNode,这也是最常见的情况那么这个文件基本不需要）。

4、DataNode目录结构

①DataNode借助本地文件系统来保存数据，一般情况下，保存的文件夹位置由配置选项\{dfs.data.dir\}决定（未配置此选项，则为hadoop安装目录下的/tmp/dfs/data）。所以可以用$\{dfs.data.dir\}代表DataNode节点管理的数据目录的根目录，目录下的文件和子目录以$\{dfs.data.dir\}/file和$\{dfs.data.dir\}/subdir的格式表示

②一般来说，在$\{dfs.data.dir\}之下有4个子目录和2个文件

1）current目录：已成功写入的数据块，以及一些系统需要的文件。包括：

a)文件VERSION：保存了当前运行的HDFS版本信息

b)Blk\_XXXXX和Blk\_XXXXX,Meta: 分别是数据块和数据块对应的元数据（比如校验信息等）

c)subdirXX:当同一目录下文件数超过一定限制（比如64）时，会建立一个subdir目录，保存多出来的数据块和元数据；这样可以保证同一目录下目录+文件数不会太多，可以提高搜索效率。

2）tmp目录和blocksBeingWritten目录：正在写入的数据块，tmp目录保存的是用户操作引发的写入操作对应数据块，blocksBeingWritten目录是HDFS系统内部副本创建时（当出现副本错误或者数据数量不够等情况时）引发的写入操作对应的数据块。

3)detach目录：用于DataNode升级

4）storage文件：由于旧版本（<0.13）的存储目录是storage，因此如果在新版本的DataNode中启动旧版本的HDFS，会因为无法打开storage目录而启动失败，这样可以防止因版本不同带来的风险。

5）in\_use\_lock文件： DataNode锁，只有DataNode有效（启动并且能和NameNode正常交互）时存在：不满足上述情况时，该文件不存在。这一文件具有“锁”的功能，可以防止多个DataNode共享同一目录（如果一个机器上只有一个DataNode，这也是最常见的情况，那么这个文件基本不需要）。

5、CheckPointNode目录结构

①CheckPointNode和旧版本的SecondaryNameNode作用类似，所以目录结构也十分相近。

②CheckPointNode借助本地文件系统来保存数据，一般情况下，保存的文件夹位置由配置选项\{dfs.checkpoint.dir\}决定（未配置此选项，则为hadoop安装目录下的/tmp/dfs/namesecondary）。

③这里我们以$\{dfs.checkpoint.dir\}代表CheckPointNode节点管理的数据目录的根目录，目录下的文件和子目录则以$\{dfs.checkpoint.dir\}/file 和 $\{dfs.checkpoint.dir\}/subdir的格式表示。

④CheckPointNode目录下的文件和NameNode下的文件同名文件作用基本一致，不同之处在于CheckPointNode保存的是自上一个检查之后的临时镜像和日志。