《hadoop学习》关于hdfs中的namenode和datanode详解

待我称王封你为后i 2022-05-20 04:13 228阅读 0赞

转载:https://www.cnblogs.com/forget-me-not/p/5749256.html

namenode:

Namenode是中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名称空间（namespace）以及客户端对文件的访问。

文件操作，Namenode负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不会经过Namenode，只会询问它跟那个DataNode联系，否则Namenode会成为系统的瓶颈。

副本存放在哪些DataNode上由Namenode来控制，根据全局情况作出块放置决定，读取文件时Namenode尽量让用户先读取最近的副本，降低带块消耗和读取延时。

Namenode全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表。

**Namenode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限）以及每个文件的块列表，以及块所在的DataNode**等等。

datanode:

一个数据块在Datanode以文件存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

Datanode启动后想namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。

心跳是每3秒一次，心跳返回结果带有namenode给该Datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个Datanode的心跳，则认为该节点不可用。

集群运行中可用安全加入和退出一些机器。

文件切分成块，（默认大小128M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3）

Datanode再本地文件系统存储文件块数据，以及块数据的校验和。

可以创建，删除，移动和重命名文件，当文件创建，写入和关闭之后不能修改文件的内容。

当Datanode读取block的时候，它会计算checksum，如果计算后的checksum，与block创建时值不一样，说明该block已经损坏。

如果块已损坏，Client会读取其它Datanode上的block.

namenode标记该块已经损坏，然后复制block达到预期设置的文件备份数。

Datanode在其文件创建后三周验证其checksum.

发表评论取消回复

表情：

评论列表（有 0 条评论，228人围观）

还没有评论，来说两句吧...

相关阅读

相关 NameNode和DataNode在HDFS中的作用是什么？

NameNode和DataNode在HDFS中的作用是什么？在HDFS（Hadoop分布式文件系统）中，NameNode和DataNode是两个关键组件，扮演着不同的角

一时失言乱红尘/ 2024年03月04日 07:11/ 0 赞/ 95 阅读

相关 Hadoop如何解决namenode和datanode缺失问题

如果是namenode缺失，则重新格式化即可`bin/hdfs namenode -format`，但是慎重格式化。如果是datanode缺失，进入到/opt/Hadoop

客官°小女子只卖身不卖艺/ 2022年12月05日 10:13/ 0 赞/ 278 阅读

相关 Hadoop的NameNode与SecondaryNameNode,DataNode

NameNode：主要任务是接收客户端的读写服务，主要功能： 1,文件ownship和permission 2,文件包含哪些块 3,Block保存在哪个

秒速五厘米/ 2022年06月07日 08:35/ 0 赞/ 188 阅读

相关 Hadoop DataNode详解

一个集群可能包含上千个DataNode节点，这些DataNode定时和NameNode进行通信，接受NameNode的指令为了减轻NameNode的负担，NameNode

╰+攻爆jí腚メ/ 2022年05月28日 01:57/ 0 赞/ 349 阅读

相关《hadoop学习》关于hdfs中的namenode和datanode详解

转载:https://www.cnblogs.com/forget-me-not/p/5749256.html namenode: Namenode是中心服务器，

待我称王封你为后i/ 2022年05月20日 04:13/ 0 赞/ 229 阅读

相关 Hadoop NameNode和DataNode只能启动一个问题

DataNode和NameNode进程不能共存启动NameNode可以正常启动，但是启动DataNode时发现，NameNode进程不存在了，导致两个无法共存，问

旧城等待，/ 2022年04月12日 04:26/ 0 赞/ 357 阅读

相关 Hadoop中DataNode与NameNode之间的心跳机制

DataNode: 用于存储HDFS的数据， public class DataNode extends Configured implements Inter

短命女/ 2022年03月20日 01:58/ 0 赞/ 441 阅读

相关 HDFS NameNode DataNode 多目录配置

现在目录结构 ![format_png][] NameNode NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。配置 hdf

浅浅的花香味﹌/ 2022年02月24日 06:57/ 0 赞/ 224 阅读

相关 Hadoop HDFS NameNode 和 SecondaryNameNode

目录文件 NameNode 首次格式化后 ![2019-04-02-15542107773244.jpg][] 运行一段时间 ![2019-04-02-1

以你之姓@/ 2022年02月24日 03:23/ 0 赞/ 282 阅读

相关 Hadoop名词详解：HDFS、NameNode和DataNode

概览 -------------------- 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布

深藏阁楼爱情的钟/ 2022年02月04日 03:15/ 0 赞/ 307 阅读