[hadoop] HDFS组成架构及其作用

悠悠 2023-10-09 12:17 32阅读 0赞

**1)NameNode**:就是Master,它是一个主管,管理者  
1 管理HDFS的目录结构;  
2 配置副本策略  
3 管理数据块(Block)映射信息  
4 处理客户端读写请求

**2)DataNode**:就是Slave,NameNode下达命令,DataNode执行实际的操作  
1 存储实际的数据块  
2 执行数据块的读/写操作.

**3)Client**:就是客户端  
1 文件切分.文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行上传.  
2 与NameNode交互,获取文件的位置信息.  
3 与DataNode交互,读取或者写入数据.  
4 Client提供一些命令来管理HDFS,比如NameNode格式化  
5 Client可以通过一些命令来访问HDFS,比如对HDFS增删操作.

**4)Secondary NameNode(已弃用):** Hadoop1.X的组件,并非NameNode的热备.当NameNode挂掉的时候它并不能马上替换NameNode并提供服务  
1 辅助NameNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode;  
2 在紧急情况下,可辅助恢复NameNode

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190925165010238.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，32人围观）

还没有评论，来说两句吧...

相关阅读

相关 [hadoop] yarn的组成架构及其各角色的作用

yarn工作机制详细步骤及流程图: [https://blog.csdn.net/a755199443/article/details/101381503][https_b

谁践踏了优雅/ 2023年10月09日 12:34/ 0 赞/ 31 阅读

相关 [hadoop] HDFS组成架构及其作用

1)NameNode:就是Master,它是一个主管,管理者 1 管理HDFS的目录结构; 2 配置副本策略 3 管理数据块(Block)映射信息 4 处理客户

悠悠/ 2023年10月09日 12:17/ 0 赞/ 33 阅读

相关【Hadoop】Hadoop生态系列之HDFS架构简述

上一篇：[Hadoop生态系列之Hadoop简述及环境搭建][Hadoop_Hadoop] 指路牌 HDFS架构简介

左手的ㄟ右手/ 2023年10月05日 10:35/ 0 赞/ 69 阅读

相关 Hadoop-HDFS-概述介绍（背景及定义、优缺点、组成架构、Block介绍）-连载中

HDFS概述文章目录 HDFS概述 1 HDFS产出背景及定义 2 HDFS优缺点 3 HDFS组成架构

我会带着你远行/ 2023年02月28日 15:29/ 0 赞/ 52 阅读

相关 Hadoop系列之HDFS 架构(9)

HDFS 架构 Hadoop HDFS是一个主从（Master / Slave）架构，其中Master是Namenode节点，它主要用来存储元数据，Slave是Datan

淩亂°似流年/ 2023年01月09日 15:44/ 0 赞/ 185 阅读

相关 HDFS 优缺点 + 组成架构 + Block块介绍

本文目录： 1.HDFS概述 1.1 HDFS 产生背景 1.2 HDFS定义 1.3 HDFS优缺点

﹏ヽ暗。殇╰゛Y/ 2022年11月21日 15:21/ 0 赞/ 202 阅读

相关 Hadoop之HDFS架构演进之路

[Hadoop之HDFS架构演进之路][Hadoop_HDFS] hdfs 1.0 : Namenode会区分两种状态，active和standby，正常工作的时候时候由

拼搏现实的明天。/ 2022年08月31日 02:27/ 0 赞/ 300 阅读

相关 Apache Hadoop文档翻译之一（HDFS架构）

![vpcgv27a4ghtgrkts238n63moj.jpg][] > Apache Hadoop项目为高可用、可扩展、分布式计算开发开源软件。Apache Hadoop

小鱼儿/ 2022年05月11日 07:08/ 0 赞/ 235 阅读

相关 Hadoop3.2.0 HDFS架构

介绍假想和目标硬件故障流式数据访问大数据集简单的一致性模型 “移动计算比移

╰+哭是因爲堅強的太久メ/ 2022年02月19日 16:00/ 0 赞/ 304 阅读

相关深入理解Hadoop之HDFS架构

> Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的。 Hadoop分

梦里梦外;/ 2021年09月17日 11:38/ 0 赞/ 479 阅读