三十二、HDFS产生背景、概念、优缺点、块大小

￡神魔★判官ぃ 2022-05-06 23:46 159阅读 0赞

#                              HDFS产生背景、概念、优缺点、块大小 #

### 1、HDFS概念 ###

HDFS，它是一个文件系统，用于存储文件，通过**目录树来定位文件**；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。  
      HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来**做数据分析，并不适合用来做网盘应用**。

### 2、HDFS架构 ###

![在这里插入图片描述][70]

nameNode：管理元数据、文件目录  
Secondary NameNode:对元数据进行热备份(不是最重要的任务),其最重要的任务是周期性合并编辑日志中的命名空间镜像,以避免编辑日志  
过大;可辅助恢复NameNode;分担NameNode工作  
dataNode：管理每个数据块  
replication：每个数据块默认有三个副本集  
Client：对HDFS的写入  
Rack：支架

### 3、HDFS组成 ###

1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。  
2）NameNode负责管理整个**文件系统的元数据**，以及每一个路径（文件）所对应的**数据块信息**。（管理元数据）  
3）DataNode 负责管理用户的**文件数据块**，每一个数据块都可以在多个datanode上存储多个副本。（管理数据块）  
4）Secondary NameNode用来监控**HDFS状态的辅助后台程序**，每隔一段时间获取HDFS元数据的快照。（元数据的快照）

### 4、HDFS优缺点 ###

优点：

1）高容错性：数据自动保存多个副本，当一个副本丢失后，可以自动回复。
    2）适合大数据处理：文件规模大（个数多）、数据规模大（数据大小）
    3) 流式数据访问：一次写入，多次读取，不能修改，只能追加。保证数据一致性。
    4) 构建成本低：可以构建在廉价的机器上。

缺点：

1）不适合做低延迟数据访问，比如毫秒级的数据访问是做不到的。
    2）无法高效的对大量小文件进行存储。
    3）无法并发写入和随机修改。

### 5、 HDFS 文件块大小 ###

![在这里插入图片描述][70 1]

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M

HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。

如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。  
块的大小：10ms*100*100M/s = 100M

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[70]: /images/20220506/8f802f180ac447988305aa82849a5363.png
[70 1]: /images/20220506/8a1f0f0262614939a788d0370ddd69b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220506/84ea73f57b8e4b6d87bcf414d9c86a16.png