HDFS块（block）、副本数（replication）的概念

拼搏现实的明天。 2022-11-14 13:18 226阅读 0赞

HDFS的文件在物理上是分块储存（Block）默认大小是128M,老版本64M。

不论对磁盘的文件进行读还是写，都需要先进行寻址！

最佳传输损耗理论： 寻址时间占总传输时间的1%时，本次传输的损耗最小，为最佳性价比传输！

目前硬件的发展条件，普通磁盘写的速率大概为100M/S, 寻址时间一般为10ms!

10ms / 1% = 1s

1s \* 100M/S=100M

块在传输时，每64K还需要校验一次，因此块大小，必须为2的n次方，最接近100M的就是128M！

如果公司使用的是固态硬盘，写的速度是300M/S，将块大小调整到 256M

如果公司使用的是固态硬盘，写的速度是500M/S，将块大小调整到 512M

不能太大：

当前有文件a, 1G

128M一块 1G存8块 ， 取第一块

1G一块 1G存1块 ， 取第一块

只需要读取a文件0-128M部分的内容

①在一些分块读取的场景，不够灵活，会带来额外的网络消耗

②在上传文件时，一旦发生故障，会造成资源的浪费

不能太小：

文件a,128M

1M一块： 128个块，生成128个块的映射信息

128M一块， 1个块，一个块的映射信息

①块太小，同样大小的文件，会占用过多的NN的元数据空间

②块太小，在进行读写操作时，会消耗额外的寻址时间

block 块的大小 等于1s\*100MB/s=100M 所以设置128M

主要取决于磁盘传输速度

配置文件 ：hdfs-site.xml

> <property>   
> <name>dfs.replication<name>   
> <value>3<value> //副本数  
> <description>Block Replication<description>   
> <property>  
> <property>   
> <name>dfs.block.size<name>   
> <value>134217728<value> //块大小（k）  
> <description>Block size<description>   
> <property>

134217728 \*1024\*1024 =128M

如果一个文件138M，将文件以块的方式分割，去存储，怎样实现？

实际存储        大小   副本  
块A: 128M      128M  A0 A1 A2  
块B: 10M        128M  B0 B1 B2

发表评论取消回复

表情：

评论列表（有 0 条评论，226人围观）

还没有评论，来说两句吧...

相关阅读

相关修改hbase存储在hdfs上文件副本数

修改hbase存储在hdfs上文件副本数 1. 首先介绍hdfs默认的副本数在hdfs-site.xml 里面指定：dfs.replication 该参数默认值为3 注

￡神魔★判官ぃ/ 2024年03月17日 18:11/ 0 赞/ 9 阅读

相关 HDFS 优缺点 + 组成架构 + Block块介绍

本文目录： 1.HDFS概述 1.1 HDFS 产生背景 1.2 HDFS定义 1.3 HDFS优缺点

﹏ヽ暗。殇╰゛Y/ 2022年11月21日 15:21/ 0 赞/ 139 阅读

相关 HDFS块（block）、副本数（replication）的概念

HDFS的文件在物理上是分块储存（Block）默认大小是128M,老版本64M。不论对磁盘的文件进行读还是写，都需要先进行寻址！最佳传输损耗理论：寻址时间占总传输时间

拼搏现实的明天。/ 2022年11月14日 13:18/ 0 赞/ 227 阅读

相关 CDH 丢失块及副本不足的块

备注: CDH 6.3.1 文章目录一.问题描述二.解决方案 2.1 丢失块查找 2.2 解决oozie副本块不足的问题

雨点打透心脏的1/2处/ 2022年11月07日 05:29/ 0 赞/ 199 阅读

相关 HDFS副本存放策略

数据分块存储和副本的存放，是保证可靠性和高性能的关键将每个文件的数据进行分块存储，每一个数据块又保存有多个副本。这些数据块副本分布在不同的机器节点上设置备份数

水深无声/ 2022年06月04日 04:43/ 0 赞/ 138 阅读

相关关于HDFS中数据块block的设计和原理

HDFS，全称Hadoop Distributed FileSystem.是一个文件系统，用于存储文件，通过目录树/来定位文件；其次，它是分布式的，由很多服务器联

落日映苍穹つ/ 2022年06月01日 05:10/ 0 赞/ 197 阅读

相关 HDFS概念之Block Caching

通常情况下，datanode都是从磁盘上读取block。但是对于经常访问的文件，将其显式得存储在datanode的内存中显然可以提高效率。这块内存逻辑上就叫做堆外块缓存

叁歲伎倆/ 2022年04月22日 07:06/ 0 赞/ 152 阅读

相关 HDFS 概念之 block 详解

一般情况下，任何磁盘都有‘最小读写单位’的概念，可以理解为该磁盘的‘block’。建立在该磁盘之上的文件系统也有‘block’的概念，一般为磁盘‘block’大小的整数倍。对于

亦凉/ 2022年04月22日 05:22/ 0 赞/ 697 阅读

相关 Kafka 设置分区副本数 replication.factor

副本数是1 ，意思是就一个分区，同时也是主分区副本数是2，意思是有2个分区，1个是主分区，1个是从分区副本数已把主分区数包含在内。设置`replication.fa

Dear 丶/ 2021年09月25日 03:44/ 0 赞/ 603 阅读

相关 HDFS块大小为何是128MB ? block.size

块大小取决于dfs.blocksize，2.x默认为128M，1.x默认为64M（128M指的是块的最大大小！每个块最多存储128M的数据，如果当前块存储的数据不满128M，存

布满荆棘的人生/ 2021年09月25日 03:34/ 0 赞/ 407 阅读