HDFS详解一

傷城~ 2024-02-19 17:26 15阅读 0赞

### 1.hosts文件 ###

无论Linux还是window系统都有hosts文件  
cat /etc/hosts

Linux/mac：  
局域网内网机器 /VM : 内网ip  
云服务器: 内网ip + 外网ip(ssh链接、打开服务web界面、对外提供服务)

[root@hadoop001 ~]# cat /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    #内网ip 
    192.168.137.130 hadoop001
    [root@hadoop001 ~]#
     hosts里面就配置内网ip

windows:打开外部界面  
192.168.137.130:50070  
ip记不住，想用机器名称，在win配置hosts  
hadoop001:50070

C:\\Windows\\System32\\drivers\\etc 配置  
192.168.137.130 hadoop001

**在win上面的配置：**  
hadoop001假如是vm/内网机器 直接内网ip  
假如是云主机 直接是外网ip 云主机是外部的，所以用外网ip

**提醒:**  
apache hbase 开发  
hosts文件 都要配置hbase集群的节点的ip hostname

### 2.块block ###

块的大小128M 默认  
块的副本数3

<property>
            <name>dfs.blocksize</name>
            <value>134217728</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>3</value>
    </property>

比如一个文件260M  
(生产上 hdfs不适合存储小文件？为什么不合适？如果真的有小文件，该怎么办？该怎么合并)  
将文件以块的方式分割，去存储

实际存储  规格

块A: 128M 128M A0 A1 A2  
块B: 128M 128M B0 B1 B2  
块C: 4M 128M C0 C1 C2

每个瓶子容量128ml 一碗水260ml  
A 128ml  
B 128ml  
c 4ml

**面试题:**  
一个文件160m,块大小128m，副本数2。  
请问实际几个块，实际物理存储多少？  
128m +128m  
32m + 32  
4个块: 160/128=1…32(进1,为2) 2\*2=4

160m \*2 =320m

### 3.HDFS架构设计 ###

进程  
namenode nn 名称节点  
secondary namenode snn 第二名称节点  
datanode dn 数据节点

主从架构  
Rack : 机架 可以放多个主机 正常10个 GPU主机 5个  
副本放置策略

**nn: 文件系统的命名空间**  
a.文件名称  
b.文件目录结构  
c.文件属性 创建时间 权限 副本数  
d.文件对应哪些数据块  
–>数据块对应哪些datanode节点上  
blockmap 块的映射  
nn节点不会持久化存储这种映射关系  
dn定期发送blockreport 块报告 给nn,  
以此nn在【内存】中动态维护这种映射关系！

假设 nn 8G,在内存里面维护 小文件特别多撑 爆了

(生产上 hdfs不适合存储小文件？为什么不合适？如果真的有小文件，该怎么办？该怎么合并)  
1个小文件: nn节点需要250字节  
1亿: 1亿\*250字节 大

假如真的有小文件 合并  
100小文件合并一个大文件 : nn节点需要300字节  
1亿/100 \* 300字节 小

建议: 合并为一个文件尽量在块大小 120m <=128m

hdfs合并小文件那些方法

**作用:**  
管理文件系统的命名空间，  
维护文件系统树，以两种文件永久保存在磁盘上  
命名空间镜像文件 fsimage  
编辑日志editlog

[root@hadoop001 current]# pwd
    /tmp/hadoop-root/dfs/name/current
    [root@hadoop001 current]# ll
    total 1040
    -rw-r--r--. 1 root root 1048576 Feb 17 20:23 edits_inprogress_0000000000000000001  读和写的请求
    -rw-r--r--. 1 root root     321 Feb 17 19:23 fsimage_0000000000000000000
    -rw-r--r--. 1 root root      62 Feb 17 19:23 fsimage_0000000000000000000.md5
    -rw-r--r--. 1 root root       2 Feb 17 19:23 seen_txid
    -rw-r--r--. 1 root root     219 Feb 17 19:23 VERSION
    [root@hadoop001 current]#

**dn:**  
存储: 数据块 和数据块的校验盒 验证是否损毁  
与nn通信:  
a.每隔3秒发送一个心跳 告诉老大我还存活  
hadoop001:50070  
b.每10次心跳发送一次当前节点的blockreport  
作用: 读写文件的数据块

**snn:**  
存储: fsiamge+editlog  
作用: 定期合并fsimage+editlog文件为新的fsimage文件  
推送个nn节点，简称为检查点 checkpoint  
参数 ：  
dfs.namenode.checkpoint.period 3600s

editlog： 读写的记录  
fsiamge: 读写的记录