2.2.12 hadoop体系之离线计算-mapreduce分布式计算-hadoop常见问题总结（hdfs+yarn+mapreduce）

浅浅的花香味﹌ 2022-12-27 07:24 112阅读 0赞

**目录**

1. 分布式文件存储系统架构的理解

2. 阐述HDFS的存储机制

2.1 HDFS读文件流程

2.2 HDFS写文件流程

3. 解释HDFS客户端操作常用API含义Configuration、FileSystem

4. Hadoop中需要哪些配置文件，其作用是什么？

5. 请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么？

6. 简述Hadoop的几个默认端口以及含义

7. 文件大小默认为64MB，改为128MB有啥影响？

8. 简述SecondaryNameNode的工作机制

NameNode阶段

SecondaryNameNode阶段

9. NameNode与SecondaryNameNode的区别与联系？

10. NameNode内存包含哪些，具体如何分配？

11. 你认为Hadoop有哪些设计不合理的地方？

--------------------

# 1. 分布式文件存储系统架构的理解 #

![14a6368c47174971c43e5cff30235b34.png][]

如上图所示，HDFS的设计符合主从架构，也就是Master/Slaves的结构。分HDFS Client、NameNode、DataNode、SecondaryNameNode这几个角色

**HDFS Client**：负责文件上传到集群时的切块（Hadoop1.x每块64MB，Hadoop2.x每块128MB）、与NameNode通信，获得文件的位置信息、与DataNode交互，实现数据的读取与写入、通过HDFS Cli来操作HDFS。

**NameNode**：是Master节点，是集群的老大。管理HDFS的名称空间、管理数据块的映射、处理客户端的读写请求、配置副本策略。

**DataNode**：Slaves节点，小弟。给老大干活儿的，负责存储Client发来的数据块Block。

**SecondaryNameNode**：是一个秘书级别的角色，辅助老大NameNode，是NameNode的冷备份。负责合并fsimage和edits，然后再发给NameNode。

`冷备份`：b是a的冷备份，如果a宕掉，b不能马上代替a工作，但b上保存有a的部分信息，可以减少a宕掉之后的损失。

`热备份`：b是a的热备份，如果a宕掉，b能马上代替a工作

fsimage：元数据镜像文件（文件系统的目录树）。

edits：元数据的操作日志（对文件系统做的创建、修改、删除等操作记录）。

NameNode内存中存储的是fsimage+edits，SecondaryNameNode负责定时（默认1小时），从NameNode上获取fsimage和edits来进行合并，然后再发给NameNode，减少NameNode的工作量。

# 2. 阐述HDFS的存储机制 #

**HDFS的存储机制包括HDFS的读取过程和写入过程两个部分**

## 2.1 HDFS读文件流程 ##

![c6fd058fbd26c14f64a83c4d051874b5.png][]

1、HDFS Client通过Distributed FileSystem访问NameNode查询元数据信息，获得这个文件的数据块位置列表，返回输入流对象。

元数据
    #块列表
    {blk-01,blk02}
    #块所在的DataNode列表
    {blk-01:node1,blk-01:node2,blk-01:node3,blk-02:node1,blk-02:node2,blk-02:node3}

2、NameNode通过查询NameSpace的元数据，找到数据块所在的DataNode节点的位置，然后按照就近原则，挑选数据块对应的DataNode节点列表并返回。

元数据
    #块列表
    {blk-01,blk02}
    #块所在的DataNode列表
    {blk-01:node1,blk-02:node1}

3，4，5、使用底层文件系统的FSDataInputStream，开始**并行读**取各个数据块（单位packet 64KB）。同时，读完一个Block都会进行checksum验证，如果读取DN时出错，HDFS Client通知NameNode，然后再从下一个拥有该Block副本的DN继续读取。  
6、最终读取完所有的Block后合并成一个完整的文件，并关闭读取流

## 2.2 HDFS写文件流程 ##

![ddbf56f6066180798c237ad1041425f2.png][]

1、HDFS Client调用DistributedFileSystem对象的create方法，创建文件输出流对象FSDataOutputStream  
2、HDFS Client通过DistributedFileSystem对象与NameNode进行RPC远程调用，向NN询问FS中是否有该文件

1.Namenode响应，文件不存在，可以上传
    2.HDFS Client进行文件按Block切割，请求上传第1个Block,向NameNode请求存储位置列表
    3.NameNode返回文件能存储的节点列表，比如node01、node02、node03

3、通过FSDataOutputStream对象，向DataNode写入数据，数据首先被写入FSDataOutputStream对象内部的Buffer中，然后数据被分割成一个个Packet数据包。  
4、以Packet为最小单位，基于Socket连接发送到按**特定算法选择**的HDFS集群中一组DataNode（正常是3个，可能大于等于1）中的一个节点上，在这组DataNode组成的Pipeline上依次传输Packet。  
5、这组DataNode组成的Pipeline反方向上发送ack响应，最终由Pipeline中第一个DataNode节点将Pipeline ack响应结果发送给HDFS Client。  
6、第2、3…个Block重复执行2，3，4，5（第2步只需要询问块所在的节点位置），完成数据块的写入。  
7、最后一个数据块写入完毕后，HDFS Client调用输出流FSDataOutputStream对象的close方法，关闭流。最后，HDFS Client调用DistributedFileSystem对象的complete方法，通知NameNode文件写入成功

# 3. 解释HDFS客户端操作常用API含义Configuration、FileSystem #

**Configuration**：该类的对象封装了客户端或者服务器的配置信息。通常可以使用该类的set方法设置k-v键值对来封装信息，addResource方法来指定加载的配置文件。

**FileSystem**：该类的对象是一个文件系统对象，可以使用该对象的一些方法来对文件进行操作。通常使用FileSystem的静态方法get来获得该对象。

FileSystem fs=FileSystem.get(conf);
    FileSystem fs=FileSystem.get(URI.create(hdfsurl),conf,username);
    
    #创建目录
    fs.mkdirs(new Path(路径));
    #查看文件信息
    fs.listStatus(new Path(路径));
    #递归查看
    fs.listFiles(new Path(路径),true);
    #递归删除目录
    fs.delete(new Path(路径),true);
    #输入流
    fs.open(new Path(路径));
    #输出流
    fs.create(new Path(路径));
    #上传
    fs.copyFromLocalFile(new Path(localPath), new Path(hdfsPath));
    #下载
    fs.copyToLocalFile(new Path(hdfsPath), new Path(localPath));

# 4. Hadoop中需要哪些配置文件，其作用是什么？ #

1、hadoop-env.sh：只需要设置jdk的安装路径即可

2、core-site.xml

fs.defaultFS:hdfs://hadoop01:9000，这里指的是默认的HDFS路径
    hadoop.tmp.dirfile:///opt/software/hadoop-2.7.7/tmp，这里的路径默认是NN、DN、SNN等存放数据的公共目录，用户也可以单独指定这三类路径
    io.file.buffer.size:4096，默认缓存大小4KB
    ha.zookeeper.quorum:hadoop01:2181,hadoop02:2181,hadoop03:2181，这里是Zookeeper集群的地址和端口。数量一定要是奇数，且不少于三个节点。

3、hdfs-site.xml

dfs.block.size:134217728,数据块默认大小128M
    dfs.replication:3，副本数量，不配置的话默认为3
    fs.checkpoint.dir:file:///opt/software/hadoop-2.7.7/checkpoint/dfs/cname，SecondaryNameNode的fsimage和edits的存储目录
    dfs.name.dir:file:///opt/software/hadoop-2.7.7/dfs/namenode_data，namenode节点存储Hadoop文件系统信息的本地系统路径
    dfs.data.dir:file:///opt/software/hadoop-2.7.7/dfs/datanode_data，datanode节点数据的本地系统路径
    dfs.namenode.secondary.http-address:hadoop02:50090，指定secondarynamenode的web地址
    dfs.permissions:false，hdfs文件操作权限,false为不验证

4、mapred-site.xml

mapreduce.framework.name:yarn，指定mapreduce运行在yarn上
    mapreduce.jobhistory.address:hadoop01:10020，配置任务历史服务器地址
    mapreduce.jobhistory.webapp.address:hadoop01:19888，配置任务历史服务器web-UI地址

5、yarn-site.xml

yarn.resourcemanager.hostname:hadoop01,指定yarn的老大resourcemanager的地址
    yarn.nodemanager.aux-services:mapreduce_shuffle，NodeManager获取数据的方式
    yarn.log-aggregation-enable:true，开启日志聚集功能
    yarn.log-aggregation.retain-seconds:604800，配置日志保留7天

6、slaves

配置从节点列表

# 5. 请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么？ #

**NameNode**：Hadoop中的老大，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadata。

**DataNode**：负责管理连接到节点的存储（一个集群中有多个节点）。每个存储数据的节点运行一个DataNode。

**SecondaryNameNode**：它不是NameNode的冗余守护进程，而是提供定期检查点和清理任务，帮助NameNode合并fsimage和edits，减少NameNode的启动时间。

**ResourceManager**：（JobTracker）负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。

**NodeManager**：（TaskTracker）执行任务

**DFSZKFailoverController**：高可用时负责监控NameNode的状态并及时把状态信息写入ZK。它通过一个独立线程周期性的调用NameNode上的一个特定接口来获取NameNode的健康状态。FC也有选择谁作为Active NameNode的权利，因为Hadoop2.x最多只有两个NameNode节点，目前选择策略还比较简单（先到先得，轮换）。

**JournalNode**：高可用情况下存放NameNode的edits文件

# 6. 简述Hadoop的几个默认端口以及含义 #

dfs.namenode.http-address:50070

SecondaryNameNode：50090

dfs.datanode.address:50010

fs.defaultFS:8020或9000

yarn.resourcemanager.webapp.address:8088

historyserver:19888

# 7. 文件大小默认为64MB，改为128MB有啥影响？ #

1、增加了文件块的大小，同时也就需要增加磁盘的传输速率

2、假如数据块设置过小，那需要读取的数据块就比较多，由于数据块在硬盘上非连续存储，普通硬盘因为需要移动磁头，所以随机寻址较慢，读越多的数据块就增大了总的硬盘寻道时间，所以就需要在减少寻址频率和提升磁盘传输速率之间找到一个阈值。

# 8. 简述SecondaryNameNode的工作机制 #

![66c0847924a4810684c080269c5a9892.png][]

## **NameNode阶段** ##

1、第一次启动NameNode格式化后，创建fsimage和edits文件加载到内存中。如果不是第一次启动，直接加载最新的edits和fsimage到内存。

2、HDFS Client对元数据进行增删改的请求

3、NameNode中edits记录操作日志，更新滚动日志。

4、NameNode在内存中对数据进行增删改查

## **SecondaryNameNode阶段** ##

设置的定时时间(dfs.namenode.checkpoint.period)或edits中操作次数达到上限(dfs.namenode.checkpoint.txns)后，进行以下操作

1、NamdeNode生成一个新的文件：edits.new  
2、每隔一段时间(默认1小时)，SNN将NN上最新的fsimage和滚动前的编辑日志edits通过http协议下载到本地，并加载到内存。  
3、SNN将内存中的fsimage和edits进行merge（合并）,生成一个新的镜像文件(fsimage.ckpt)，这个过程称为checkpoint  
4、然后SNN将新生成的fsimage.ckpt通过http协议发送到NamdeNode  
5、NameNode将edits.new重命名为edits,将fsimage.ckpt重命名为fsimage

# 9. NameNode与SecondaryNameNode的区别与联系？ #

1、机制流程见**8**

2、区别

NameNode负责管理整个文件系统的元数据以及每一个路径（文件）所对应的数据块信息。

SecondaryNameNode用于定期合并命名空间镜像和命名空间镜像的编辑日志。

3、联系

SecondaryNameNode中保存了一份和NameNode一致的镜像文件（fsimage）和编辑日志（edits）。

在NameNode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据（默认一小时前的数据）。

# 10. NameNode内存包含哪些，具体如何分配？ #

**1.Namespace**：维护整个文件系统的目录树结构及目录树上的状态变化

**2.BlockManager**：维护整个文件系统中与数据块相关的信息及数据块的状态变化

**3.NetworkTopology**：维护机架拓扑及DataNode信息，机架感知的基础

**4.其它**：

LeaseManager：读写的互斥同步就是靠Lease实现，支持HDFS的Write-Once-Read-Many的核心数据结构；

CacheManager：Hadoop 2.3.0引入的集中式缓存新特性，支持集中式缓存的管理，实现memory-locality提升读性能；

SnapshotManager：Hadoop 2.1.0引入的Snapshot新特性，用于数据备份、回滚，以防止因用户误操作导致集群出现数据问题；

DelegationTokenSecretManager：管理HDFS的安全访问；

另外还有临时数据信息、统计信息metrics等等。

NameNode常驻内存主要被Namespace和BlockManager使用，二者使用占比分别接近50%。其它部分内存开销较小且相对固定，与Namespace和BlockManager相比基本可以忽略。

# 11. 你认为Hadoop有哪些设计不合理的地方？ #

1、不支持文件的并发写入和对文件内容的随机修改。

2、不支持低延迟、高吞吐的数据访问。

3、存取大量小文件，会占用 namenode 大量内存，小文件的寻道时间超过读取时间。

4、Hadoop 环境搭建比较复杂。

5、数据无法实时处理。

6、mapreduce的shuffle阶段IO太多。

7、编写mapreduce难度较高，实现复杂逻辑时代码量太大。

[14a6368c47174971c43e5cff30235b34.png]: /images/20221120/4eb2f3d138af48f89779bca7f3f970a3.png
[c6fd058fbd26c14f64a83c4d051874b5.png]: /images/20221120/f4f54380225845a7afcfc6d3b35122ab.png
[ddbf56f6066180798c237ad1041425f2.png]: /images/20221120/7689f51531844beb8cef74728993ef15.png
[66c0847924a4810684c080269c5a9892.png]: /images/20221120/12d04de318c14b1fa5b26b08fa17c719.png