CentOS7下Hadoop3.2.1集群的安装与部署（下）

ゝ一世哀愁。 2023-07-06 13:30 2阅读 0赞

在[《CentOS7下Hadoop3.2.1集群的安装与部署（上）》][CentOS7_Hadoop3.2.1]中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对HDFS故障自动转移、Yarn HA配置、多Federation配置进行介绍。

# 启用HDFS故障自动转移 #

Hadoop集群启用故障自动转移，需要按照以下流程操作来对HDFS进行初始化：

==>启动 JournalNodes
    ==>初始化 Acitve NameNode
    ==>启动 Acitve NameNode
    ==>初始化Standby NameNode
    ==>启动Hadoop集群
    ==>创建ZK节点
    ==>启动ZKFC

各个步骤详细内容如下：

*  1、在所有的 JournalNode 上执行 hdfs --daemon start journalnode 来启动JournalNode 。
 *  2、在NN1上执行 hdfs namenode -format 完成 Acitve NameNode 的初始化。
 *  3、在NN1上执行 hdfs --daemon start namenode ，启动Acitve NameNode 。
 *  4、在NN2上执行 hdfs namenode -bootstrapStandby ，来同步NN1的元数据 。
 *  5、在NN1上执行 start-dfs.sh ，启动整个Hadoop 集群。
 *  5、在NN1上执行 hdfs zkfc -formatZK ，在ZooKeeper上创建一个znode用来存储自动故障转移相关数据。
 *  6、在NN1 和 NN2 上执行 hdfs --daemon start zkfc ，启动 ZKFC 守护进程。

# RM高可用 #

在这里，我选择使用Zookeeper作为RM状态的存储介质，在yarn-site.xml中进行配置：

<configuration>
            <property>
                    <name>yarn.resourcemanager.ha.enabled</name>
                    <value>true</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.cluster-id</name>
                    <value>yarn-cluster</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.ha.rm-ids</name>
                    <value>rm1,rm2</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.hostname.rm1</name>
                    <value>RM1</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.hostname.rm2</name>
                    <value>RM2</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.webapp.address.rm1</name>
                    <value>RM1:8088</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.webapp.address.rm2</name>
                    <value>RM2:8088</value>
            </property>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                    <description>A comma separated list of services</description>
            </property>
            <property>
                    <name>yarn.resourcemanager.recovery.enabled</name>
                    <value>true</value>
                    <description>Enable RM to recover state after starting. If true, then yarn.resourcemanager.store.class must be specified</description>
            </property>
            <property>
                    <name>yarn.resourcemanager.store.class</name>
                    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
                    <description>The class to use as the persistent store.</description>
            </property>
            <property>
                    <name>yarn.resourcemanager.zk-address</name>
                    <value>hadoop33:2181,hadoop34:2181,hadoop37:2181</value>
                    <description>Comma separated list of Host:Port pairs.</description>
            </property>
    </configuration>

在完成了上述的配置之后将配置拷贝到Hadoop的所有节点，然后按照如下流程启动集群：

==>启动Zookeeper集群
    ==>执行 start-dfs.sh 启动HDFS集群
    ==>分别在ResourceManager节点上执行yarn --daemon start resourcemanager 启动RM

启动成功之后执行如下命令查看RMs的状态：

[hadoop@hadoop40 hadoop-3.2.1]$ yarn rmadmin -getServiceState rm1
    active
    [hadoop@hadoop40 hadoop-3.2.1]$ yarn rmadmin -getServiceState rm2
    standby

由于当前rm1是Active，如果访问rm2的后台管理界面将会自动重定向到rm1的后台管理界面。

# 多Federation #

## hdfs-site.xml   ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BlbmdqdW5sZWU_size_16_color_FFFFFF_t_70][]

对上图所示，多个Federation共用同一个HDFS的情况，hdfs-site.xml 配置示例如下。

<configuration>
    	<property>
    		<name>dfs.nameservices</name>
    		<value>hadoop-cluster1,hadoop-cluster2</value>
    		<description>Comma-separated list of nameservices.</description>
    	</property>
    
    
    	<property>
    		<name>dfs.ha.namenodes.hadoop-cluster1</name>
    		<value>nn1,nn2</value>
    		<description>The prefix for a given nameservice, contains a comma-separated list of namenodes for a given nameservice (eg EXAMPLENAMESERVICE).</description>
    	</property>
    	<property>
    		<name>dfs.namenode.rpc-address.hadoop-cluster1.nn1</name>
    		<value>NN1:8020</value>
    		<description>RPC address for nomenode1 of hadoop-cluster1</description>
    	</property>
    	<property>
    		<name>dfs.namenode.rpc-address.hadoop-cluster1.nn2</name>
    		<value>NN2:8020</value>
    		<description>RPC address for nomenode2 of hadoop-cluster1</description>
    	</property>
    	<property>
    		<name>dfs.namenode.http-address.hadoop-cluster1.nn1</name>
    		<value>NN1:50070</value>
    		<description>The address and the base port where the dfs namenode1 web ui will listen on.</description>
    	</property>
    	<property>
    		<name>dfs.namenode.http-address.hadoop-cluster1.nn2</name>
    		<value>NN2:50070</value>
    		<description>The address and the base port where the dfs namenode2 web ui will listen on.</description>
    	</property>
    
    
    	<property>
    		<name>dfs.ha.namenodes.hadoop-cluster2</name>
    		<value>nn3,nn4</value>
    		<description>The prefix for a given nameservice, contains a comma-separated list of namenodes for a given nameservice (eg EXAMPLENAMESERVICE).</description>
    	</property>
    	<property>
    		<name>dfs.namenode.rpc-address.hadoop-cluster2.nn3</name>
    		<value>NN3:8020</value>
    		<description>RPC address for nomenode3 of hadoop-cluster2</description>
    	</property>
    	<property>
    		<name>dfs.namenode.rpc-address.hadoop-cluster2.nn4</name>
    		<value>NN4:8020</value>
    		<description>RPC address for nomenode4 of hadoop-cluster2</description>
    	</property>
    	<property>
    		<name>dfs.namenode.http-address.hadoop-cluster2.nn3</name>
    		<value>NN3:50070</value>
    		<description>The address and the base port where the dfs namenode3 web ui will listen on.</description>
    	</property>
    	<property>
    		<name>dfs.namenode.http-address.hadoop-cluster2.nn4</name>
    		<value>NN4:50070</value>
    		<description>The address and the base port where the dfs namenode4 web ui will listen on.</description>
    	</property>
    
    	<property>
    		<name>dfs.namenode.name.dir</name>
    		<value>file:///home/hadoop/hdfs/name</value>
    		<description>Determines where on the local filesystem the DFS name nodeshould store the name table(fsimage). </description>
    	</property>
    	<property>
    		<name>dfs.namenode.shared.edits.dir</name>
    		<value>qjournal://JN1:8485;JN2:8485;JN3:8485/hadoop-cluster</value>
    		<description>A directory on shared storage between the multiple namenodes in an HA cluster. </description>
    	</property>
    	<property>
    		<name>dfs.datanode.data.dir</name>
    		<value>file:///home/hadoop/hdfs/data</value>
    		<description>Determines where on the local filesystem an DFS data node should store its blocks.</description>
    	</property>
    	<property>
    		<name>dfs.ha.automatic-failover.enabled</name>
    		<value>false</value>
    		<description>Whether automatic failover is enabled. </description>
    	</property>
    	<property>
    		<name>dfs.journalnode.edits.dir</name>
    		<value>/home/hadoop/hdfs/journal/</value>
    	</property>
    </configuration>

将 hadoop-cluster1 中的个两个NameNode （NN1,NN2）中的 hdfs-site.xml 该配置项修改如下。

<property>
    		<name>dfs.namenode.shared.edits.dir</name>
    		<value>qjournal://JN1:8485;JN2:8485;JN3:8485/hadoop-cluster1</value>
    		<description>A directory on shared storage between the multiple namenodes in an HA cluster. </description>
    	</property>

将 hadoop-cluster2 中的个两个NameNode （NN3,NN4）中的 hdfs-site.xml 该配置项修改如下。

<property>
    		<name>dfs.namenode.shared.edits.dir</name>
    		<value>qjournal://JN1:8485;JN2:8485;JN3:8485/hadoop-cluster2</value>
    		<description>A directory on shared storage between the multiple namenodes in an HA cluster. </description>
    	</property>

## 集群启动步骤 ##

### 启动nn1与nn2 ###

*  在所有的 JournalNode 上执行 hdfs --daemon start journalnode 来启动JournalNode 。
 *  在nn1上执行 hdfs namenode -format -clusterId hadoop-cluster 完成 nn1 的初始化。
 *  在nn1上执行 hdfs --daemon start namenode ，启动 nn1  。
 *  在nn2上执行 hdfs namenode -bootstrapStandby ，来同步nn1的元数据 。
 *  在nn2上执行 hdfs --daemon start namenode ，启动 nn12 。

经过以上四步操作，nn1和nn2均处理Standby状态。执行以下命令将nn1切换为Active：

hdfs haadmin -ns hadoop-cluster1 -transitionToActive nn1

###  启动nn3与nn4 ###

*  在nn3上执行 hdfs namenode -format -clusterId hadoop-cluster 完成 nn3 的初始化。
 *  在nn3上执行 hdfs --daemon start namenode ，启动 nn3 。
 *  在nn4上执行 hdfs namenode -bootstrapStandby ，来同步nn3的元数据 。
 *  在nn4上执行 hdfs --daemon start namenode ，启动 nn4  。

经过以上四步操作，nn3和nn4均处理Standby状态。执行以下命令将nn3切换为Active：

hdfs haadmin -ns hadoop-cluster2 -transitionToActive nn3

### 启动其他节点 ###

在NN1上执行 start-dfs.sh ，启动整个Hadoop 集群。

[CentOS7_Hadoop3.2.1]: https://blog.csdn.net/pengjunlee/article/details/104370986
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BlbmdqdW5sZWU_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200219173029646.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BlbmdqdW5sZWU=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，2人围观）

还没有评论，来说两句吧...

相关阅读

相关 CentOS7下Hadoop3.2.1集群的安装与部署（下）

在[《CentOS7下Hadoop3.2.1集群的安装与部署（上）》][CentOS7_Hadoop3.2.1]中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对H

ゝ一世哀愁。/ 2023年07月06日 13:30/ 0 赞/ 3 阅读

相关 CentOS7下Hadoop3.2.1集群的安装与部署（上）

本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。 Hadoop-HA集群的节点规划如下： <table>

迈不过友情╰/ 2023年07月06日 11:37/ 0 赞/ 4 阅读

相关 Centos下ZooKeeper安装部署配置（集群模式）

目录第一步：准备文件（1）上传文件（2）解压文件第二步：修改配置文件（1

ゝ一世哀愁。/ 2023年02月18日 05:27/ 0 赞/ 60 阅读

相关 CentOS下部署Hadoop高性能集群

目录： •Hadoop 概述 •实战1:部署Hadoop高性能集群 Hadoop是什么 Hadoop是Lucene创始人Doug Cutting，根据Googl

待我称王封你为后i/ 2022年12月26日 04:44/ 0 赞/ 277 阅读

相关 Ubuntu下hadoop集群安装

一、需要的软件 1、jdk-7u21-linux-i586.tar.gz 2、hadoop：hadoop-1.2.1.tar.gz 3、zlib：zlib-1

今天药忘吃喽~/ 2022年08月14日 03:56/ 0 赞/ 284 阅读

相关 Redis在Centos7下的集群安装

最近花了3天时间，终于把Redis的集群搭建起来了，高开低走，开始觉得还算容易，装到后面做集群的时候被Ruby环境坑了2天，不过最后还是搞定了，这里跟大家分享下。 Redis

港控/mmm°/ 2022年06月05日 00:47/ 0 赞/ 455 阅读

相关 Centos7 下Kubernetes集群安装部署

操作环境网络拓扑图 ![Center][]、操作环境： k8s-master： O

我会带着你远行/ 2022年06月02日 04:16/ 0 赞/ 364 阅读

相关 CentＯS 7上安装hadoop集群

环境：CentOS 7虚拟机两台（192.168.31.224、192.168.31.225）、Hadoop-2.8.0 、jdk 1.8 实现两台虚拟机SSH免密码登录

我不是女神ヾ/ 2022年05月27日 09:49/ 0 赞/ 766 阅读

相关 centos7下redis集群安装

配置集群环境（两台机器，6个节点，至少需要6个节点。） 1、创建 Redis 实例存放目录进入 /usr/local/java/目录，输入 " mkdir redis-

超、凢脫俗/ 2022年05月19日 04:40/ 0 赞/ 273 阅读

相关 centos6下安装hadoop集群

安装集群环境：克隆虚拟机后： 1.恢复网卡： vi /etc/udev/rules.d/70-persistent-net.rules 删除etho，将eth

不念不忘少年蓝@/ 2022年05月08日 03:34/ 0 赞/ 331 阅读