centos7 HA高可用完全分布式hadoop集群搭建（三台机器）

向右看齐 2024-04-17 17:57 43阅读 0赞

#### 1. 集群规划 ####

<table> 
 <thead> 
  <tr> 
   <th>机器IP</th> 
   <th>服务</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master:192.168.159.100</td> 
   <td>zookeeper、namenode、datanode、ResourceManager、JournalNode</td> 
  </tr> 
  <tr> 
   <td>slave1:192.168.159.101</td> 
   <td>zookeeper、namenode、datanode、ResourceManager、JournalNode</td> 
  </tr> 
  <tr> 
   <td>slave2:192.168.159.102</td> 
   <td>zookeeper、datanode、JournalNode</td> 
  </tr> 
 </tbody> 
</table>

#### 2. 安装zookeeper ####

##### 2.1 zookeeper下载 #####

推荐清华镜像站：https://mirrors.tuna.tsinghua.edu.cn/  
找到Apache 找到zookeeper 下载相应版本，注意不要踩坑，现在是19.08.29日，我想尝试最新版的zookeeper3.5.5，但是搭建好后根本没有反应，于是换了3.4.14，可能是和我的hadoop版本不兼容？？？我本人是hadoop2.8.5 centos7.4 ，总之不要总是追求最新的版本，最新的不一定是最好的

##### 2.2 zookeeper的安装 #####

下载好后解压到目录，我的是/usr/zookeeper(注意，下载过来的东西尽量不要总安装在home下，可以自己开一个专用的目录)

tar zxvf zookeeper-3.4.14.tar.gz -C /usr/zookeeper --strip-components 1

进入到conf文件夹，将里面的zoo\_sample.cfg重命名zoo.cfg，修改其中的内容：

cp zoo_sample.cfg zoo.cfg

修改：

# The number of milliseconds of each tick
    # 服务器与客户端之间交互的基本时间单元（ms） 
    tickTime=2000   
    
    # The number of ticks that the initial  
    # synchronization phase can take 
    # zookeeper所能接受的客户端数量 
    initLimit=10  
    
    # The number of ticks that can pass between  
    # sending a request and getting an acknowledgement 
    # 服务器和客户端之间请求和应答之间的时间间隔 
    syncLimit=5
    
    # the directory where the snapshot is stored. 
    # do not use /tmp for storage, /tmp here is just  
    # example sakes. 
    # 保存zookeeper数据，日志的路径
    dataDir=/usr/zookeeper/data
    
    # the port at which the clients will connect 
    # 客户端与zookeeper相互交互的端口 
    clientPort=2181 
    server.1= dn1:2888:3888 
    server.2= dn2:2888:3888 
    server.3= dn3:2888:3888
    
    #server.A=B:C:D  其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；
    C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通
    信的端口。

我们紧接着在文件中追加这个路径：

mkdir /usr/zookeeper/data

然后再这个data文件夹中创建一个名为myid的文件，注意这个文件没有后缀，且名为myid不可变  
这个文件用来装当前节点的id，用来在选举leader的时候进行投票，一般我们在第一个节点写1，第二个写2，第三个写3（zookeeper选举leader的过程有蛮多帖子的）

##### 2.3 分别在各个dn节点启动zk进程，命令如下： #####

bin/zkServer.sh start

输入`jps`后会出现如下进程：

QuorumPeerMain

再执行：

bin/zkServer.sh status

会出现一个leader和两个follower。

##### 2.4 HDFS＋HA的结构图 #####

HDFS配置HA的结构图如下所示：  
　　![HA结构][HA]  
　　1. 利用共享存储来在两个NN间同步edits信息。以前的HDFS是share nothing but NN，现在NN又share storage，这样其实是转移了单点故障的位置，但中高端的存储设备内部都有各种RAID以及冗余硬件，包括电源以及网卡等，比服务器的可靠性还是略有提高。通过NN内部每次元数据变动后的flush操作，加上NFS的close-to-open，数据的一致性得到了保证。

2. DN同时向两个NN汇报块信息。这是让Standby NN保持集群的最新状态的必须步骤。

3. 用于监视和控制NN进程的FailoverController进程。显然，我们不能在NN进程内部进行心跳等信息同步，最简单的原因，一次FullGC就可以让NN挂起十几分钟，所以，必须要有一个独立的短小精悍的watchdog来专门负责监控。这也是一个松耦合的设计，便于扩展或更改，目前版本里是用ZooKeeper（简称ZK）来做同步锁，但用户可以方便的把这个Zookeeper FailoverController（简称ZKFC）替换为其他的HA方案或leader选举方案。

4. 隔离（Fencing），防止脑裂，就是保证在任何时候只有一个主NN，包括三个方面：

1.  共享存储fencing，确保只有一个NN可以写入edits。
2.  客户端fencing，确保只有一个NN可以响应客户端的请求。
3.  DN fencing，确保只有一个NN向DN下发命令，譬如删除块，复制块等等。

#### 3. 搭建HAHadoop ####

##### 3.1 安装hadoop #####

参考：https://blog.csdn.net/qq\_36525906/article/details/100120144  
到配置文件步骤时要回来看这里的配置文件

##### 3.2 配置环境 #####

/etc/profile追加

export ZK_HOME=/usr/zookeeper

追加文件：（可以改成自己的文件地址）

mkdir -p /usr/hadoop/tmp
    mkdir -p /usr/hadoop/data/tmp/journal
    mkdir -p /usr/hadoop/data/dfs/name
    mkdir -p /usr/hadoop/data/dfs/data
    mkdir -p /usr/hadoop/data/yarn/local
    mkdir -p /usr/hadoop/log/yarn

##### 3.3 配置文件 #####

hdfs-site.xml

<configuration>
        <property>
            <name>dfs.nameservices</name>
            <value>cluster1</value>
        </property>
        <property>
            <name>dfs.ha.namenodes.cluster1</name>
            <value>master,slave1</value>
        </property>
        <property>
            <name>dfs.namenode.rpc-address.cluster1.master</name>
            <value>master:9000</value>
        </property>
        <property>
            <name>dfs.namenode.rpc-address.cluster1.slave1</name>
            <value>slave1:9000</value>
        </property>
    
        <property>
            <name>dfs.namenode.http-address.cluster1.master</name>
            <value>master:50070</value>
        </property>
    
        <property>
            <name>dfs.namenode.http-address.cluster1.slave1</name>
            <value>slave1:50070</value>
        </property>
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://master:8485;slave1:8485;slave2:8485/cluster1</value>
        </property>
    
        <property>
            <name>dfs.client.failover.proxy.provider.cluster1</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <property>
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
        </property>
        <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
        </property>
        <property>
            <name>dfs.journalnode.edits.dir</name>
            <value>/usr/hadoop/data/tmp/journal</value>
        </property>
        <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/hadoop/data/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/hadoop/data/dfs/data</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
        </property>
    
        <property>
            <name>dfs.journalnode.http-address</name>
            <value>0.0.0.0:8480</value>
        </property>
        <property>
            <name>dfs.journalnode.rpc-address</name>
            <value>0.0.0.0:8485</value>
        </property>
        <property>
            <name>ha.zookeeper.quorum</name>
            <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
    	<property>
    
     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
    
     <value>false</value>
    
    </property>
    
    </configuration>

core-site.xml

<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://cluster1</value>
        </property>
    <property>
    <name>dfs.nameservices</name>
    
    <value>cluster1</value>
    </property>
        <property>
            <name>io.file.buffer.size</name>
            <value>131072</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/hadoop/tmp</value>
        </property>
        <property>
            <name>hadoop.proxyuser.hadoop.hosts</name>
            <value>*</value>
        </property>
        <property>
            <name>hadoop.proxyuser.hadoop.groups</name>
            <value>*</value>
        </property>
        <property>
            <name>ha.zookeeper.quorum</name>
            <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
    	<property>
        <name>ipc.client.connect.max.retries</name>
        <value>100</value>
        <description>Indicates the number of retries a client will make to establish a server connection.</description>
    </property>
    <property>
        <name>ipc.client.connect.retry.interval</name>
        <value>10000</value>
        <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description>
    </property>
    </configuration>

yarn-site.xml

<configuration>
        <property>
            <name>yarn.resourcemanager.connect.retry-interval.ms</name>
            <value>2000</value>
        </property>
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
        </property>
        <property>
            <name>ha.zookeeper.quorum</name>
            <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>master</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>slave1</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.ha.id</name>
            <value>rm1</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.zk-state-store.address</name>
            <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
        <property>
            <name>yarn.resourcemanager.store.class</name>
            <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>cluster1-yarn</value>
        </property>
    
        <property>
            <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
            <value>5000</value>
        </property>
        
        <property>
            <name>yarn.resourcemanager.address.rm1</name>
            <value>master:8132</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address.rm1</name>
            <value>master:8130</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address.rm1</name>
            <value>master:8188</value>
        </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
            <value>master:8131</value>
        </property>
        <property>
            <name>yarn.resourcemanager.admin.address.rm1</name>
            <value>master:8033</value>
        </property>
        <property>
            <name>yarn.resourcemanager.ha.admin.address.rm1</name>
            <value>master:23142</value>
        </property>
        
        <property>
            <name>yarn.resourcemanager.address.rm2</name>
            <value>slave1:8132</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address.rm2</name>
            <value>slave1:8130</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address.rm2</name>
            <value>slave1:8188</value>
        </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
            <value>slave1:8131</value>
        </property>
        <property>
            <name>yarn.resourcemanager.admin.address.rm2</name>
            <value>slave1:8033</value>
        </property>
        <property>
            <name>yarn.resourcemanager.ha.admin.address.rm2</name>
            <value>slave1:23142</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
            <name>yarn.nodemanager.local-dirs</name>
            <value>/usr/hadoop/data/yarn/local</value>
        </property>
        <property>
            <name>yarn.nodemanager.log-dirs</name>
            <value>/usr/hadoop/log/yarn</value>
        </property>
        <property>
            <name>mapreduce.shuffle.port</name>
            <value>23080</value>
        </property>
    
        <property>
            <name>yarn.client.failover-proxy-provider</name>
            <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
        </property>
        <property>
            <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
            <value>/yarn-leader-election</value>
        </property>
    </configuration>

mapre-site.xml(直接将mapre-site.xml.template复制成mapre-site.xml)

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>master:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>master:19888</value>
        </property>
    </configuration>

hadoop-env.sh

export JAVA_HOME=/usr/java

yarn-env.sh

export JAVA_HOME=/usr/java

slaves:

master
    slave1
    slave2

至此，应该搭建的差不多了。。。。。。

##### 3.4 启动顺序（请严格遵守） #####

1.  进入到zookeeper目录，启动zk的服务：`zkServer.sh start`，之后可以输入`zkServer.sh status`查看启动状态，本次我们配置了三个DN节点，会出现一个leader和两个follower。输入jps，会显示启动进程：QuorumPeerMain
2.  在NN节点上（选一台即可，这里我选择的是一台预NNA节点），然后启动journalnode服务，命令如下：`hadoop-daemons.sh start journalnode`。或者单独进入到每个DN输入启动命令：hadoop-daemon.sh start journalnode。输入jps显示启动进程：JournalNode。
3.  格式化zookeeper

hdfs zkfc -formatZK

1.  在第一个节点上格式化NameNode：`hadoop namenode -format`
2.  在第一个节点上启动NameNode：`hadoop-daemon.sh start namenode`
3.  在第二个节点上格式化NameNode：`hdfs namenode -bootstrapStandby`
4.  在第二个节点上启动NameNode：`hadoop-daemon.sh start namenode`
5.  在三个节点上启动DataNode：`hadoop-daemon.sh start datanode`
6.  在第一个节点和第二个节点上启动zkfc（FailoverController）：`hadoop-daemon.sh start zkfc`
7.  在第一个节点上启动Yarn：`start-yarn.sh`
8.  在第三个节点上启动ResourceManager：`yarn-daemon.sh start resourcemanager`.
9.  由于我配置的是自动切换，若Master节点宕掉，slave1节点会立即由standby状态切换为active状态。若是配置的手动状态，可以输入如下命令进行人工切换：

hdfs haadmin -failover --forcefence --forceactive master  slave1

应该配图了，一个active，一个standby  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 1]

##### 4. 错误总结 #####

1.  format时报错  
    一直retry连接slave1和slave2 ：core配置文件中加入（上面加好了）

<property>
        <name>ipc.client.connect.retry.interval</name>
        <value>10000</value>
        <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description>
    </property>

是因为，在用start-all的时候加载journalnode（端口8485）是在namenode后启动的。默认情况下namenode启动10s(maxRetries=10, sleepTime=1000)后journalnode还没有启动，就会报上述错误。  
所以我们延长他的相应时间，以求能解决问题，但是几率比较低，全凭运气，所以在启动集群时尽量避免start-all.sh,按照顺序执行启动。

1.  format时依然报错  
    a shared edits dir must not be specified if HA is not enabled.  
    配置文件出错：可能是在复制的时候漏掉了  
    core-site.xml

需要有这样类似的nameservices配置
        <name>fs.defaultFS</`name`>
        <value>hdfs://cluster1</value>
         <description>HDFS的URI，文件系统://namenode标识:端口号</description>
        </property>
        <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
        </property>

1.  节点宕机后不能自动切换，standby节点不能自主变成active  
    第一点原因：  
    在hdfs配置文件中：

<property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
        </property>

这里的地址应为，本机上的秘钥的地址，不一定在root下

第二点原因：  
如果用的是centos7系列，那7上缺少一个插件，无法解析ssh加密，所以不能反登陆，即从slave1登录到master，自行下载： `yum install psmisc`

第三点原因：  
slave1到master不能进行无密码登录，ssh master失败，所以无法切换，解决：自行向master配置公共秘钥

1.  在本机上已经启动了datanode，可是在网页上缺少datanode节点，比如本身是3台，却只显示 了两台。

解决：

step1：查看下etc/hosts是否配置了，如果配置了请看步骤step2

step2：再namenode的机器上修改hdfs-site.xml文件，加入下面配置后，重新启动

<property>
     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
     <value>false</value>
    </property>

1.  如果你是hadoop普通用户，非root  
    可能在做上传下载时有权限问题，需要在hdfs-site配置加入

<property>
    	<name>dfs.permissions.enabled</name>
    	<value>false</value>
    </property>

[HA]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5ad7af9983d049e99c49f261d86e1e0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/f02bd7ffea884e3585d8d3ec5f6cabcb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/e966c635c2684f13add3950e817733ae.png