Hadoop完全分布式集群的搭建

待我称王封你为后i 2022-04-06 18:12 307阅读 0赞

*如果前一章的内容你看懂了，那么请先删除之前搭建的三个**新服务器**重新克隆三个！！！(博主绝对不是故意为之，真的只是忘记了？)*

### Hadoop完全分布式集群的搭建 ###

*  1.分布式集群搭建规划
 *  2.集群的配置（权限问题，命令执行位置问题请自行注意）
 *   *  2.1核心配置文件(core)
     *  2.2 HDFS配置文件(hdfs)
     *  2.3YARN配置文件(yarn)
     *  2.4MapReduce配置文件(mapred)
     *  2.5 在集群上分发配置好的Hadoop配置文件
 *  3.集群的启动（分两种方式）
 *   *  3.1 单点启动
     *  3.2 群起集群
     *   *  3.2.1 SSH无密登录
         *  3.2.2 集群是第一次启动，需要格式化NameNode
         *  3.2.3 启动HDFS
         *  3.2.4 启动YARN
 *  4.集群查看
 *   *  4.1查看HDFS文件系统
     *  4.2查看SecondaryNameNode
     *  4.3查看YARN
 *  5.返回目录

# 1.分布式集群搭建规划 #

开始之前当然是要有一个计划：  
![在这里插入图片描述][20181209225012556.png]

# 2.集群的配置（权限问题，命令执行位置问题请自行注意） #

## 2.1核心配置文件(core) ##

执行命令：vi core-site.xml  
在文件中加入如下内容：

<property>
    	<name>fs.defaultFS</name>
    	<value>hdfs://hadoop102:9000</value>
    </property>
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

## 2.2 HDFS配置文件(hdfs) ##

1.执行命令：vi hadoop-env.sh  
配置JAVA\_HOME环境：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令：vi hdfs-site.xml  
添加如下内容：

<property>
    	<name>dfs.replication</name>
    	<value>3</value>
    </property>
    
    <property>
    	<name>dfs.namenode.secondary.http-address</name>
    	<value>hadoop104:50090</value>
    </property>

## 2.3YARN配置文件(yarn) ##

1.执行内容：vi yarn-env.sh  
配置JAVA\_HOME环境：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令：vi yarn-site.xml  
添加如下内容：

<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>
    
    <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>hadoop103</value>
    </property>

## 2.4MapReduce配置文件(mapred) ##

1.执行命令：vi mapred-env.sh  
配置JAVA\_HOME:

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.配置mapred-site.xml：

*  修改配置文件名（因为默认加载mapred-site.xml）：cp mapred-site.xml.template mapred-site.xml
 *  在编辑配置文件：vi mapred-site.xml

<property>
    	<name>mapreduce.framework.name</name>
    	<value>yarn</value>
    </property>

## 2.5 在集群上分发配置好的Hadoop配置文件 ##

执行命令：xsync /opt/module/hadoop-2.7.2/

# 3.集群的启动（分两种方式） #

## 3.1 单点启动 ##

1.分别启动/停止HDFS组件参考命令：[hadoop-daemon.sh][] start / stop namenode / datanode / secondarynamenode  
2.启动/停止YARN参考命令：[yarn-daemon.sh][] start / stop resourcemanager / nodemanager

## 3.2 群起集群 ##

### 3.2.1 SSH无密登录 ###

查看：[https://blog.csdn.net/qq\_39657909/article/details/84938489][https_blog.csdn.net_qq_39657909_article_details_84938489]

### 3.2.2 集群是第一次启动，需要格式化NameNode ###

执行命令：\[lsl@hadoop102 hadoop-2.7.2\]$ bin/hdfs namenode -format

### 3.2.3 启动HDFS ###

执行命令：\[lsl@hadoop102 hadoop-2.7.2\]$ sbin/start-dfs.sh

### 3.2.4 启动YARN ###

执行命令：\[lsl@hadoop103 hadoop-2.7.2\]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN

# 4.集群查看 #

## 4.1查看HDFS文件系统 ##

浏览器查看：http://\[NameNode主机IP\]:50070/dfshealth.html\#tab-overview

## 4.2查看SecondaryNameNode ##

浏览器查看：http://\[SecondaryNameNode主机IP\]:50090/status.html

## 4.3查看YARN ##

浏览器查看：http://\[YARN主机IP\]:8088/cluster

# 5.返回目录 #

总目录：[https://blog.csdn.net/qq\_39657909/article/details/84729209][https_blog.csdn.net_qq_39657909_article_details_84729209]

*版权声明：本博客为记录本人自学感悟，转载需注明出处！*  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[20181209225012556.png]: /images/20220406/96f630ffafc24c9584226a62c0bdde93.png
[hadoop-daemon.sh]: http://hadoop-daemon.sh
[yarn-daemon.sh]: http://yarn-daemon.sh
[https_blog.csdn.net_qq_39657909_article_details_84938489]: https://blog.csdn.net/qq_39657909/article/details/84938489
[https_blog.csdn.net_qq_39657909_article_details_84729209]: https://blog.csdn.net/qq_39657909/article/details/84729209
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909