hadoop环境安装（完全分布式）

Love The Way You Lie 2022-12-15 02:29 154阅读 0赞

### 集群准备： ###

两台CentOS7的服务器  
主机Master：192.168.239.164  
从机Slave： 192.168.239.166

###### 配置步骤： ######

1.  配置主节点固定IP以及域名解析服务器
    
        vi /etc/sysconfig/network-scripts/ifcfg-ens33
    
    将其中的`BOOTPROTO=dhcp`修改为`BOOTPROTO=static`、`ONBOOT=no`修改为`ONBOOT=yes`，并添加以下内容：
    
        ONBOOT=yes
        IPADDR=192.168.239.164
        NETMASK=255.255.255.0
        DNS=8.8.8.8
        GATEWAY=192.168.239.2
    
    【GATEWAY为网关，需要按照自己的VMware Workstation中设置的进行修改】  
    修改后重启network服务
    
        systemctl restart network
    
    修改/etc/resolv.conf配置文件配置域名服务器
    
        vi /etc/resolv.conf
    
    在原内容后添加以下内容：
    
        nameserver 8.8.8.8
        nameserver 8.8.4.4
    
    验证：使用`ping baidu.com`命令，如果能ping通说明配置完成。
2.  配置从节点固定IP以及域名解析服务器  
    与主节点配置步骤相同
    
        vi /etc/sysconfig/network-scripts/ifcfg-ens33
    
    将其中的`BOOTPROTO=dhcp`修改为`BOOTPROTO=static`、`ONBOOT=no`修改为`ONBOOT=yes`，并添加以下内容：
    
        ONBOOT=yes
        IPADDR=192.168.239.166
        NETMASK=255.255.255.0
        DNS=8.8.8.8
        GATEWAY=192.168.239.2
    
    修改后重启network服务
    
        systemctl restart network
    
    修改/etc/resolv.conf配置文件配置域名服务器
    
        vi /etc/resolv.conf
    
    在原内容后添加以下内容：
    
        nameserver 8.8.8.8
        nameserver 8.8.4.4
    
    验证：使用`ping baidu.com`命令，如果能ping通说明配置完成。
3.  修改服务器名称  
    主节点master：
    
        vi /etc/hostname
    
    删除原有内容，添加`master`  
    从节点slave：
    
        vi /etc/hostname
    
    删除原有内容，添加`slave`  
    【修改后需要重启虚拟机才能生效】
4.  配置两台主机处于同一网络集群  
    **【两台主机均需完成】**
    
        vi /etc/hosts
    
    在文件末尾添加以下内容：
    
        192.168.239.164 master
        192.168.239.166 slave
    
    其中ip地址需要根据上面确定的ip地址自行修改。（可以使用vi的快捷键Shift+G后使用Shift+A在文件内容末尾另起一行）
    
    验证：在主节点中使用命令`ping slave`查看是否能够ping通从节点，在从节点中使用命令`ping master`查看是否能够ping通主节点。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center]

### 安装JDK ###

【两台主机都需完成】  
安装教程：[https://blog.csdn.net/qq\_41051923/article/details/106916480][https_blog.csdn.net_qq_41051923_article_details_106916480]

### 下载Hadoop安装包 ###

这里选用版本为2.9.2的版本，下载地址为：[http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/hadoop-2.9.2.tar.gz][http_archive.apache.org_dist_hadoop_core_hadoop-2.9.2_hadoop-2.9.2.tar.gz]，也可以在[http://archive.apache.org/dist/hadoop/core/][http_archive.apache.org_dist_hadoop_core]中选择合适版本下载。

### 下载常用软件 ###

下载文本编辑器vim，文件上传下载软件lrzsz

yum install -y vim lrzsz

#### 关闭防火墙 ####

【每个结点都需要完成】

systemctl stop firewalld.service
    systemctl disable firewalld.service

#### 设置ssh免密登入 ####

在master节点/root路径下使用命令：

ssh-keygen -t rsa

![在这里插入图片描述][20201018110258902.png_pic_center]  
命令执行完会有提示，按回车键即可。完成后使用`ll -a`可以发现根目录下出现一个.ssh的隐藏文件夹。  
使用`cd .ssh`可以看见三个文件  
![在这里插入图片描述][20201015012030391.png_pic_center]  
id\_rsa为私钥  
id\_rsa.pub为公钥  
authorized\_keys为自己创建的文件  
在master结点中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys	#创建authorized_keys 
    chmod 600 ~/.ssh/authorized_keys	#为秘钥加权限
    scp ~/.ssh/authorized_keys root@slave:~/ #将主节点的秘钥分发给slave结点

在slave结点中

ssh-keygen -t rsa	#生成私钥和公钥
    cp authorized_keys ~/.ssh	#复制文件
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #将slave的私钥写入authorized_keys中
    scp ~/.ssh/authorized_keys root@master:~/ #将authorized_keys发送至master节点

在master节点中

cp authorized_keys ~/.ssh/

提示文件已存在是否覆盖，输入yes。  
完成后验证：  
在master节点中输入

ssh slave

![在这里插入图片描述][2020101510572027.png_pic_center]  
如果无需输入密码，且用户名由master变为slave说明免密成功。在slave节点上同理。

#### 解压Hadoop安装包 ####

**【只在master节点完成】**

将下载的Hadoop安装包hadoop-2.9.2.tar.gz上传到master主机中。可以通过XShell直接将安装包拖入XShell的对话框中上传，或使用`rz`命令选择安装包路径进行上传。  
上传完成后，执行以下代码：

mkdir /opt/hadoop	#创建安装目录
    cd /opt/hadoop		#进入安装目录
    tar -zxvf hadoop-2.9.2.tar.gz		#解压

完成解压后，可以通过`ls`进行查看，使用以下命令修改文件夹名称

mv hadoop-2.9.2 hadoop

### 修改配置文件 ###

【以下修改都只在主节点master中完成】

#### 配置env文件 ####

vim /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

找到 “ export JAVA\_HOME ”，将后面大括号以及其中的内容修改为jdk安装的路径

export JAVA_HOME=/usr/local/java/jdk1.8.0_221

#### 配置核心组件文件 ####

vim /opt/hadoop/hadoop/etc/hadoop/core-site.xml

在文件的`<configuration>`和`</configuration>`之间添加以下内容：

<property>
    	<name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/hadoopdata</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>

#### 配置文件系统 ####

vim /opt/hadoop/hadoop/etc/hadoop/hdfs-site.xml

在文件的`<configuration>`和`</configuration>`之间添加以下内容：

<property>
    	<name>dfs.replication</name>
    	<value>1</value>
    </property>

#### 配置 yarn-site.xml 文件 ####

vim /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

在文件的`<configuration>`和`</configuration>`之间添加以下内容：

<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:18040</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:18030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:18025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:18141</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:18088</value>
    </property>

#### 配置MapReduce计算框架文件 ####

在/opt/hadoop/hadoop/etc/hadoop子目录下，系统已经有一个mapred-site.xml.template文件，我们需要将其复制并改名，位置不变。

cp /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

编辑配置文件

vim /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

在文件的`<configuration>`和`</configuration>`之间添加以下内容：

<property>
    	<name>mapreduce.framework.name</name>
    	<value>yarn</value>
    </property>

#### 配置master的slaves文件 ####

> slaves文件给出了Hadoop集群的slave节点列表，在启动Hadoop的时候，系统总是根据当前slaves文件中的slave节点名称列表启动集群，不在列表中的slave节点便不会被视为计算节点。

vim /opt/hadoop/hadoop/etc/hadoop/slaves

删除原有的内容，加入内容：  
（按照/etc/hosts中配置的名称添加）

slave

#### 复制master上的Hadoop到slave节点 ####

scp -r /opt/hadoop root@slave:/opt

按照提示输入命令，如果配置了ssh免密则此步无需输入任何内容。这一步是将master结点上的/opt/hadoop文件夹复制到slave上。

#### 配置操作系统环境变量 ####

**【此步每个结点都需要完成】**

vi ~/.bash_profile

在文件的最后末尾添加以下内容：

#HADOOP
    export HADOOP_HOME=/opt/hadoop/hadoop
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出后，执行命令使配置文件生效：

source ~/.bash_profile

在slave结点上使用相同步骤完成

#### 创建Hadoop数据目录 ####

【只需在master结点完成】

mkdir /opt/hadoop/hadoopdata

#### 格式化文件系统 ####

【只需在master结点完成】

hadoop namenode -format

由于每次格式化会修改cluserId，所以多次格式化会出现问题导致无法创建datanode，需要手动修改cluserId。

#### 启动和关闭Hadoop集群 ####

启动命令：

start-all.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 1]  
关闭命令：

stop-all.sh

#### 验证Hadoop集群是否启动成功 ####

在master结点和slave结点上分别使用

jps

查看进程  
master结点结果：  
![在这里插入图片描述][20201015002309179.png_pic_center]

slave结点结果：  
![在这里插入图片描述][20201015002500291.png_pic_center]  
使用hadoop官方自带的jar包进行测试

cd /opt/hadoop/hadoop/share/hadoop/mapreduce/	#进入jar包路径
    hadoop jar hadoop-mapreduce-examples-2.9.2.jar pi 10 10	#求圆周率

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 3]

可以在web页面下查看任务的完成情况：在浏览器中输入master主机ip:18088（或是8088端口）进行查看任务。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/a303c1e2673a462ea40ecb23eb5b335c.png
[https_blog.csdn.net_qq_41051923_article_details_106916480]: https://blog.csdn.net/qq_41051923/article/details/106916480
[http_archive.apache.org_dist_hadoop_core_hadoop-2.9.2_hadoop-2.9.2.tar.gz]: http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/hadoop-2.9.2.tar.gz
[http_archive.apache.org_dist_hadoop_core]: http://archive.apache.org/dist/hadoop/core/
[20201018110258902.png_pic_center]: /images/20221123/8c54b1a6810541508711f8c6933ef6f9.png
[20201015012030391.png_pic_center]: /images/20221123/94405cb24d7e476fbb3b4e34a799ebde.png
[2020101510572027.png_pic_center]: /images/20221123/c0c76da397e94c1a870e372558d07105.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/7aaa125ae7ab4489b63e6229763651f3.png
[20201015002309179.png_pic_center]: /images/20221123/b311ec789eb34a9b9cdb0617943d3523.png
[20201015002500291.png_pic_center]: /images/20221123/b428461986ec48afabd74e0fa70a0970.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/559058dc22e24863b80fffc3228d2cdb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/b12f7741c36c4159b90348819b9d0205.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDUxOTIz_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/942e82614ce04b21b2a83454e962a6cd.png