Hadoop学习总结（二）之Centos7安装Hadoop-2.9.2及相应配置

àì夳堔傛蜴生んèń 2023-02-17 02:15 16阅读 0赞

### Centos7安装Hadoop-2.9.2及相应配置 ###

*   *   *  1.环境准备
         *  2.安装Hadoop-2.9.2
         *   *  2.1.1创建hadoop用户
             *  2.1.2虚拟机主机名的配置
             *  2.2 在/opt目录下创建文件夹
             *  2.3安装JDK
             *  2.3下载、解压Hadoop-2.9.2
             *  2.4将Hadoop添加到环境变量
             *  2.5Hadoop重要目录
         *  3.伪分布式运行模式
         *   *  3.1配置集群
             *  3.2启动集群(NameNode、DataNode)
             *  3.3启动YARN
             *  3.4启动集群（ResourceManager、NodeManager）
             *  3.5配置历史服务器
             *  3.6配置日志的聚集
         *  4.Hadoop启动命令

### 1.环境准备 ###

*  安装centos  
    不会安装系统的可以参考  
    [安装Centos系统（服务器安装和虚拟机安装）][Centos]

如果是搭建集群，可以采用克隆虚拟机的方式，配置多台机器。需要修改克隆虚拟机的静态IP、修改主机名、关闭防火墙。

如果只有一台真实机器，我们需要搭建的为**伪分布式运行模式**即只有一个节点上叫做伪分布式。

*  建议使用xshell工具进行操作，因为生产过程中大部分都是远程操作。  
    [Centos7安装、配置SSH服务远程登录][Centos7_SSH]

### 2.安装Hadoop-2.9.2 ###

#### 2.1.1创建hadoop用户 ####

sudo adduser hadoop

默认创建用户的时候会同时创建一个同名的用户组，前边是用户，后边是用户组

*  切换用户：su  
    比如切换到hadoop用户：su hadoop
 *  用户设置密码：passwd  
    为hadoop用户设置密码：passwd hadoop，然后按回车输入两次密码即可。
 *  配置用户具有sudo权限  
    用户在执行某些系统命令时会出现用户权限不够的问题，需要切换到root用户下执行，频繁的切换会很麻烦，而且也很容易导致权限问题。所以最好为用户配置sudo权限。所有的操作都可以在该用户下操作，出现权限不够的问题只需要在命令前边加上sudo即可

1）修改配置文件  
修改 /etc/sudoers 文件，找到下面一行，在 root 下面添加一行，如下所示：

##Allow root to run any commands anywhere
    root ALL=(ALL) ALL
     hadoop ALL=(ALL) ALL

或者配置成采用 sudo 命令时，不需要输入密码

##Allow root to run any commands anywhere
    root ALL=(ALL) ALL
     hadoop ALL=(ALL) NOPASSWD:ALL

修改完毕，现在可以用 hadoop帐号登录

#### 2.1.2虚拟机主机名的配置 ####

hostname查看主机名

`sudo hostname abc` 临时性修改的方法当虚拟机重启的时候就不生效了，而且不会改变命令提示符中的主机名，所以为临时性修改。  
我们需要进行永久性修改

方法1:修改配置文件  
主机名保存在/etc/hostname文件里，所以我们可以打开这个文件，手动编辑主机名。

修改hostname文件（路径：/etc/hostname）：
    $ sudo nano /etc/hostname
    把hostname文件里面所有原来的名称改成你想改成的名称，保存文件就行了。要注意大小写
    主机名同时也保存在/etc/hosts文件中，需要把当前IP地址对应的主机名修改为hostname文件中的名称。
    $ sudo nano /etc/hosts
    最后重启机器：
    $ reboot

方法2：hostnamectl命令  
命令语法为：

sudo hostnamectl set-hostname <newhostname>

这条命令会删除/etc/hostname文件中的主机名，然后替换为新的主机名。和第一种方法一样，我们也需要更新/etc/hosts文件。  
两种方法本质都是一样的。

#### 2.2 在/opt目录下创建文件夹 ####

（1）在/opt目录下创建module、software文件夹，分别为软件运行目录和文件下载目录，如果不能创建，则需要使用root账户创建，但是需要修改其所有者

sudo mkdir module
    sudo mkdir software

（2）修改module、software文件夹的所有者cd

sudo chown hadoop:hadoop module/ software/

#### 2.3安装JDK ####

[Centos7下安装与卸载和安装JDK][Centos7_JDK]

为了方便管理，我们可以将jdk下载到software文件（下载到本地Downloads也可以），主要是需要解压到/opt/module下方便管理。

tar -zxvf jdk-8u251-linux-x64.tar.gz -C /opt/module/

**配置环境变量**  
打开/etc/profile文件，

sudo vi /etc/profile

在本地环境变量文件中添加

#JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin

**:wq** 保存后退出  
让修改后的文件生效

source /etc/profile

测试是否安装成功

java -version

#### 2.3下载、解压Hadoop-2.9.2 ####

1.[https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/][https_archive.apache.org_dist_hadoop_common_hadoop-2.9.2]  
进入到Hadoop安装包路径下  
2.将hadoop-2.9.2.tar.gz解压到安装文件到/opt/module

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/module/

#### 2.4将Hadoop添加到环境变量 ####

1.打开/etc/profile文件

sudo vi /etc/profile

在profile文件末尾添加Hadoop路径：

##HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.9.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

**:wq**保存后退出

2.将修改后的文件生效

source /etc/profile

3.查看是否安装成功  
出现版本型号则成功

hadoop version

重启(如果Hadoop命令不能用再重启)  
sudo reboot

#### 2.5Hadoop重要目录 ####

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本  
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件  
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）  
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本  
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

### 3.伪分布式运行模式 ###

#### 3.1配置集群 ####

1.配置：hadoop-env.sh

[matt@centos7 hadoop-2.9.2]$ cd etc/hadoop/
    [matt@centos7 hadoop]$ vi hadoop-env.sh

修改JAVA\_HOME 路径：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.配置：core-site.xml

<property>
    <name>fs.defaultFS</name>
        <value>hdfs://centos7:9000</value>
        #centos7为主机名，需要查看自己机器的主机名，并且在host配置地址映射，我们本地的为localhost
    </property>
    
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.9.2/data/tmp</value>
    </property>
    <property>
              <name>dfs.http.address</name>
              <value>0.0.0.0:50070</value>
        </property>

[Centos7修改host文件][Centos7_host]  
3.配置：hdfs-site.xml  
我们只有一个节点所以设置为1，根据实际情况设置。

<property>
    	<name>dfs.replication</name>
    	<value>1</value>
    </property>

#### 3.2启动集群(NameNode、DataNode) ####

1.格式化NameNode（第一次启动时格式化，以后就不要总格式化）  
如果要第二次格式化，则需要将之前/opt/module/hadoop-2.9.2/data/tmp/dfs中的data和name目录删除再重新格式化。

bin/hdfs namenode -format

2.启动NameNode

sbin/hadoop-daemon.sh start namenode

3.启动DataNode

sbin/hadoop-daemon.sh start datanode

4.查看集群是否启动成功  
jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps

[matt@centos7 hadoop]$ jps
    13586 NameNode
    13668 DataNode
    13786 Jps

5.web端查看HDFS文件系统

http://centos7:50070/dfshealth.html#tab-overview

主机访问需要将centos7改为映射的IP地址，查看服务器50070端口是否开启，或者就是直接关闭防火墙。

#### 3.3启动YARN ####

1.配置yarn-env.sh  
配置一下JAVA\_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.配置yarn-site.xml

<property>
     		<name>yarn.nodemanager.aux-services</name>
     		<value>mapreduce_shuffle</value>
    </property>
    
    
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>centos7</value>
    </property>
    <property>
              <name>yarn.resourcemanager.webapp.address</name>
              <value>0.0.0.0:8088</value>
        </property>

3.配置：mapred-env.sh  
配置一下JAVA\_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

hadoop]$ mv mapred-site.xml.template mapred-site.xml
     hadoop]$ vi mapred-site.xml
    
    
    <property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    </property>

#### 3.4启动集群（ResourceManager、NodeManager） ####

**启动前必须保证NameNode和DataNode已经启动**  
1.启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

2.启动NodeManager

sbin/yarn-daemon.sh start nodemanager

3.查看是否运行  
jps  
WEB端：http://centos7:8088/cluster

#### 3.5配置历史服务器 ####

1.我们为了查看程序的历史运行情况，需要配置一下历史服务器。  
vi mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>centos7:10020</value>
    </property>
    
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>

2.启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

3.查看JobHistory

http://192.168.11.125:19888/jobhistory

#### 3.6配置日志的聚集 ####

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。  
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。  
**注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。**  
1.vi yarn-site.xml

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    
    
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    </property>

2.重启NodeManager 、ResourceManager和HistoryManager

#关闭
    sbin/yarn-daemon.sh stop resourcemanager
    sbin/yarn-daemon.sh stop nodemanager
    sbin/mr-jobhistory-daemon.sh stop historyserver
     #开启
    sbin/yarn-daemon.sh start resourcemanager
    sbin/yarn-daemon.sh start nodemanager
    sbin/mr-jobhistory-daemon.sh start historyserver

3.查看日志  
http://192.168.11.125:19888/jobhistory

### 4.Hadoop启动命令 ###

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack  
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack  
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode  
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode  
hadoop-daemons.sh start namenode 单独启动NameNode守护进程  
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程  
hadoop-daemons.sh start datanode 单独启动DataNode守护进程  
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程  
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程  
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程  
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker  
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker  
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程  
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程  
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程  
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程

如果Hadoop集群是第一次启动，可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动，启动的步骤如下。

1．启动Hadoop的HDFS模块里的守护进程

HDFS里面的守护进程启动也有顺序，即：

1）启动NameNode守护进程；

2）启动DataNode守护进程；

3）启动SecondaryNameNode守护进程。

2．启动MapReduce模块里面的守护进程

MapReduce的守护进程启动也是有顺序的，即：

1）启动 JobTracker守护进程；

2）启动TaskTracker守护进程。

关闭的步骤正好相反，

在虚拟机搭建hadoop集群后没有停止服务就关闭了虚拟机。导致hdfs失效，namenod和datanode丢失，解决方法

删除掉损坏的 namenode数据和datanode数据，具体过程如下
    删除所有节点下 ~/dfs/data 文件夹下的所有内容
    删除所有节点下 ~/dfs/name 文件夹下的所有内容
    删除所有节点下 ~/tmp 文件夹下的所有内容
    重新初始化 namenode: 在namenode节点上hadoop安装文件夹下执行 ./bin/hdfs namenode -format
    重启dfs和yarn服务 :在namenode节点上hadoop安装文件夹下执行 ./sbin/start-dfs.sh 然后执行 ./sbin/start-yarn.sh

在服务器中搭建完hadoop集群后一定要注意关闭服务后再关闭电源，以免hadoop集群无法正常启动：  
1.关闭dfs和yarn服务:在namenode节点上hadoop安装文件夹下执行 ./sbin/stop-dfs.sh 然后执行 ./sbin/stop-yarn.sh  
2.关闭系统

[上一篇：Hadoop学习总结（一）之Hadoop基础知识][Hadoop_Hadoop]

[Centos]: https://blog.csdn.net/weixin_38924500/article/details/106672112
[Centos7_SSH]: https://blog.csdn.net/weixin_38924500/article/details/106783645
[Centos7_JDK]: https://blog.csdn.net/weixin_38924500/article/details/106619966
[https_archive.apache.org_dist_hadoop_common_hadoop-2.9.2]: https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
[Centos7_host]: https://blog.csdn.net/weixin_38924500/article/details/106784849
[Hadoop_Hadoop]: https://blog.csdn.net/weixin_38924500/article/details/106785142