Hadoop3.x的安装部署

灰太狼 2023-01-19 07:15 28阅读 0赞

### 目录 ###

*   *  安装hadoop
     *  集群配置
     *   *  集群部署规划
         *  配置集群
         *  群起集群
         *  启动集群

## 安装hadoop ##

1.解压安装文件到/opt/module下面

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2.将Hadoop添加到环境变量

vim /etc/profile

##HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.1.3
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

3.环境变量生效

source /etc/profile

## 集群配置 ##

### 集群部署规划 ###

注意：NameNode和SecondaryNameNode不要安装在同一台服务器  
注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>hadoop102</th> 
   <th>hadoop103</th> 
   <th>hadoop104</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS</td> 
   <td>namenode datanode</td> 
   <td>datanode</td> 
   <td>secondarynamenode datanode</td> 
  </tr> 
  <tr> 
   <td>YARN</td> 
   <td>nodemanager</td> 
   <td>resourcemanager nodemanager</td> 
   <td>nodemanager</td> 
  </tr> 
 </tbody> 
</table>

### 配置集群 ###

（1）核心配置文件  
配置core-site.xml

cd /opt/module/hadoop-3.1.3/etc/hadoop/
    vim core-site.xml

文件内容如下：

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop102:8020</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-3.1.3/data</value>
        </property>
        <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
        </property>
        <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
        </property>
        <property>
            <name>hadoop.http.staticuser.user</name>
            <value>root</value>
        </property>
    </configuration>

（2）HDFS配置文件  
配置hdfs-site.xml

vim hdfs-site.xml

文件内容如下：

<configuration>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop104:9868</value>
        </property>
    
    <property>
    	<name>dfs.replication</name>
    	<value>1</value>
    </property>
    </configuration>

（3）YARN配置文件  
配置yarn-site.xml

vim yarn-site.xml

文件内容如下：

<configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
        </property>
        <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
        <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>512</value>
        </property>
        <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>4096</value>
        </property>
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>4096</value>
        </property>
        <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
        </property>
        <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
        </property>
    </configuration>

在hadoop-env.sh中，再显示地重新声明一遍JAVA\_HOME

export JAVA_HOME=/export/servers/jdk

（4）MapReduce配置文件  
配置mapred-site.xml

vim mapred-site.xml

文件内容如下：

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

### 群起集群 ###

配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
    hadoop103
    hadoop104

在start-dfs.sh,stop-dfs.sh中配置root用户,顶部配置以下内容

vim sbin/start-dfs.sh

HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    HDFS_JOURNALNODE_USER=root
    HDFS_ZKFC_USER=root

vim sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    HDFS_JOURNALNODE_USER=root
    HDFS_ZKFC_USER=root

在start-yarn.sh,stop-yarn.sh中配置root用户,顶部配置以下内容

vim sbin/start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

vim sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

**`同步所有节点配置文件`**

xsync /opt/module/hadoop-3.1.3/

### 启动集群 ###

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

bin/hdfs namenode -format

（2）启动HDFS

sbin/start-dfs.sh