Hadoop入门系列(5)-Hadoop集群搭建

比眉伴天荒 2023-10-10 11:59 2阅读 0赞

### 环境准备 ###

1.  准备三台centos7虚拟机，分配IP，并能ping通互联网。  
    ![在这里插入图片描述][2020120222402864.png]
2.  配置SSH免密登录(每个节点都需执行)

# 生成公钥和私钥，一路回车
    ssh-keygen -t rsa
    # 公钥拷贝到其他服务器 
    ssh-copy-id 192.168.58.201
    ssh-copy-id 192.168.58.202
    ssh-copy-id 192.168.58.203

1.  系统配置

# 关闭防火墙（每个节点都需执行）
    systemctl stop firewalld && systemctl disable firewalld
    # 修改hosts
    vi /etc/hosts
    # 添加
    192.168.58.201 hadoop001
    192.168.58.202 hadoop002
    192.168.58.203 hadoop003
    # 复制到其他节点
    scp /etc/hosts root@192.168.58.202:/etc/hosts
    scp /etc/hosts root@192.168.58.203:/etc/hosts
    # 测试
    ping hadoop002
    ping hadoop003
    # 配置主机名SSH免密登录，所有节点都执行
    ssh-copy-id hadoop001
    ssh-copy-id hadoop002
    ssh-copy-id hadoop003

1.  服务器时间同步,这里设置hadoop001为ntp服务器，其他节点同步这台服务器的时间。  
    [参考文档][Link 1]

### 标题 ###

1.  安装JDK(所有节点)

# 查询
    yum search java|grep jdk
    # 安装
    yum install -y  java-1.8.0-openjdk
    yum install java-1.8.0-openjdk-devel*
    # 查看版本
    java -version

1.  安装Hadoop(hadoop001执行）

# 创建软件存放目录
    mkdir -p /opt/soft
    cd /opt/soft
    # 安装wget
    yum install -y wget
    # 下载源码
    wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
    tar -zxvf hadoop-2.9.2.tar.gz
    cd hadoop-2.9.2
    ll
    # 配置环境变量
    vim /etc/profile
    # 添加
    # HADOOP_HOME
    export HADOOP_HOME=/opt/soft/hadoop-2.9.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    # 生效
    source /etc/profile
    # hadoop添加JAVA_HOME
    vim etc/hadoop/hadoop-env.sh
    # 修改
    export JAVA_HOME=/usr
    # 验证
    hadoop --help

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]

1.  复制hadoop到其他节点

# 复制hadoop到002
    ssh root@hadoop002 "[ -d /opt/soft ] && echo ok || mkdir -p /opt/soft"
    scp -r /opt/soft/hadoop-2.9.2  root@hadoop002:/opt/soft/
    # 复制hadoop到003
    ssh root@hadoop003 "[ -d /opt/soft ] && echo ok || mkdir -p /opt/soft"
    scp -r /opt/soft/hadoop-2.9.2  root@hadoop003:/opt/soft/
    # 复制/etc/profile到其他节点
    scp /etc/profile root@hadoop002:/etc/profile
    scp /etc/profile root@hadoop003:/etc/profile
    # 其他节点刷新配置
    source /etc/profile
    # 验证
    hadoop

1.  使用rsync编写集群分发脚本xsync，rsync (remote sync) 是类unix系统下的数据镜像备份工具。

# 安装（所有节点）
    yum install -y rsync
    # 脚本(hadoop001节点
    vim xsync
    #!/bin/bash
    # 脚本功能：同步文件到其他服务器，第一个参数为文件，后续参数为服务器地址 
    
    # 1.校验参数
    input_count=$#
    if [ $input_count -lt 2 ]; then
            echo "请按照格式输入文件名及服务器地址！"
            exit;
    fi
    input_file=$1
    if [ ! -e $1 ];then
            echo "当前文件不存在！"
            exit;
    fi
    
    # 2.文件名
    file_name=`basename $input_file`
    echo "同步的文件名为：$file_name"
    
    # 3.获取文件绝对路径
    file_dir=`cd -P $(dirname $input_file); pwd`
    echo "文件的绝对路径为：$file_dir"
    
    # 4.获取输入的服务器地址并同步文件
    for i in $*; do
            if [ $i == $input_file ]; then
                    continue
            fi
            # rsync文件至输入的服务器
            rsync -rvl $file_dir/$file_name root@$i:$file_dir
    done
    # 
    chmod +x ./xsync
    mv ./xsync /usr/local/bin/
    # 脚本分发到其他服务器
    xsync /usr/local/bin/xsync hadoop002 hadoop003

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 1]

1.  配置文件分类：  
    Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值，会覆盖默认配置。  
    **自定义配置文件**：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP\_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。  
    **默认配置文**件：

<table> 
 <thead> 
  <tr> 
   <th>默认配置文件</th> 
   <th>位置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>core-default.xml</td> 
   <td>share/hadoop/common/hadoop-common-2.9.2.jar</td> 
  </tr> 
  <tr> 
   <td>hdfs-default.xml</td> 
   <td>share/hadoop/hdfs/hadoop-hdfs-2.9.2.jar</td> 
  </tr> 
  <tr> 
   <td>mapred-default.xml</td> 
   <td>share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.9.2.jar</td> 
  </tr> 
  <tr> 
   <td>yarn-default.xml</td> 
   <td>share/hadoop/yarn/hadoop-yarn-common-2.9.2.jar</td> 
  </tr> 
 </tbody> 
</table>

1.  集群配置  
    **规划图**：  
    ![在这里插入图片描述][20201205152043177.png]  
    **修改配置：**

# hadoop001上执行
    cd /opt/soft/hadoop-2.9.2/etc/hadoop/
    # 1.修改核心配置
    vim core-site.xml
    # 添加配置
    <configuration>
            
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://hadoop001:9000</value>
            </property>
            
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/opt/soft/hadoop-2.9.2/data/tmp</value>
            </property>
    </configuration>
    # 2.修改HDFS配置
    vim hdfs-site.xml
    # 添加配置
    <configuration>
            
            <property>
                    <name>dfs.replication</name>
                    <value>3</value>
            </property>
            
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>hadoop003:50090</value>
            </property>
    </configuration>
    # 3. 修改YARN配置
    vim yarn-site.xml
    # 配置
    <configuration>
            
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
            
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>hadoop002</value>
            </property>
    </configuration>
    # 4. 修改MapReduce配置
    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    # 配置
    <configuration>
            
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>
    # 同步配置文件到其他节点
    xsync /opt/soft/hadoop-2.9.2/etc/hadoop/ hadoop002 hadoop003

1.  启动集群

# 配置slaves（hadoop001执行）
    vim  /opt/soft/hadoop-2.9.2/etc/hadoop/slaves
    # 添加节点
    hadoop001
    hadoop002
    hadoop003
    # 同步配置
    xsync /opt/soft/hadoop-2.9.2/etc/hadoop/ hadoop002 hadoop003
    # 第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
    cd /opt/soft/hadoop-2.9.2
    bin/hdfs namenode -format
    # 1. 启动HDFS
    sbin/start-dfs.sh
    # 各节点查看
    jps
    # 浏览器查看
    http://192.168.58.201:50070/explorer.html#/
    # 2. 在hadoop002上启动YARN,因为NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
    cd /opt/soft/hadoop-2.9.2/
    sbin/start-yarn.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 2]

1.  集群功能测试

# 1. 测试HDFS
    hdfs dfs -put /opt/soft/hadoop-2.9.2.tar.gz /
    hdfs dfs -put /opt/soft/hadoop-2.9.2/include/ /
    # 浏览器查看
    http://192.168.58.201:50070/explorer.html#/
    # 文件实际存放路径
    /opt/soft/hadoop-2.9.2/data/tmp/dfs/data/current/BP-636557253-192.168.58.201-1607177982773/current/finalized/subdir0/subdir0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 3]  
查看文件，349M被分成了三块，最大128M，在服务器上也是被分为了三块。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][20201205231259722.png]

1.  停止集群

# 整体启动/停止HDFS
    start-dfs.sh   /  stop-dfs.sh
    # 整体启动/停止YARN
    start-yarn.sh  /  stop-yarn.sh

[2.9.2版本官方文档][2.9.2]

[2020120222402864.png]: https://img-blog.csdnimg.cn/2020120222402864.png
[Link 1]: https://blog.csdn.net/qq_43437874/article/details/110651605
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201204223750341.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201205112240658.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[20201205152043177.png]: https://img-blog.csdnimg.cn/20201205152043177.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201205223137839.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201205225808373.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201205230633817.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[20201205231259722.png]: https://img-blog.csdnimg.cn/20201205231259722.png
[2.9.2]: https://hadoop.apache.org/docs/r2.9.2/