hadoop集群搭建篇（伪分布，完全分布）

￡神魔★判官ぃ 2022-05-18 09:19 304阅读 0赞

要点如下：

*  1，服务器搭建： virtualBox + Centos7
 *  2,  centos7:  网络配置
 *  3，centos 上安装jdk, hadoop

--------------------

## 第一步： 安装centos, 配置网络 ##

我使用ubuntu16 桌面版， 安装virtualbox后，创建虚拟机： 添加centos7镜像文件

![70][]

点击 ‘start’， 开始安装centos7....

安装完成后， 需要关机，centos虚拟机还需以下配置：

1.  默认只有一块网卡（NAT模式）,且没有开启--->设置为开启， dhcp自动分配ip
2.  为virtualbox添加虚拟网卡：host network manager
3.  动态ip不方便管理虚拟机--->添加第二块网卡, 设置静态ip( 仅主机模式)

点击"File"---->host network manager : "create"

![70 1][]

重启虚拟机， 配置网卡

1.  登录后， 输入命令：  ip addr --->查看现有的网络配置， 可以看到3个网卡【lo, enp0s3, enp0s8】
2.  修改网络配置文件： cd /etc/sysconfig/network-scripts/  && ls
3.  修改centos7主机名： vim /etc/hostname  --> 改为：node

此时只有两个网络配置文件：ifcfg-enp0s3 ，ifcfg-lo   ----->复制一份文件，对应刚添加的新网卡 enp0s8

1.   cp ifcfg-enp0s3 ifcfg-enp0s8
2.  vim ifcfg-enp0s3

![70 2][]              ![70 3][]

注意：网卡enp0s8的网段要和 virtualbox的一致

重启网卡,再次查看网络： service network restart  && ip addr

![70 4][]

--------------------

## 第二步：安装jdk, hadoop ##

因为centos7 mini版， 界面不美观，输入也不方便，所以我使用ubuntu 16 远程登录来控制虚拟机，具体操作如下

1.  先配置ubuntu16 本机免密码登录， 再复制公钥到虚拟机centos7： ssh-keygen -t rsa -P ''"
2.  使用scp 命令， 拷贝jdk , hadoop 压缩包到centos7虚拟机:   scp jdk-8u171-linux-x64.tar.gz hadoop-2.7.3.tar.gz node:~
3.  远程登录centos7, 解压文件， 配置环境变量:  ssh node

--------------------

### 伪分布式 ###

1.  core-site.xml:    【namenode通信端口  + hdfs工作目录】
2.  hdfs-site.xml：  【block备份数】
3.  mapred-site.xml:【mapreduce的管理框架】
4.  yarn-site.xml：  【yarn服务器地址+ 指定的服务】

--------------------

### 完全分布式 ###

在伪分布基础上：(修改)

1，添加物理机： 分离datanode-->部署在多个slave节点

2, 配置slaves文件： 加入datanode主机名

3，修改系统ip映射: /etc/hosts--> 加入datanode 节点主机名ip映射

4，在master节点修改： hdfs-site.xml-->备份数3， 再同步master节点配置文件

5，删除工作目录， 重新格式化namenode

### 第一种：不分离secondarynamenode        ===>nm ,2nm 共用一个机器 ###

在伪分布式的基础上， 修改slaves文件， 删除localhost--->替换为真实slave节点主机名;  重新format namenode即可

### 第二种：分离secondarynamenode            ====>nm一台机器， 2nm一台机器 ###

更改hdfs-site.xml：加入以下内容

<property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>某某主机名:50090</value>
    </property>

--------------------

## ##

### 编写脚本：更改 ip, hostname（克隆master机器后的slave机器） ###

#!/bin/bash
    #修改Ip
    if [[ -n $1 && -n $2 && -n $3 ]]
    then
            sed -i "s@192.168.56.11$1@192.168.56.11$2@g" /etc/sysconfig/network-scripts/ifcfg-enp0s8
            service network restart
            #修改hostname
            echo "$3">/etc/hostname
            #重启
            reboot
    else
            echo "需要三个参数： 原ip  目标ip  目标hostname...."
    fi

### 解压安装jdk, hadoop:  (以root用户身份运行脚本） ###

#!/bin/bash
    #脚本作用： 解压安装hadoop
    
    #创建安装目录
    mkdir -p /soft/{jdk,hadoop}
    tar -zxvf jdk-8u171-linux-x64.tar.gz -C /soft/jdk
    tar -zxvf hadoop-2.7.3.tar.gz        -C /soft/hadoop
    (cd /soft/jdk ;    mv jdk*    jdk8)
    (cd /soft/hadoop ; mv hadoop* hadoop2.7)
    
    #jdk,hadoop环境变量配置
    echo "JAVA_HOME=/soft/jdk/jdk8" >> /etc/profile
    echo "HADOOP_HOME=/soft/hadoop/hadoop2.7" >> /etc/profile
    echo 'PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin' >> /etc/profile
    echo 'export JAVA_HOME=/soft/jdk/jdk8'>>/soft/hadoop/hadoop2.7/etc/hadoop/hadoop-env.sh
    
    #验证是否安装成功
    source /etc/profile
    java -version
    hadoop version

### core-site.xml ###

<?xml version="1.0" encoding="UTF-8"?>
    <configuration>
          <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/centos/hadoop-tmp</value>
            </property>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://localhost:9000</value>
            </property>
    </configuration>

### hdfs-site.xml ###

<?xml version="1.0" encoding="UTF-8"?>
    <configuration>
                    <property>
                        <name>dfs.replication</name>
                        <value>1</value>
                    </property>
    </configuration>

###  mapred-site.xml ###

<?xml version="1.0"?>
    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>

### yarn-site.xml ###

<?xml version="1.0"?>
    <configuration>
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>node</value>
            </property>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
    </configuration>

[70]: /images/20220518/30958100902744698a54b81a016fe8e4.png
[70 1]: /images/20220518/abdbd6242a4543cf8dcfad3e91013183.png
[70 2]: https://img-blog.csdn.net/20180801202756177?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V5ZW9mZWFnbGU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 3]: /images/20220518/0dc07ce416da4b1d8ac21b43007ca6c8.png
[70 4]: /images/20220518/49665029ef6b4b03b41c4ebb049bf6eb.png