Centos7伪分布式部署Hadoop

傷城~ 2022-11-18 02:12 256阅读 0赞

### 前期准备 ###

本教程基于vmware中创建的Centos7虚拟机环境进行教学。vmware中创建虚拟机与安装Centos7系统的步骤这里就不再赘述了，直接从系统安装完成后进行静态网络IP的配置开始说起。

#### 配置静态网络 ####

首先在vmware的 编辑 => 虚拟网络编辑器 下查看本机虚拟网卡的所在网段。可见此处的网段是192.168.72.0，子网掩码为255.255.255.0，记下这些信息。

![在这里插入图片描述][269ba58f1f553fe097ed21d3a4f53eb1.png]  
打开 网络和Internet设置 => 更改适配器选项 找到vmnet8网卡,右击打开 属性 选项卡

![在这里插入图片描述][bae1201c6fb0200b072e88f6dbff276b.png]  
双击 Internet 协议版本4  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70]  
修改ip、子网掩码与网关信息。注意：ip与网关要与vmware中的网段一致，子网掩码也要与vmware中保持一致。记住这里所配置的网关，之后虚拟机中配置网络需要使用。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 1]  
使用 vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改网卡配置信息（由于镜像不同，ifcfg-ens后数字可能会不同）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 2]  
BOOTPROTO 设置为static 说明是静态IP  
ONBOOT 设置为yes 开机自启  
IPADDR 设置IP （网段与vmware中保持一致，且IP与之前本地虚拟网卡的IP与网关IP不一致）  
NETMASK 设置子网掩码（与vmware保持一致）  
GATEWAY 设置网关 （与本地虚拟网卡配置中的网关一致）  
DNS1 （可选）

systemctl restart network 重启网络服务后使用 ip addr 命令查看配置的网络信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 3]

#### 关闭防火墙 ####

systemctl stop firewalld 关闭防火墙，systemctl status firewalld 查看防火墙状态  
![在这里插入图片描述][20210412085437469.png]  
systemctl disable firewalld 关闭防火墙开机自启

#### 关闭selinux服务 ####

setenforce 0 临时关闭selinux服务,再通过 vi /etc/selinux/config 修改配置文件，将SELINUX字段更改为disabled  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 4]

#### 配置免密登录 ####

建议先切换到root用户执行免密登录配置

ssh-keygen -t rsa 生成rsa秘钥对，出现选项直接回车选择默认即可。

ssh-copy-id root@本机的IP 由于是伪分布式，需要将刚刚的密钥对复制到本机，从而免去每次输入密码的步骤，途中需要输入当前账号的密码

至此，前期准备工作就完成了，可以在此拍摄快照，防止由于之后操作出现未知错误而重装虚拟机。

### 需要的软件 ###

点击下列链接下载相应的软件资源。

[jdk1.8.0\_161][jdk1.8.0_161]

[hadoop2.7.7][]

### 配置JDK ###

#### 解压源码包 ####

通过 **tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/local** （-C 参数指定解压路径）将JDK的tar包解压到/usr/local/目录下

#### 配置环境变量 ####

**vi /etc/profile** 配置环境变量

在文件底部添加以下内容

JAVA_HOME=/usr/local/jdk1.8.0_161
    
    CLASSPATH=$JAVA_HOME/lib/
    
    PATH=$PATH:$JAVA_HOME/bin
    
    export PATH JAVA_HOME CLASSPATH

![33862e95b3d9a0cb2ca057186442ec05.png][]

修改后执行 source /etc/profile 使配置生效

输入 **java -version** 测试JDK是否配置成功，若出现版本号则说明JDK配置成功

![969e95790b4c5a50439f978684e83e55.png][]

### 配置Hadoop ###

#### 解压源码包 ####

通过 **tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local** 解压tar包

#### 修改配置文件 ####

**cd /usr/local/hadoop-2.7.7/etc/hadoop/** 进入目录 **vi hadoop-env.sh** 修改配置文件，指定JDK的路径

export JAVA_HOME=/usr/local/jdk1.8.0_161

![8fc39a14c3cec280938110a595236f3e.png][]

**vi core-site.xml** 修改配置文件，指定Hadoop的存储位置与访问IP

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://本地IP:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.7.7/dfs/data</value>
    </property>

![560e55bbf408f038b369e19a06f9e26a.png][]

**vi hdfs-site.xml** 修改配置文件，配置hdfs的存储路径

<property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.7.7/dfs/name</value>
        <description>为了保证元数据的安全一般配置多个不同目录</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.7.7/dfs/data</value>
        <description>datanode 的数据存储目录</description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
        <description>HDFS 的数据块的副本存储个数, 默认是3</description>
    </property>

![a96af575b78cf558d94a4a9229ede732.png][]

**cp mapred-site.xml.template mapred-site.xml** 将配置文件重命名，再 **vi mapred-site.xml** 修改配置文件，指定yarn作为资源调度组件。

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

![ed9c290c3d873e47727cdd9d0c719abc.png][]

**vi yarn-site.xml** 修改配置文件，指定yarn为MapReduce组件服务。

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>
    </property>

![681bfb6424034bf9661e070a67036d5b.png][]

#### 配置环境变量 ####

**vi /etc/profile** 配置环境变量

JAVA_HOME=/usr/local/jdk1.8.0_161
    HADOOP_HOME=/usr/local/hadoop-2.7.7
    
    CLASSPATH=$JAVA_HOME/lib/
    
    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
    
    export PATH JAVA_HOME CLASSPATH

![c6992e1d8b5029458762872109735c94.png][]

修改后执行 source /etc/profile 使配置生效

输入 **hadoop version** 测试Hadoop是否配置成功，若出现版本号则说明Hadoop配置成功

![c27d040066167f02b2fe385106fcd9f4.png][]

#### 创建目录 ####

创建hdfs-site.xml里配置的路径,依次执行 **mkdir -p /usr/local/hadoop-2.7.7/dfs/name** 与 **mkdir -p /usr/local/hadoop-2.7.7/dfs/data** （-p参数为遍历创建文件夹，若上级文件夹不存在会依次进行创建）

#### 启动Hadoop服务 ####

运行 **hadoop namenode -format** 对namenode进行初始化，途中可能需要输入相应的信息，最终显示status 0 则表示初始化成功

![b270c8a3da88a7da4b02ec487a48377f.png][]

**cd /usr/local/hadoop-2.7.7/sbin/** 目录 运行 **sh start-all.sh** 启动Hadoop服务。

输入 **jps** 查看Hadoop的进程是否正常启动

![96d1f18befa2f8fb4f9d83ceaf5ba102.png][]

在主机的浏览器中输入 ip:50070 进行访问Hadoop的web监控端，若能正常显示，则部署完成。若不能显示，先检查防火墙是否正常关闭。

![813907a902197e0fbe4d67c8cc6f20ca.png][]  
至此，Hadoop伪分布式部署就结束啦！

### 结语 ###

如果说这篇文章有让你学到一定的知识的话，不妨点个赞和关注，让博主能够看到。如果讲解中有什么错误和疏忽，也劳烦在评论中指出或提问，博主会第一时间进行更新和答复，谢谢！

[269ba58f1f553fe097ed21d3a4f53eb1.png]: /images/20221022/a29b52a419454c82b85a0b22fe110d4f.png
[bae1201c6fb0200b072e88f6dbff276b.png]: /images/20221022/3557f501493e41c582a0ec8326717b10.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70]: /images/20221022/e46d512745524074b9dffeb00c55b0af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 1]: /images/20221022/e52f5aaffb4a466fb870fa988e8b5f11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 2]: /images/20221022/b18633874c2844028421b900321fbbce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 3]: /images/20221022/fd16aab482824a2285119c00f04a865e.png
[20210412085437469.png]: /images/20221022/957eba6f81b649a2a2cac400127cca77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxODU0MA_size_16_color_FFFFFF_t_70 4]: /images/20221022/e24a0eac046d48b09f7709c301964fb0.png
[jdk1.8.0_161]: http://parkinggo.intelligentcommunity.ltd/blog/2021-4-8/jdk-8u161-linux-x64.tar.gz
[hadoop2.7.7]: http://parkinggo.intelligentcommunity.ltd/blog/2021-4-8/hadoop-2.7.7.tar.gz
[33862e95b3d9a0cb2ca057186442ec05.png]: /images/20221022/2fbe26770d5546499a81043f21861be4.png
[969e95790b4c5a50439f978684e83e55.png]: /images/20221022/1e6ea2aa1bc34812a2d816f8ba6cc785.png
[8fc39a14c3cec280938110a595236f3e.png]: /images/20221022/4a8c1615935f46ac9f289e08f3e696fe.png
[560e55bbf408f038b369e19a06f9e26a.png]: /images/20221022/709b691379354c21a8b4c069ac1241ed.png
[a96af575b78cf558d94a4a9229ede732.png]: /images/20221022/ce9a0594842f4fa1aa1eaedf52b10869.png
[ed9c290c3d873e47727cdd9d0c719abc.png]: /images/20221022/5b546f2a8e9d426384b348fbb26e7357.png
[681bfb6424034bf9661e070a67036d5b.png]: /images/20221022/473b579aa2cc410780a6f1ea81bfa00c.png
[c6992e1d8b5029458762872109735c94.png]: /images/20221022/180a055555cd4725b7bb26d5a93ce7d6.png
[c27d040066167f02b2fe385106fcd9f4.png]: /images/20221022/c0dc8145ff4d4f1ca5b119dc896e1772.png
[b270c8a3da88a7da4b02ec487a48377f.png]: /images/20221022/0f0549b9b81c496e8b8b40e05d4ae8e8.png
[96d1f18befa2f8fb4f9d83ceaf5ba102.png]: /images/20221022/0ddc69e3130c476e95171cc793d784a4.png
[813907a902197e0fbe4d67c8cc6f20ca.png]: /images/20221022/681066453bde49d895918e24932c892d.png