大数据平台Hadoop的分布式集群环境搭建

一时失言乱红尘 2023-06-15 12:28 18阅读 0赞

1 概述

本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点

![format_png][]

NN=NameNode（名称节点）

SND=SecondaryNameNode（NameNode的辅助节点）

DN=DataNode（数据节点）

2 前期准备

（1）准备五台服务器

如：master1、master2、slave1、slave2、slave3

（2）关闭所有服务器的防火墙

$ systemctl stop firewalld$ systemctldisablefirewalld

（3）分别修改各服务器的/etc/hosts文件，内容如下：

192.168.56.132 master1

192.168.56.133 master2

192.168.56.134 slave1

192.168.56.135 slave2

192.168.56.136 slave3

注：对应修改个服务器的/etc/hostname文件，分别为 master1、master2、slave1、slave2、slave3

（4）分别在各台服务器创建一个普通用户与组

$ groupadd hadoop\#增加新用户组$ useradd hadoop -m -g hadoop\#增加新用户$ passwd hadoop\#修改hadoop用户的密码

切换至hadoop用户：su hadoop

（5）各服务器间的免密码登录配置，分别在各自服务中执行一次

$ ssh-keygen -t rsa\#一直按回车，会生成公私钥$ ssh-copy-id hadoop@master1\#拷贝公钥到master1服务器$ ssh-copy-id hadoop@master2\#拷贝公钥到master2服务器$ ssh-copy-id hadoop@slave1\#拷贝公钥到slave1服务器$ ssh-copy-id hadoop@slave2\#拷贝公钥到slave2服务器$ ssh-copy-id hadoop@slave3\#拷贝公钥到slave3服务器。如果你对大数据挖掘感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣群：458数字345数字782，欢迎添加，了解课程介绍，获取学习资源

注：以上操作需要登录到hadoop用户操作

（6）下载hadoop包，hadoop-2.7.5.tar.gz

官网地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/

3 开始安装部署

（1）创建hadoop安装目录

$ mkdir -p /home/hadoop/app/hadoop/\{tmp,hdfs/\{data,name\}\}

（2）将安装包解压至/home/hadoop/app/hadoop下

$tarzxf tar -zxf hadoop-2.7.5.tar.gz -C /home/hadoop/app/hadoop

（3）配置hadoop的环境变量，修改/etc/profile

JAVA\_HOME=/usr/java/jdk1.8.0\_131JRE\_HOME=/usr/java/jdk1.8.0\_131/jreHADOOP\_HOME=/home/hadoop/app/hadoop/hadoop-2.7.5PATH=$PATH:$JAVA\_HOME/bin:$JRE\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbinexportPATH

（4）刷新环境变量

$source/etc/profile

4 配置Hadoop

（1）配置core-site.xml

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/app/hadoop/tmp</value>

</property>

</configuration>

默认配置地址：[http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml][http_hadoop.apache.org_docs_r2.7.5_hadoop-project-dist_hadoop-common_core-default.xml]

（2）配置hdfs-site.xml

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

dfs.replication        3                dfs.namenode.name.dir        /home/hadoop/app/hadoop/hdfs/name                dfs.datanode.data.dir        /home/hadoop/app/hadoop/hdfs/data                      dfs.permissions.enabled    false                        dfs.namenode.secondary.http-address        master2:50090

默认配置地址：[http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml][http_hadoop.apache.org_docs_r2.7.5_hadoop-project-dist_hadoop-hdfs_hdfs-default.xml]

（3）配置mapred-site.xml

$ cp /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

默认配置地址：[http://hadoop.apache.org/docs/r2.7.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml][http_hadoop.apache.org_docs_r2.7.5_hadoop-mapreduce-client_hadoop-mapreduce-client-core_mapred-default.xml]

（4）配置yarn-site.xml

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master1</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master1:8032</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master1:8088</value>

</property>

</configuration>

默认配置地址：[http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml][http_hadoop.apache.org_docs_r2.7.5_hadoop-yarn_hadoop-yarn-common_yarn-default.xml]

（5）配置slaves

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/slaves

slave1

slave2

slave3

slaves文件中配置的是DataNode的所在节点服务

（6）配置hadoop-env

修改hadoop-env.sh文件的JAVA\_HOME环境变量，操作如下：

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

exportJAVA\_HOME=/usr/java/jdk1.8.0\_131

（7）配置yarn-env

修改yarn-env.sh文件的JAVA\_HOME环境变量，操作如下：

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-env.sh

exportJAVA\_HOME=/usr/java/jdk1.8.0\_131

（8）配置mapred-env

修改mapred-env.sh文件的JAVA\_HOME环境变量，操作如下：

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-env.sh

exportJAVA\_HOME=/usr/java/jdk1.8.0\_131

（9）将master1中配置好的hadoop分别远程拷贝至maser2、slave1 、slave2、slave3服务器中

$ scp -r /home/hadoop/app/hadoop hadoop@master2:/home/hadoop/app/

$ scp -r /home/hadoop/app/hadoop hadoop@slave1:/home/hadoop/app/

$ scp -r /home/hadoop/app/hadoop hadoop@slave2:/home/hadoop/app/

$ scp -r /home/hadoop/app/hadoop hadoop@slave3:/home/hadoop/app/

5 启动测试

（1）在master1节点中初始化Hadoop集群

$ hadoop namenode -format

（2）启动Hadoop集群

$ start-dfs.sh

$ start-yarn.sh

（3）验证集群是否成功

浏览器中访问50070的端口，如下证明集群部署成功

![format_png 1][]

![format_png 2][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNDI5MTU0OS0xNWVhMGQ3ODRiODU2NmMxLnBuZw?x-oss-process=image/format,png
[http_hadoop.apache.org_docs_r2.7.5_hadoop-project-dist_hadoop-common_core-default.xml]: http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml
[http_hadoop.apache.org_docs_r2.7.5_hadoop-project-dist_hadoop-hdfs_hdfs-default.xml]: http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
[http_hadoop.apache.org_docs_r2.7.5_hadoop-mapreduce-client_hadoop-mapreduce-client-core_mapred-default.xml]: http://hadoop.apache.org/docs/r2.7.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
[http_hadoop.apache.org_docs_r2.7.5_hadoop-yarn_hadoop-yarn-common_yarn-default.xml]: http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNDI5MTU0OS1hZDgzNTMxYjBiODgyOWFiLnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNDI5MTU0OS0wMjBhZmFlNjUwZTY3OGJkLnBuZw?x-oss-process=image/format,png

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据--hadoop集群搭建

`服务端转行大数据，underway...` 学习大数据，hadoop集群搭建是第一步的，方便后面执行测试代码，调试环境。资源有限，这里采用windows上使用虚拟机，V

男娘i/ 2023年10月02日 13:58/ 0 赞/ 61 阅读

相关大数据平台Hadoop的分布式集群环境搭建

1 概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在m

àì夳堔傛蜴生んèń/ 2023年06月21日 05:59/ 0 赞/ 175 阅读

相关大数据平台Hadoop的分布式集群环境搭建

1 概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在m

一时失言乱红尘/ 2023年06月15日 12:28/ 0 赞/ 19 阅读

相关【快速入门大数据】Hadoop分布式集群搭建

文章目录配置三台虚拟机环境 ssh免密登录 JDK和Hadoop 启动分布式节点下实战配置三台虚拟机环境复制三台虚拟机

﹏ヽ暗。殇╰゛Y/ 2023年01月08日 08:25/ 0 赞/ 254 阅读

相关大数据---hadoop集群搭建

集群规划：主机名 IP 安装的软件运行的进程

约定不等于承诺〃/ 2022年09月29日 04:26/ 0 赞/ 79 阅读

相关 MySql集群环境搭建（windows平台）

环境：Windows 7（64）平台，两台机器（A,B）， Server A(管理节点，数据节点，SQL节点) Server B（数据节点，SQL节点） 1、下

不念不忘少年蓝@/ 2022年08月17日 15:28/ 0 赞/ 254 阅读

相关 Hadoop分布式集群搭建

题记：期间遇到了好多问题（不仅仅是为了搭建hadoop集群），自己对linux操作系统还真挺感兴趣的，稍微有些遗漏，总结下。软件准备三台服务器：CentOS7 64位、

妖狐艹你老母/ 2022年06月05日 03:07/ 0 赞/ 384 阅读

相关 hadoop集群环境搭建之完全分布式集群环境搭建（二）

hadoop集群环境搭建之完全分布式集群环境搭建（二）我们在上一篇 [hadoop集群环境搭建之伪分布式集群环境搭建（一）][hadoop]中介绍了hadoop伪分布式

冷不防/ 2022年05月30日 23:51/ 0 赞/ 492 阅读

相关 hadoop集群环境搭建之伪分布式集群环境搭建（一）

hadoop集群环境搭建之伪分布式集群环境搭建（一） 1、Linux基本环境配置 1.1 虚拟机网络模式选择NAT 一般虚拟机默认是NAT模式 1.2 修改主机

╰+哭是因爲堅強的太久メ/ 2022年05月30日 23:49/ 0 赞/ 411 阅读

相关 hadoop 5台机器集群环境搭建

一、准备 5台机器上搭建hadoop集群环境 5台机器主机名与IP分别为 <table style="width:500px;"> <tbody>

怼烎@/ 2022年02月02日 23:29/ 0 赞/ 1589 阅读