大数据面试题之Hadoop集群搭建步骤

水深无声 2022-05-29 23:00 208阅读 0赞

一、打开需要搭建Hadoop集群的主从节点服务器 ，配置好静态IP、主机名hostname、主机IP映射文件hosts、关掉防火墙

二、通过远程登录工具（我用的是SecureSRT） 登录到Linux系统，登录前需要在Windows系统中C:\\Windows\\System32\\drivers\\etc目录下的hosts中配置好Linux系统的ip地址和主机名，要不然远程登录工具无法连接到Linux系统

三、登录到Linux系统之后使用su命令切换到root用户下，同步主从节点服务器的系统时间、静态IP、hostname、IP地址主机映射文件，关掉防火墙。如下图，在SecureSRT下面交互窗口选择发送交互到所有标签可以同时操作主从节点。

![70][]

四、配置免密钥登录

五、利用文件传输工具WinSCP将JDK、Hadoop安装包发送到主节点中

六、解压JDK、配置JDK环境变量，使用source命令生效改动的.bash\_profile文件，用java -version检查是否配置成功，如果成功将解压后的JDK安装文件和.bash\_profile文件使用scp命令发送到其他子节点

七、在主节点中解压Hadoop安装文件，并配置hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site-template.xml文件（复制mapred-site-template.xml并改名为mapred-site.xml）、slaves文件

八、配置Hadoop启动的系统环境变量，并将配置后的Hadoop文件和.bash\_profile文件利用scp命令传输到其他从节点上，然后使环境变量生效，配置

九、创建数据目录hadoopdata

十、启动Hadoop集群

1、格式化文件系统:在master节点上，用hdfs namenode -format命令

2、启动Hadoop：在master节点上，用start-all.sh命令

3、用jps命令查看进程是否启动，master节点：Jps、ResourceManager、NameNode、SecondaryNameNode；slave节点：DataNode、NodeManager、Jps

4、Web UI查看集群是否启动成功：如果之前配置好主机名IP地址映射直接在浏览器中输入“主节点主机名：9000”

5、查看Yarn是否正常启动：“主节点主机名：18088”

6、运行PI实例检查集群是否成功:hadoop jar hadoop- mapreduce-examples-2.5.1.jar pi 5 5

[70]: /images/20220530/471a8c8a1bb04ab1ab62c53f5bcb761c.png

大数据面试题之Hadoop集群搭建步骤

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关虚拟机搭建hadoop集群步骤

相关 Hadoop 分布式集群搭建步骤

相关大数据--hadoop集群搭建

相关《Hadoop入门之“集群搭建“》

相关【快速入门大数据】Hadoop分布式集群搭建

相关大数据---hadoop集群搭建

相关 hadoop学习笔记之hadoop集群搭建详细步骤

相关大数据面试题之Hadoop集群搭建步骤

相关大数据集群搭建 | redis集群搭建

相关 Hadoop集群搭建详细步骤