hadoop集群配置

比眉伴天荒 2023-05-28 06:46 3阅读 0赞

1、安装3个虚拟机，主机名修改为 192.168.2.131   master  、192.168.2.130  slave1 、192.168.2.132  slave2

2、复制hadoop安装包到指定目录

切换至etc目录  cd   /home/master/hadoop-2.9.2/etc/hdaood

查看java的安装目录

![20200328103715429.png][]

（1）vi   hadoop-env.sh  配置jdk环境

![20200328104032699.png][]

(2)  vi  core-site.xml

<configuration>
    <property>
         <name>fs.default.name</name>
         <value>hdfs://master:9000</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>/home/master/bigdata</value>
    </property>

(3)   vi   hdfs-site.xml

<configuration>
    <property>
       <name>dfs.replication</name>
       <value>2</value>
    </property>
    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>slave1:50090</value>
    </property>
    </configuration>

(4)  mv  mapred-site.xml.template   mapred-site.xmll

vi   mapred-site.xml

<configuration>
    <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
    </property>
    </configuration>

（5） vi  yarn-site.xml

<configuration>
    <propetry>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </propetry>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    </configuration>

(6)  vi   slaves

master
    slave1
    slave2

(7)添加hadoop环境变量

export  HADOOP_HOME=/home/master/hadoop-2.9.2
      export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、hdfs格式化

格式化的目的是初始化创建相关文件，  格式化只能进行一次，格式化必须在hadoop集群主角色（namenode）所在的节点进行，格式化命令

hdfs  namenode -format

格式化成功消息，目录与core-site.xml 配置的路径一致

![20200329215742414.png][]

如果在启动hadoop集群是，启动namenode后datanode失败，需要将hdfs在core-site.xml 配置的路径下的数据删除，重重新格式化。

4、Hadoop集群启动

配置好个节点的ssh免密登陆、slaves文件就可以实现在主节点一键启动

（1）hdfs集群启动、yarn集群启动

cd  /hadoop-2.9.2/sbin
    start-dfs.sh
    start-yarn.sh

jps查看进程

[root@master sbin]# jps
    1648 DataNode
    2052 NodeManager
    2295 Jps
    1547 NameNode
    1949 ResourceManager

http://192.168.2.131:50070访问集群配置ui页面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdjaGVuZ3d1MjAxMg_size_16_color_FFFFFF_t_70][]

(2) hdfs集群关闭、yarn集群关闭

stop-dfs.sh
    stop-yarn.sh

[20200328103715429.png]: /images/20230528/b8d0c6fcdf9144f4a62d946a0901658b.png
[20200328104032699.png]: /images/20230528/8faf0337bfc843b6b25144237200be4d.png
[20200329215742414.png]: /images/20230528/937cfe2063a34fdbaedfa2b0780ec6f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdjaGVuZ3d1MjAxMg_size_16_color_FFFFFF_t_70]: /images/20230528/d92ad89ec2fd41e2944e4b4fd4396d50.png