Hadoop分布式集群搭建

妖狐艹你老母 2022-06-05 03:07 315阅读 0赞

题记：期间遇到了好多问题（不仅仅是为了搭建hadoop集群），自己对linux操作系统还真挺感兴趣的，稍微有些遗漏，总结下。

软件准备

三台服务器：CentOS7 64位、Ubuntu14.04.5 32位、Debian9.2.1 64位 可以到开源镜像网站下载，网易（mirrors.163.com）阿里都可以（mirrors.aliyun.com）

链接供参考，方便大家找到路径（可以选择自己想下的版本）

CentOS：[http://mirrors.163.com/centos/7/isos/x86\_64/CentOS-7-x86\_64-NetInstall-1708.iso][http_mirrors.163.com_centos_7_isos_x86_64_CentOS-7-x86_64-NetInstall-1708.iso]

Ubuntu：[http://mirrors.163.com/ubuntu-releases/14.04/ubuntu-14.04.5-server-i386.iso][http_mirrors.163.com_ubuntu-releases_14.04_ubuntu-14.04.5-server-i386.iso]

Debian：[http://mirrors.163.com/debian-cd/9.2.1/amd64/iso-cd/debian-9.2.1-amd64-xfce-CD-1.iso][http_mirrors.163.com_debian-cd_9.2.1_amd64_iso-cd_debian-9.2.1-amd64-xfce-CD-1.iso]

服务器分配的ip地址：192.168.11.129/130/132

JDK

Hadoop1.2.1:

搭建步骤：

1、hosts和主机名设置

2、安装jdk

3、配置ssh免密登录关闭SELINUX

4、Hadoop环境搭建

5、启动集群

详细过程：

1、hosts和主机名设置

修改三台服务器的 hosts文件 （末尾添加）  
vim /etc/hosts（vi简易教程：“i/a”开始编辑, “esc”退出编辑，“：wq”保存退出，“：q！”不保存退出，x/ctrl+x删除单个，双击d删除整行）

192.168.11.129 hadoop-master
    192.168.11.130 hadoop-slave2
    192.168.11.132 hadoop-slave3

分别修改三台服务器的主机名,执行reboot重启生效：  
CentOS： vi /etc/sysconfig/network

HOSTNAME=hadoop-master

Debian/Ubuntu: vi /etc/hostname

hadoop-slave2/hadoop-slave3

2、安装jdk

可以试用yum/apt-get安装，也可自行下载安装

CentOS不用配置下载源，安装不上可以update下，Debian和Ubuntu更换源地址(mirrors.163.com)，

vi /etc/apt/sources.list

示例：找到mirrors下ubuntu包下的dist目录，trusty系统，加目录下的所有包名 详见：[网易镜像Ubuntu使用帮助][Ubuntu]

deb http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse

yum install java-1.8.0-openjdk*
    apt-get install openjdk-8-jdk

配置环境变量： vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
    export CLASSPATH=.:$JAVA_HOME/lib.tools.jar
    export PATH=$JAVA_HOME/bin:$PATH

source命令立即生效

source /etc/profile

3、配置ssh免密登录关闭SELINUX

CentOS7之后需默认使用的是firewall作为防火墙，查看防火墙状态：

firewall-cmd --state  #查看防火墙状态
    systemctl stop firewalld.service    #停止firewall
    systemctl disable firewalld.service     #禁止firewall开机自启动

Ubuntu 默认防火墙是ufw，可以在/etc找下，默认是关闭的

ufw status   #查看防火墙状态
    ufw disable  #关闭并禁止开机启动

Debian默认没有开启防火墙。

关闭SELINUX需要重启服务器, （CentOS关闭SELINUX，Ubuntu和Debian跳过该操作）

-- 关闭SELINUX
    # vim /etc/selinux/config
    -- 注释掉
    #SELINUX=enforcing
    #SELINUXTYPE=targeted
    -- 添加
    SELINUX=disabled

（一）下面以配置hadoop-master本机无密码登录为例进行讲解，用户需参照下面步骤完成h-salve2~3三台子节点机器的本机无密码登录

# 1）生产秘钥
    ssh-keygen -t rsa
    # 2）将公钥追加到”authorized_keys”文件
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    # 3）赋予权限
    chmod 600 .ssh/authorized_keys
    # 4）验证本机能无密码访问
    ssh hadoop-master

最后依次配置slave2~3无密码访问

（二）hadoop-master本机无密码登录hadoop-slave2、hadoop-slave3，以hadoop-master无密码登录hadoop-slave2为例进行讲解：

# 1）登录hadoop-slave2 ，复制hadoop-master服务器的公钥”id_rsa.pub”到hadoop-slave1服务器的”root”目录下（可安装lrzsz，或者用SecureFXPortable）
    scp root@hadoop-master:/root/.ssh/id_rsa.pub /root/
    # 2）将hadoop-master的公钥（id_rsa.pub）追加到hadoop-slave2的authorized_keys中
    cat id_rsa.pub >> .ssh/authorized_keys
    # 3）在 hadoop-master上面测试
    ssh  hadoop-slave2

（三）配置hadoop-slave2~hadoop-slave3本机无密码登录hadoop-master  
反向类比hadoop-master无密码登录hadoop-slave2  
4、Hadoop环境搭建  
下载hadoop安装包解压（建议本地修改好文件之后再上传） hadoop-1.2.1/conf下的六个文件  
core-site.xml  
hdfs-site.xml  
mapred-site.xml  
hadoop-env.sh  
masters  
slaves  
修改Hadoop核心配置文件core-site.xml，通过fs.default.name指定NameNode的IP地址和端口号，通过hadoop.tmp.dir指定hadoop数据存储的临时文件夹。

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    <configuration>
    	<property>
            <name>hadoop.tmp.dir</name>
            <value>/root/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://hadoop-master:49000</value>
        </property>
    </configuration>

特别注意：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删除，必须重新执行format才行，否则会出错。  
  
  
修改HDFS核心配置文件hdfs-site.xml，通过dfs.replication指定HDFS的备份因子为3，通过dfs.name.dir指定namenode节点的文件存储目录，通过dfs.data.dir指定datanode节点的文件存储目录。

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    <configuration>
    	<property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.name.dir</name>
            <value>/root/hadoop/name</value>
        </property>
        <property>
            <name>dfs.data.dir</name>
            <value>/root/hadoop/data</value>
        </property>
    </configuration>

修改mapred-site.xml,设置的是运行jobtracker的服务器主机名和端口，也就是作业将在master主机的9001端口执行

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    <configuration>
    	<property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
       <property>
          <name>mapred.job.tracker</name>
          <value>http://hadoop-master:9001</value>
      </property>
    </configuration>

（一）hadoop-master的hadoop环境配置  
将修改好的hadoop1.2.1上传至hadoop-master的 / 路径下，修改hadoop-env.sh文件，添加hadoop-master的jdk安装路径

# The java implementation to use.  Required.
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk   #换成你自己jdk安装路径

修改master，slaves文件

vi /hadoop1.2.1/masters
    ## 内容
    hadoop-master
    vi /hadoop1.2.1/slaves
    ## 内容
    hadoop-slave2
    hadoop-slave3

配置hadoop环境变量，修改配置文件 vi /etc/profile

export HADOOP_HOME=/hadoop-1.2.1
    export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile 立即生效  
（二）hadoop-slave2~hadoop-slave3 的hadoop环境配置  
类似于（一），将hadoop1.2.1上传至hadoop-slave2,hadoop-slave3 / 路径下，修改hadoop-env.sh文件，  
修改master文件，删除slaves文件  
配置hadoop环境变量  
5、启动集群  
进入/etc/hadoop1.2.1文件目录执行以下操作

bin/hadoop namenode -format

格式化namenode，第一次启动服务前执行的操作，以后不需要执行。如果要执行的话，先删除core-site.xml里设置的tmp文件夹  
启动hadoop

start-all.sh

使用jps查看运行情况，hadoop-master下：

2065 SecondaryNameNode
    2291 Jps
    1914 NameNode
    2141 JobTracker
    hadoop-slave下
    803 DataNode
    980 Jps
    876 TaskTracker

主要参考：

hadoop分布式集群搭建：[http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html][http_www.ityouknow.com_hadoop_2017_07_24_hadoop-cluster-setup.html]

Hadoop分布式集群搭建：[http://www.linuxidc.com/Linux/2017-08/146389.htm][http_www.linuxidc.com_Linux_2017-08_146389.htm]l

[http_mirrors.163.com_centos_7_isos_x86_64_CentOS-7-x86_64-NetInstall-1708.iso]: http://mirrors.163.com/centos/7/isos/x86_64/
[http_mirrors.163.com_ubuntu-releases_14.04_ubuntu-14.04.5-server-i386.iso]: http://mirrors.163.com/ubuntu-releases/14.04/
[http_mirrors.163.com_debian-cd_9.2.1_amd64_iso-cd_debian-9.2.1-amd64-xfce-CD-1.iso]: http://mirrors.163.com/debian-cd/9.2.1/amd64/iso-cd/
[Ubuntu]: http://mirrors.163.com/.help/ubuntu.html
[http_www.ityouknow.com_hadoop_2017_07_24_hadoop-cluster-setup.html]: http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html
[http_www.linuxidc.com_Linux_2017-08_146389.htm]: http://www.linuxidc.com/Linux/2017-08/146389.htm