Centos7 搭建Hadoop3.0.3 +Zookeeper3.4.12+HBase2.1.0

灰太狼 2023-10-18 20:57 6阅读 0赞

安装包资源

JDK1.8

Hadoop3.0.3

Zookeeper3.4.12

HBase2.1.0

服务器资源

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>IP地址</td> 
   <td>hostname</td> 
   <td>是否NameNode</td> 
   <td>是否DataNode</td> 
  </tr> 
  <tr> 
   <td>192.168.60.204</td> 
   <td>master</td> 
   <td>是</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>192.168.60.205</td> 
   <td>node1</td> 
   <td>否</td> 
   <td>是</td> 
  </tr> 
 </tbody> 
</table>

1、CentOS7 搭建Hadoop 3.0.3 环境

参考文章地址：[https://blog.csdn.net/zhouzhiwengang/article/details/94549964][https_blog.csdn.net_zhouzhiwengang_article_details_94549964]

2、CentOS7 搭建Zookeeper3.4.12 环境

参考文章地址：[https://blog.csdn.net/zhouzhiwengang/article/details/94564102][https_blog.csdn.net_zhouzhiwengang_article_details_94564102]，说明：此文章是CentOS7 单机版安装zookeeper.如果是搭建完整zookeeper 的集群环境，还有补充以下相关指令文件。

第一步：调整zookeeper 的配置文件（zoo.cfg）,添加如下指令文件

# 修改存储快照文件snapshot的目录
    dataDir=/usr/local/zookeeper/zookeeper-3.4.12/data
    # server.x中的x是一个数字，与myid文件中的id是一致的
    server.1=master:2888:3888
    server.2=node1:2888:3888

保存退出

第二步：创建一个data文件夹，存放myid

mkdir /usr/local/zookeeper/zookeeper-3.4.12/data
    echo 1 > /usr/local/zookeeper/zookeeper-3.4.12/data/myid

第三步：分发安装包  
将配置好的zookeeper拷贝到其他节点(首先在note1服务器根目录下创建一个zookeeper目录：mkdir /usr/local/zookeeper)

scp -r /usr/local/zookeeper/zookeeper-3.4.12/ note2:/usr/local/zookeeper/

注意：修改note1服务器对应/usr/local/zookeeper/zookeeper-3.4.12/data/myid内容  
note1：

echo 2 > /usr/local/zookeeper/zookeeper-3.4.12/data/myid

第四步：启动Zookeeper集群（分别在每台服务器启动Zookeeper）

启动Zookeeper命令如下：

cd /usr/local/zookeeper/zookeeper-3.4.12/bin/
    ./zkServer.sh start

查看状态：一个leader，一个follower，命令如下：

./zkServer.sh status

注意：分别一定要在master、note1执行启动命令来启动Zookeeper.

3、CentOS7 搭建HBase-2.1.0

HBase 官网地址：[http://hbase.apache.org][http_hbase.apache.org]

1、\[官网\]\[1\]下载HBase，我这里选择的是2.1.0版本

2、通过FTP（WinSCP,FileZilla等）工具上传到指令目录 /usr/local/hadoop

3、使用解压命令解压到当前目录并对文件夹重新命令:

tar zxvf hbase-2.1.0-bin.tar.gz #解压
    mv hbase-2.1.0-bin hbase-2.1.0 #文件夹重命名

4、HBase 配置全局环境变量

在 /etc/profile 配置文件中添加 HBase 环境变量，内容如下：

export HBASE_HOME=/usr/local/hadoop/hbase-2.1.0
    export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin

执行source /etc/profile,使配置的全局环境变量生效。

5、修改HBase的环境变量配置文件(hbase-env.xml)

cd /usr/local/hadoop/hbase-2.1.0/conf #切换至hbase 安装目录
    
    vi hbase-env.sh  #编辑hbase 环境变量文件，添加如下内容：
    
    export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64 #jdk 安装目录
    export HBASE_LOG_DIR=/usr/local/hadoop/hbase-2.1.0/logs  #hbase 日志文件地址
    export HBASE_MANAGES_ZK=false   #是否启用hbase 自带的zookeeper

6、修改HBase的配置文件(hbase-site.xml)

vi hbase-site.xml  #修改HBase 的站点文件，在properties新增内容如下：
    
    
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master:2181,node1:2181</value>
    </property>
    
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper/zookeeper-3.4.12/data</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>hdfs://master:60000</value>
    </property>
    
    <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
    </property>

8、修改HBase的配置文件(regionservers)

vi regionservers #修改HBase 站点服务器地址，添加内容如下：
    
    master
    node1

9、复制hbase到node1中,执行如下指令：

scp -r /usr/local/hadoop/hbase-2.1.0 node1:/usr/local/hadoop

10、启动hbase

cd /usr/local/hadoop/hbase-2.1.0/bin/
    ./start-hbase.sh

第四步：集群环境启动和关闭流程说明：

Hadoop3.0.3 + ZooKeeper3.4.12 +HBase2.1.0 集群环境启动顺序：

启动：

先zookeeper, zkServer.sh start,这个所有机器上都要做

然后启动hadoop, start-all.sh, 只启动首机就行

然后启动hbase, start-hbase.sh,只启动首机

然后在每台机器上执行下jps看看是不是都启动了。

node1 jps 结果展示：

![20190704161040199.png][]

master jps 结果展示：

![20190704160938734.png][]

停止：

首机执行stop-hbase.sh

每台执行zkServer.sh stop

首机执行stop-all.sh

然后在每台机器上执行下jps查看进程

[https_blog.csdn.net_zhouzhiwengang_article_details_94549964]: https://blog.csdn.net/zhouzhiwengang/article/details/94549964
[https_blog.csdn.net_zhouzhiwengang_article_details_94564102]: https://blog.csdn.net/zhouzhiwengang/article/details/94564102
[http_hbase.apache.org]: http://hbase.apache.org
[20190704161040199.png]: https://img-blog.csdnimg.cn/20190704161040199.png
[20190704160938734.png]: https://img-blog.csdnimg.cn/20190704160938734.png