HBase配置及API运行

小鱼儿 2022-06-12 06:46 159阅读 0赞

昨天和今天我主要学习了下HBase,在此记录下自己的学习心得。

初次接触HBase,发现它有自带的zookeeper;我原先是完全分布式安装了hadoop的，三台机器，不过我运行的时候暂时只开了两台，所以下面出现的例子都是只起了两台的哈。

按理是要分开另外安装zookeeper比较好，而不是使用HBase自带的内部的zookeeper，原因大概就是如下所述（摘自百度知道一用户的回答，个人觉得他回答的不错）：

因为我们是好多hbase集群共用一个zookeeper的，其中一个集群需要从hbase 0.90.2 升级到hbase 0.92上，自然，包也要更新。但是其中一台regionserver上面同时也有跑zookeeper，而zookeeper还是用hbase 0.90.2 自带的zookeeper在跑。 ? 现在好了，升级一个regionserver，连着zookeeper也要受到牵连，看来必须要重启，不然，jar包替换掉，可能会影响到zk正在跑的经常。但是重启zk毕竟对正在连接这个zk的client端会有短暂的影响。 ? 真是蛋疼。本来只是升级hbase，zk却强耦合了。 ? 虽然后来证明zookeeper只要启动了，哪怕jar包删除也不会影响到正在跑的zk进程，但是这样的不规范带来的风险，实在是没有必要。 ? 所以作为[运维][Link 1]，我强烈建议zk 和hbase分开部署，就直接部署官方的zk 好了，因为zk本身就是一个独立的服务，没有必要和hbase 耦合在一起。 ? 在分布式的系统部署上面，一个角色就用一个专门的文件夹管理，不要用同一个目录下，这样子真的容易出问题。

目前我也是偷懒，所以直接使用了HBase自带的zookeeper。

我的运行环境hadoop2.8.0, hbase1.2.6 （hadoop的配置在此就不说了，大家可以照官网自己搭建。我的三台机器名分别为bigdata1,bigdata2,bigdata3;这里只运行后两台）

*  ## HBase配置 ##

以bigdata3上的配置为例

hbase-site.xml

<configuration>
    <property>
            <name>hbase.rootdir</name>
            <value>hdfs://bigdata3:9000/hbase</value>
    </property>
    <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
    </property>
    <property>
    
            <name>hbase.zookeeper.quorum</name>
    
            <value>bigdata1,bigdata2,bigdata3</value>
    
    </property>
    
    <property>
    	<name>hbase.zookeeper.sission.timeout</name>
    	<value>60000</value>
    </property>
    
    <property>
    	<name>hbase.zookeeper.property.clientPort</name>
    	<value>2181</value>
    </property>
    
    
    
    <property>
    	<name>hbase.regionserver.lease.period</name>
    	<value>60000</value>
    </property>
    
    <property>
    	<name>hbase.rpc.timeout</name>
    	<value>60000</value>
    </property>
    <property>
    	<name>hbase.master.info.port</name>
    	<value>60010</value>
    </property>
    <property>
    
          <name>hbase.master</name>
    
          <value>hdfs://bigdata3:60000</value>
    
      </property>
    </configuration>

hbase-env.sh

export HBASE_CLASSPATH=/home/hadoop/hbase-1.2.6/conf
    export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
    export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
    export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
    export HBASE_LOG_DIR=${HBASE_HOME}/logs
    # The directory where pid files are stored. /tmp by default.
    export HBASE_PID_DIR=/home/hadoop/hbase-1.2.6/pids
    # Tell HBase whether it should manage it's own instance of Zookeeper or not.
    export HBASE_MANAGES_ZK=true
    export JAVA_HOME=/home/hadoop/jdk1.8.0_121/
    export HBASE_HOME=/home/hadoop/hbase-1.2.6
    export PATH=$PATH:$HBASE_HOME/bin
    export HADOOP_HOME=/home/hadoop/hadoop2.8.0

regionservers

bigdata1
    bigdata2
    bigdata3

启动hadoop后启动hbase，使用命令start-hbase.sh start

![Center][]

![SouthEast][]

然后hbase shell即可进行数据库操作;具体的shell操作命令我就不列举啦！同时可以进行浏览器访问

![SouthEast 1][]

现在新版本的hbase这个端口已经改成了16010了，大家注意下。

昨天上午到这都是正常的，但是下午饭后回来就发现hbase出错啦。

![SouthEast 2][]

后来看日志觉得就是zookeeper没有起来，

![SouthEast 3][]

但是我不知道Hbase自带的zookeeper在哪，要怎么手动重启呢？百度很久都没有找到解决办法，网上的方法都试啦，还没有解决;

这等我后面解决啦再记录吧，如果大家有遇到同样问题并解决啦，麻烦告诉伟下！先谢啦～

因为使用自带的hbase时其默认文件保存在tmp下，所以暂时我就先删掉啦tmp下内容然后重新启动的hbase。

下面我用eclipse java新建了一种表,代码如下：

mport java.io.IOException;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.HColumnDescriptor;
    import org.apache.hadoop.hbase.HTableDescriptor;
    import org.apache.hadoop.hbase.TableName;
    import org.apache.hadoop.hbase.client.HBaseAdmin;
    
    
    public class CreateTable {
    	public static void main(String[] args) throws IOException {
    		Configuration con = HBaseConfiguration.create();
    		con.set("hbase.zookeeper.quorum", "master");//使用eclipse时必须添加这个，否则无法定位;如果填matser还是没有用，你可以填ip地址
    		HBaseAdmin admin= new HBaseAdmin(con);
    		HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("emp"));
    		tableDescriptor.addFamily(new HColumnDescriptor("personal"));
    		tableDescriptor.addFamily(new HColumnDescriptor("professional"));
    		admin.createTable(tableDescriptor);
    		admin.close();
    		System.out.println("Table created");
    	}
    
    }

在eclipse中记得add external jars，把hbase lib下的jar包都添加进去!

[Link 1]: https://www.baidu.com/s?wd=%E8%BF%90%E7%BB%B4&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLnyfLPy79ujmzryD1rj790ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPjb4PjcYnjfdPjfsnjfLPW0Y
[Center]: /images/20220612/5bfb914178ce4ee4b958ad539161abc5.png
[SouthEast]: /images/20220612/b640aac052754b5abd5766a0d2ef247a.png
[SouthEast 1]: /images/20220612/7c2c68751c984efeb89d1a7b2b6e904d.png
[SouthEast 2]: /images/20220612/26f871162937492a9e035567eb265cd8.png
[SouthEast 3]: /images/20220612/5a9ffd8d93f04aa98756005c7ac9489a.png