Hadoop大数据生态：hive与hbase整合

快来打我* 2022-01-30 02:09 596阅读 0赞

### 简介 ###

*  hive和hbase都是基于hadoop大数据生态而衍生的不同的技术，hbase是一种nosql的key/value数据库，主要用于数据的实时查询，速度比较快，而hive主要使用HQL语言运行MapReduce任务，主要用于统计查询，但速度较慢；
 *  两者属于互补的关系，这两种工具可以同时进行使用，同时操作hadoop底层数据仓库；
 *  环境需求：服务器搭建好hadoop集群、hbase集群以及hive客户端；

### 实践 ###

*  在上一篇博客讲述安装完hive客户端之后，我们还需要将hive和hbase两者整合起来，由于hbase和hadoop同属一个大数据的集群生态，所以，只需要修改hive的配置文件即可完成两者的互通；
 *  切换到hive的配置文件目录：/data/hadoop/hive/hive/conf；
 *  主要修改hive-site.xml和hive-env.sh两个文件；
 *  修改hive-site.xml文件：vim hive-site.xml；

<property>
    	<name>hive.zookeeper.quorum</name>
    	<value>hadoop-master,hadoop-slave</value>
    </property>
    <property>
    	<name>hive.zookeeper.client.port</name>
    	<value>2181</value>
    </property>

*   修改hive-env.sh文件：vim hive-env.sh；

#设置hadoop环境变量根目录
    HADOOP_HOME=/data/hadoop/hadoop/hadoop
    
    #设置hbase环境变量根目录
    HBASE_HOME=/data/hadoop/hbase/hbase

*  配置完成之后，重启hive，如果没有报错，出现以下界面，则说明启动成功；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70][]

### 测试 ###

*  首先在hbase创建表以及插入表数据：

#进入命令行
    $ hbase shell
    
    #创建表以及列族
    hbase>create 'sixmonth','user'
    
    #插入两行数据以及指定列名
    hbase>put 'sixmonth','0001', 'user:name','admin'
    hbase>put 'sixmonth','0001', 'user:sex','woman'
    hbase>put 'sixmonth','0002', 'user:name','test'
    hbase>put 'sixmonth','0002', 'user:sex','man'
    
    #扫描表
    hbase>scan 'sixmonth'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 1][]

*   然后，在hive创建相同的表，同时和hbase映射起来；

hive>create external table sixmonth (
    	>id string,
    	>name string,
    	>sex string
    	>)
    	>STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    	>WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,user:name,user:sex")
    	>TBLPROPERTIES("hbase.table.name" = "sixmonth");

*  查询创建表的数据信息，即可获取hbase插入的数据；

hive>select * from sixmonth;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 2][]

###  总结 ###

*  hive和hbase的互补关系在应用开发的时候起到不可或缺的作用，一般在创建hadoop大数据生态的时候都会将hive和hbase整合起来，两个工具共同使用，用hive进行数据统计，用hbase进行实时查询；
 *  实践是检验认识真理性的唯一标准，自己动手，丰衣足食~~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70]: /images/20220130/a80375e5f3a94d0181b55083db2e7ae0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 1]: /images/20220130/80772d8766c647878bbbb84d713cb7b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 2]: /images/20220130/e7a76185754b4ef0b6e67450b9d94771.png