Hive - 入门

灰太狼 2022-04-23 06:46 211阅读 0赞

**目录：**

1.  hive简介
2.  hive使用场景
3.  hive安装模式
    
    1.  内嵌模式
    2.  本地模式
    3.  远程模式
4.  hive环境搭建：本地模式
5.  hive架构说明

## ##

### 一.hive简介 ###

**1.hive的来源**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]

**2.hive简介**

*  Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL的查询功能。
 *  其基于原理是将HQL语句自动转化成MapReduce任务。
 *  Hive建立在Hadoop的其它组件之上：依赖于HDFS进行数据存储，依赖于MapReduce完成查询操作。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]

**3.数据仓库和数据库的区别**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]

![20190125114022171.png][]

**4.hive在hadoop的位置**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]

**5.hive的优点及缺点**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]

## ##

### 二.hive使用场景 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6][]

**仓库对比：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8][]

## ##

### 三.安装模式 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9][]

可参考博客：[hive安装教程本地模式][hive]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11][]

## ##

### 四.环境搭建：本地模式 ###

**第一步：安装Java jdk1.7+**

**第二步：安装hadoop，并开启**

**第三步：mysql下载及安装**：

1.  下载  
    mysql下载地址：[mysql-5.7.22-liunx-glibc2.12安装包][mysql-5.7.22-liunx-glibc2.12]  
    这里下载的mysql解压包是：mysql-5.7.22-linux-glibc2.12-x86\_64.tar.gz
2.  安装：  
    注意：mysql 版本不同，安装的方式也不一样，请找准对应版本的教程，切记  
    参考博客一：[mysql-5.7.22-linux-glibc2.12安装流程][mysql-5.7.22-linux-glibc2.12]  
    参考博客二：[Linux MySql5.6.38安装过程][Linux MySql5.6.38]
3.  启动服务：service mysql start

**第四步：hive下载及安装**

1.  下载
    
    1.  [下载地址][Link 1]
    2.  版本：hive-1.2.2/apache-hive-1.2.2-bin.tar.gz
2.  安装：可参考博客：[https://www.cnblogs.com/qingyunzong/p/8708057.html][https_www.cnblogs.com_qingyunzong_p_8708057.html]
    
    1.  上传
    2.  解压
    3.  在安装目录下的conf目录下创建 hive-site.xml ，并配置
        
            <?xml version="1.0" encoding="UTF-8" standalone="no"?>
            <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
            <configuration>
                    <property>
                            <name>javax.jdo.option.ConnectionURL</name>
                            <value>jdbc:mysql://192.168.200.10:3306/hive_db?createDatabaseIfNotExist=true</value>
                            <description>JDBC connect string for a JDBC metastore</description>
                            
                    </property>
                    <property>
                            <name>javax.jdo.option.ConnectionDriverName</name>
                            <value>com.mysql.jdbc.Driver</value>
                            <description>Driver class name for a JDBC metastore</description>
                    </property>
                    <property>
                            <name>javax.jdo.option.ConnectionUserName</name>
                            <value>root</value>
                            <description>username to use against metastore database</description>
                    </property>
                    <property>
                            <name>javax.jdo.option.ConnectionPassword</name>
                            <value>123456</value>
            		<description>password to use against metastore database</description>
                    </property>
            	<property>
            		<name>hive.metastore.schema.verification</name>
            		<value>false</value>
            		<description>是否启动验证，改为false，因为第一次启动数据库都不存在，如果开启验证，将永远失败</description>
            	</property>
            </configuration>
    4.  上传MySQL 驱动包（mysql-connector-java-5.1.40-bin.jar），并将该 jar 包放置在 hive 的根路径下的 lib 目录下  
        ![20190314151348307.png][]
    5.  配置环境变量
        
            [root@kd01 bin]# vi ~/.bashrc
            在其文件末尾添加
            export HIVE_HOME=/home/apache-hive-1.2.2-bin
            export PATH=$PATH:$HIVE_HOME/bin
            
            修改后使其生效
            [root@kd01 bin]# source ~/.bashrc
    6.  初始化hive元数据
        
            root@kd01 bin]# schematool -initSchema -dbType mysql
        
        执行后的结果：  
        ![20190314160747343.png][]  
        使用navicat连接 liunx 下的mysql后可看到：  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12][]
    7.  启动Hive 客户端
        
            启动的方式：
            第一种：[root@kd01 conf]# hive
            第二种：[root@kd01 conf]# hive --service cli
        
        结果：  
        ![20190314165555170.png][]

### 五.hive架构说明 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13][]

**说明：**

*  **用户接口：**用户接口主要用三个CLI、Client（beeline）和WUI。
    
    1.  其中最常用的是CLI，cli启动的时候，会同时启动一个Hive副本。命令窗口，类似为cmd
    2.  Client是Hive的客户端，用户连接至Hive Server。在启动Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。
    3.  WUI是通过浏览器访问Hive。
 *  **元数据存储**
    
     *  hive将元数据存储在数据中，如mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
 *  **解释器、编译器、优化器、执行器**
    
     *  解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后由MapReduce调用执行。
 *  **Hadoop**
    
     *  Hive的数据存储在HDFS中，大部分的查询由MapReduce完成（包含\*的查询，比如select \* from tbl 不会生成MapReduce任务）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220323/fb070b80e8ee4fc482f73731142caa1b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220323/179416fef57a4459ab3384a42225dd5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220323/ac7435af3a17461bb0a3afc9459b1bc9.png
[20190125114022171.png]: /images/20220323/19dd50603c644f509d24d4a1f686d146.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220323/aab42ba3fe60425eaff8e097a2c16c5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220323/8d4a4887a7224752aa9e01597773f553.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220323/afac905b66dd4fadb84f02e3a562cbb7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6]: /images/20220323/f07e07942e3e42dd9e34d5c037f12818.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7]: /images/20220323/ceedb4805d9a4401876b3973f2f3039f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8]: /images/20220323/c440a88cfaef46f790597511d8a899d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9]: /images/20220323/38b2a2db9cf64da4a11c464da0bedf4d.png
[hive]: https://www.cnblogs.com/pu20065226/p/9835872.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10]: /images/20220323/f278f4ed2a3044aea80b4e0ec79caee9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11]: /images/20220323/1217aaee50f3428e8c28677951565c38.png
[mysql-5.7.22-liunx-glibc2.12]: https://dev.mysql.com/downloads/file/?id=476936
[mysql-5.7.22-linux-glibc2.12]: https://blog.csdn.net/yiguang_820/article/details/86666893
[Linux MySql5.6.38]: http://www.cnblogs.com/qingyunzong/p/8294876.html
[Link 1]: http://mirror.bit.edu.cn/apache/hive/
[https_www.cnblogs.com_qingyunzong_p_8708057.html]: https://www.cnblogs.com/qingyunzong/p/8708057.html
[20190314151348307.png]: /images/20220323/488487fa7551489d863829342f3361e7.png
[20190314160747343.png]: /images/20220323/259ad805d2fb4d8fad1f7e70d4635b61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12]: /images/20220323/f2e4d61ad54a44a081f6a647b6b5c41d.png
[20190314165555170.png]: /images/20220323/8d5d28f96a4648c9b472795f6281bcde.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13]: /images/20220323/5164c3d887264ce29bf776edcfa34dad.png