CentOs7 Hadoop-3.0.3 搭建Hive-2.3.5

一时失言乱红尘 2023-10-18 20:56 6阅读 0赞

**Hive 简介：**

Hive 是建立在 Hadoop 基础上的数据仓库处理工具，使用类SQL 的HiveQL 语言实现数据查询，所有Hive 的数据都存储在Hadoop 兼容的文件系统（例如，Amazon S3、HDFS）中。Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中Hive 设定的目录下，因此，Hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。

Hive 的设计特点如下：  
● 支持索引，加快数据查询。  
● 支持不同的存储类型，例如，纯文本文件、HBase 中的文件。  
● 将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。  
● 可以直接使用存储在Hadoop 文件系统中的数据。  
● 内置大量用户函数UDF 来操作时间、字符串和其他的数据挖掘工具，支持用户扩展UDF 函数来完成内置函数无法实现的操作。  
● 类SQL 的查询方式，将SQL 查询转换为 MapReduce 的job 在Hadoop集群上执行。

第一步：Hive 安装配置

Hive 官网地址：[http://hive.apache.org/downloads.html][http_hive.apache.org_downloads.html]

1、\[官网\]\[1\]下载Hive，我这里选择的是2.3.5版本

2、通过FTP（WinSCP,FileZilla等）工具上传到指令目录 /usr/local/hadoop

3、使用解压命令解压到当前目录并对文件夹重新命令:

tar zxvf apache-hive-2.3.5-bin.tar.gz #解压
    mv apache-hive-2.3.5-bin hive-2.3.5   #文件夹重命名

4、Hive 配置全局环境变量

在 /etc/profile 配置文件中添加 Hive 环境变量，内容如下：

export HIVE_HOME=/usr/local/hadoop/hive-2.3.5
    export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin

执行source /etc/profile,使配置的全局环境变量生效。

5、创建hive-site.xml 文件

[root@master hive-2.3.5]# cd conf   #进入Hive-2.3.5安装目录的conf 配置文件夹
    [root@master conf]# pwd
    /usr/local/hadoop/hive-2.3.5/conf
    [root@master conf]# ls -a
    .                                   hive-default.xml.template             hive-log4j2.properties.template      llap-daemon-log4j2.properties.template
    ..                                  hive-env.sh.template                  ivysettings.xml                      parquet-logging.properties
    beeline-log4j2.properties.template  hive-exec-log4j2.properties.template  llap-cli-log4j2.properties.template
    [root@master conf]# cp hive-default.xml.template hive-site.xml #以hive-default.xml.template 创建hive-site.xml 文件

6、在HDFS中创建Hive所需目录

由于在 **hive-site.xml** 中有如下默认配置：

<property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
      </property>
     <property>
        <name>hive.exec.scratchdir</name>
        <value>/tmp/hive</value>
        <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. </description>
      </property>

我们需要在HDFS中创建好相应的目录，操作命令如下：

[root@master /]# hadoop fs -mkdir -p /user/hive/warehouse
    [root@master /]# hadoop fs -chmod -R 777 /user/hive/warehouse
    [root@master /]# hadoop fs -mkdir -p /tmp/hive
    [root@master /]# hadoop fs -chmod -R 777 /tmp/hive
    [root@master /]# hadoop fs -ls /
    Found 3 items
    drwxr-xr-x   - root supergroup          0 2019-07-03 09:43 /hadoop
    drwx------   - root supergroup          0 2019-07-03 16:00 /tmp
    drwxr-xr-x   - root supergroup          0 2019-07-03 15:55 /user
    [root@master /]# hadoop fs -ls /tmp/
    Found 2 items
    drwx------   - root supergroup          0 2019-07-03 09:25 /tmp/hadoop-yarn
    drwxrwxrwx   - root supergroup          0 2019-07-03 16:00 /tmp/hive
    [root@master /]# hadoop fs -ls /user/hive/
    Found 1 items
    drwxrwxrwx   - root supergroup          0 2019-07-03 15:56 /user/hive/warehouse

7、配置hive-site.xml(配置Hive临时目录和Hive用户名)

将 hive-site.xml 文件中的 $\{system:java.io.tmpdir\} 替换为hive的本地临时目录，例如我使用的是 /usr/local/hadoop/hive-2.3.5/tmp ，如果该目录不存在，需要先进行创建，并且赋予读写权限。

[root@master hive-2.3.5]# mkdir tmp #创建tmp 临时目录
    [root@master hive-2.3.5]# ls -a
    .  ..  bin  binary-package-licenses  conf  examples  hcatalog  jdbc  lib  LICENSE  NOTICE  RELEASE_NOTES.txt  scripts  tmp
    [root@master hive-2.3.5]# chmod -R 777 tmp #临时目录tmp,相关权限调整
    [root@master hive-2.3.5]# pwd
    /usr/local/hadoop/hive-2.3.5

将 hive-site.xml 文件中的 $\{system:user.name\} 替换为操作Hive的账户的用户名，例如我的是 root

![2019070317132988.png][]

8、修改Hive数据库配置

在 hive-site.xml 中，与Hive数据库相关的配置有如下几个：

![2019070317160977.png][]

将Derby数据库切换为MySQL8数据库的话，只需要修改以上4项配置，如下是我修改的配置：

<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://***.***.*.**:3306/hive?createDatabaseIfNotExist=true&serverTimezone=UTC&useSSL=false&allowPublicKeyRetrieval=true</value>
        <description>
          JDBC connect string for a JDBC metastore.
          To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
          For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
        </description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>Username to use against metastore database</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>*****</value>
        <description>password to use against metastore database</description>
      </property>

此外，还需要将MySQL8的驱动包拷贝到Hive安装目录的lib目录中：mysql-connector-java-8.0.13.jar

9、配置hive-env.sh

进入Hive 安装目录的conf 文件夹，以hive-env.sh.template 文件为模板创建hive-env.sh 文件。

[root@master hive-2.3.5]# cd conf
    [root@master conf]# ls -a
    .                                   hive-default.xml.template             hive-log4j2.properties.template  llap-cli-log4j2.properties.template
    ..                                  hive-env.sh.template                  hive-site.xml                    llap-daemon-log4j2.properties.template
    beeline-log4j2.properties.template  hive-exec-log4j2.properties.template  ivysettings.xml                  parquet-logging.properties
    [root@master conf]# cp hive-env.sh.template hive-env.sh
    [root@master conf]# vi hive-env.sh

编辑hive-env.sh 文件，添加如下内容：

# Set HADOOP_HOME to point to a specific hadoop install directory
    # HADOOP_HOME=${bin}/../../hadoop
    export HADOOP_HOME=/usr/local/hadoop/hadoop-3.0.3 #hadoop 安装目录
    
    # Hive Configuration Directory can be controlled by:
    # export HIVE_CONF_DIR=
    export HIVE_CONF_DIR=/usr/local/hadoop/hive-2.3.5/conf #hive 配置文件目录
    
    
    # Folder containing extra libraries required for hive compilation/execution can be controlled by:
    # export HIVE_AUX_JARS_PATH=
    export HIVE_AUX_JARS_PATH=/usr/local/hadoop/hive-2.3.5/lib #hive 依赖jar包目录

10、Hive 数据库初始化、启动和测试

MySQL8 初始化Hive 数据库

[root@master bin]# schematool -initSchema -dbType mysql
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/hive-2.3.5/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/hadoop-3.0.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
    Metastore connection URL:	 jdbc:mysql://192.168.1.73:3306/hive?createDatabaseIfNotExist=true&serverTimezone=UTC&useSSL=false&allowPublicKeyRetrieval=true
    Metastore Connection Driver :	 com.mysql.cj.jdbc.Driver
    Metastore connection User:	 root
    Starting metastore schema initialization to 2.3.0
    Initialization script hive-schema-2.3.0.mysql.sql
    Initialization script completed
    schemaTool completed

数据库初始化完成之后，会在MySQL8数据库里生成如下metadata表用于存储Hive的元数据信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70][]

Hive 服务启动：

切换至Hive 安装目录的bin 文件夹中，执行./hive 指令：

[root@master bin]# ls -a
    .  ..  beeline  derby.log  ext  hive  hive-config.sh  hiveserver2  hplsql  metastore_db  metatool  schematool
    [root@master bin]# ./hive #启动hive 服务
    which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_181-amd64/bin:/usr/java/jdk1.8.0_181-amd64/jre/bin:/usr/local/hadoop/hadoop-3.0.3/bin:/usr/local/hadoop/sqoop-1.4.7/bin:/root/bin:/usr/java/jdk1.8.0_181-amd64/bin:/usr/java/jdk1.8.0_181-amd64/jre/bin:/usr/local/hadoop/hadoop-3.0.3/bin:/usr/local/hadoop/sqoop-1.4.7/bin:/user/local/zookeeper/zookeeper-3.4.12/bin:/usr/java/jdk1.8.0_181-amd64/bin:/usr/java/jdk1.8.0_181-amd64/jre/bin:/usr/local/hadoop/hadoop-3.0.3/bin:/usr/local/hadoop/sqoop-1.4.7/bin:/usr/local/zookeeper/zookeeper-3.4.12/bin:/usr/local/hadoop/hive-2.3.5/bin)
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/hive-2.3.5/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/hadoop-3.0.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
    
    Logging initialized using configuration in jar:file:/usr/local/hadoop/hive-2.3.5/lib/hive-common-2.3.5.jar!/hive-log4j2.properties Async: true
    Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
    hive> show functions; #查看hive 所支持的函数
    OK
    !
    !=
    $sum0
    %
    &
    *
    +
    -
    /
    hive> desc function sum; #查看sum 函数描述
    OK
    sum(x) - Returns the sum of a set of numbers
    Time taken: 0.008 seconds, Fetched: 1 row(s)
    hive> exit; # hive 服务退出

Hive 功能测试：

在本机的数据存储目录(/usr/local/data)中，新增user\_sample.txt 文本，数据内容如下：

0612,Terry,M,22
    0613,Sherry,F,22
    0614,Smith,M,25
    0615,Tracy,F,24
    0616,Lucy,F,19
    0617,Sherry,F,23

执行新建库、表以及导入数据测试

# 创建数据库测试
    hive> create database user_test;
    OK
    Time taken: 5.633 seconds
    # 切换数据库
    hive> use user_test;
    OK
    Time taken: 0.021 seconds
    # 创建数据表测试
    hive> create table user_sample
    ( 
    user_num bigint, 
    user_name string, 
    user_gender string, 
    user_age int
    ) row format delimited fields terminated by ','; 
    OK
    Time taken: 0.645 seconds
    # 从本地主机上加载数据到hive
    hive> load data local inpath '/home/hadoop/user_sample.txt' into table user_sample;
    Loading data to table user_test.user_sample
    OK
    Time taken: 0.589 seconds
    # 查看加载内容
    hive> select * from user_sample;
    OK
    612    Terry    M    22
    613    Sherry    F    22
    614    Smith    M    25
    615    Tracy    F    24
    616    Lucy    F    19
    617    Sherry    F    23
    Time taken: 0.173 seconds, Fetched: 6 row(s)

遇到的问题：Unexpected character '=' (code 61); expected a semi-colon after the reference for entity 'useUnicode

原因：hive-site.xml文件中不能使用&，要使用他的转义&来代替

错误代码片段：

<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.1.73:3306/hive?createDatabaseIfNotExist=true&serverTimezone=UTC&useSSL=false&allowPublicKeyRetrieval=true</value>
        <description>
          JDBC connect string for a JDBC metastore.
          To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
          For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
        </description>
      </property>

修正代码片段：

[http_hive.apache.org_downloads.html]: http://hive.apache.org/downloads.html
[2019070317132988.png]: https://img-blog.csdnimg.cn/2019070317132988.png
[2019070317160977.png]: https://img-blog.csdnimg.cn/2019070317160977.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190703172724718.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70