阿里云ECS7安装搭建：hive-2.1.1客户端

不念不忘少年蓝@ 2022-01-29 23:13 216阅读 0赞

### 简介 ###

*  hive在hadoop大数据生态里面，主要用于hdfs上的数据的统计查询，与hbase形成互补关系，但查询时间会相对较慢；
 *  搭建hive客户端前提环境：

1.  已经安装hadoop集群，可参考上一篇博客：[hadoop集群安装搭建][hadoop]；
2.  已经有安装好的mysql数据库(可以是本机也可以是其他服务器)，同时下载mysql驱动：[mysql-connector-java-6.0.5.jar][]；
3.  下载hive-2.1.1安装包：[apache-hive-2.1.1-bin.tar.gz][]；

*  版本配置：**hadoop2.7.6；hive2.1.1**

### 实践 ###

*  首先，下载hive安装包，然后上传到linux服务器指定文件夹，解压并重命名：/data/hadoop/hive；

#解压
    $ tar -xzvf apache-hive-2.1.1-bin.tar.gz
    
    #重命名
    $ mv apache-hive-2.1.1-bin hive

*  设置hive的环境变量，流程和hadoop差不多；

#切换root用户
    $ su root
    
    #编辑系统文件
    $ vim /etc/profile
    
    #添加hive环境变量
    export HADOOP_HOME=/data/hadoop/hadoop/hadoop
    export HIVE_HOME=/data/hadoop/hive/hive
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
    
    #使立即生效
    $ source /etc/profile

*  切换到conf配置目录：cd /data/hadoop/hive/hive/conf；
 *   复制以及重命名三个文件 ：hive-site.xml，hive-env.sh，hive-log4j2.properties；

cp hive-default.xml.template hive-site.xml
    cp hive-env.sh.template  hive-env.sh
    cp hive-log4j2.properties.template hive-log4j2.properties

*  修改hive-site.xml文件(由于文件内的配置属性很多，所以抽取其中需要重点配置的几个属性，可以复制之后替换掉相同的配置)；

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/data/hadoop/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
    </property>
    <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/data/hadoop/hive/tmp</value>
    <description>Local scratch space for Hive jobs</description>
    </property>
    <property>
    <name>hive.server2.webui.port</name>
    <value>9020</value>
    <description>The port the HiveServer2 WebUI will listen on. This can beset to 0 or a negative integer to disable the web UI</description>
    </property>
    <property>
    <name>hive.server2.thrift.http.port</name>
    <value>9021</value>
    <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'http'.</description>
    </property>  
    <property>
    <name>hive.server2.thrift.port</name>
    <value>9019</value>
    <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
    </property>  
    <property>
    <name>hive.metastore.uris</name>
    <value/>
    
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
    <property>
    <name>hive.exec.temporary.table.storage</name>
    <value>hive</value>
    </property>    
    <property>
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:mysql://47.100.100.100:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    <description>password to use against metastore database</description>
    </property>
    <property>
    <name>hive.querylog.location</name>
    <value>/data/hadoop/hive/hive/logs</value>
    <description>Location of Hive run time structured log file</description>
    </property>
    <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/data/hadoop/hive/hive/logs</value>
    
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
    </property> 
    <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/data/hadoop/hive/hive/dir</value>
    
    <description>Temporary local directory for added resources in the remote file system.</description>
    </property>  
    
    <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
    </property>  
    <property>
    <name>hive.zookeeper.quorum</name>
     <value>hadoop-master,hadoop-slave</value>
    </property>
    <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
    </property>

*  修改hive-env.sh文件：

#设置hadoop环境变量根目录
    HADOOP_HOME=/data/hadoop/hadoop/hadoop
    #设置hbase环境变量根目录（如果不需要配置hive与hbase互通则不需要配置此选项）
    #HBASE_HOME=/data/hadoop/hbase/hbase
    
    #设置hive的配置文件的路径
    export HIVE_CONF_DIR=/data/hadoop/hive/hive/conf
    
    #设置hive需要加载的驱动的路径
    export HIVE_AUX_JARS_PATH=/data/hadoop/hive/hive/lib

*  修改hive-log4j2.properties，该文件用户设置hive启动日志，可查看启动详情：

property.hive.log.dir = /data/hadoop/hive/logs

*  将mysql的驱动包放到hive/lib目录下，用于初始化mysql数据库，作为元数据存储地址：mysql-connector-java-6.0.5.jar；
 *  启动hvie：

1.  初始化mysql数据库，在bin目录下执行：schematool   -initSchema  -dbType  mysql；![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70][]
2.  初始化成功之后，可以在数据库内看到已经生成了很多默认的表(其中DBS可以看到默认的数据库以及创建的其他数据库)；![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 1][]
3.  启动hive，由于已经配置了环境变量，在任意目录都可启动hive，但一般切换到bin目录下启动，启动日志可在hive-log4j2.properties指定输出的目录下查看；

#切换到bin目录：
    $ cd /data/hadoop/hive/hive/bin
    
    #直接启动：
    #启动metastore：
    $ hin/hive --service metastore 
    #启动hiveServer2：
    $ bin/hive --service hiveserver2 
    
    #后台启动，用nohup和&来守护hive的后台进程，启动目录下也有nohup.out启动日志：
    #启动metastore：
    $ nohup hive --service metastore &
    #启动hiveServer2： 
    $ nohup hive --service hiveserver2 &
    
    #查看进程是否启动成功，如果启动成功则会有两个进程：
    $ ps -aux|grep hive

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 2][]

*   进入hive的命令行模式，执行命令：hive，hive的命令和sql类似，可自行测试；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 3][]

*   hive基础常用命令：

#新建普通表
    $ hive>create external table if not exists membertable(
        > name string comment 'name value',
        > sex string comment 'sex value',
        > age string comment 'age value')
        > row format delimited
        > fields terminated by '\t'
        > lines terminated by '\n'
        > stored as textfile;
    
    #查看数据库
    $ hive>show databases;
    
    #查看所有表：
    $ hive>show tables;
    
    #删除表：
    $ hive>drop table membertable;
    
    #查询表所有信息：
    $ hive>select * from membertable;
    
    #切换数据库：
    $ hive>use sixmonth;
    
    #查看数据库信息：
    $ hive>describe database default; 
    
    #显示当前使用的数据库：
    $ hive>set hive.cli.print.current.db=true; 
    
    #创建新的数据库：
    $ hive>create database master; 
    
    #删除数据库：
    $ hive>drop database if exists dbname cascade;
    
    #查看所有函数：
    $ hive>show functions;

*   关闭hive，查看hive进程，杀死所有进程；

查看进程：
    $ ps -aux|grep hive 
    
    杀死进程：
    $ kill -9 进程号

###  注意事项 ###

1.  由于已经配置了外用端口9019，则需要在阿里云控制台开放端口安全组：9019；
2.  如果启动不成功或者连接失败，则可以切换到hive-log4j2.properties指定的启动日志，查看具体的报错信息，针对性解决；
3.  hive和hbase都属于hadoop大数据生态的一员，数据操作是可以互通的，具体可参考博主的另一篇博客：[Hadoop大数据生态：hive与hbase整合][Hadoop_hive_hbase]；

### 总结 ###

1.  hive在统计方面有独特的优势，它与sql工具整合起来，hql基本与sql类似，与jdbc兼容，可以帮助熟悉sql的人运行MapReduce任务；
2.  hive的客户端搭建并不复杂，它与hbase不同，不需要搭建成集群也可以直接拆包使用；
3.  实践是检验认识真理性的唯一标准，自己动手，丰衣足食~~

[hadoop]: https://blog.csdn.net/alan_liuyue/article/details/89921640
[mysql-connector-java-6.0.5.jar]: https://download.csdn.net/download/alan_liuyue/10174443
[apache-hive-2.1.1-bin.tar.gz]: http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70]: /images/20220130/3570f5b5201e45ec8bc8a1c6ff1ac570.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 1]: /images/20220130/a742de54bc5e4229ae75ee335176de5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 2]: /images/20220130/ea0dbd676b4f4999a820ffe01bb20c68.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYW5fbGl1eXVl_size_16_color_FFFFFF_t_70 3]: /images/20220130/5db5919af032450ba0cc35d1ed31565d.png
[Hadoop_hive_hbase]: https://blog.csdn.net/alan_liuyue/article/details/90297320