Hive环境搭建之本地MySQL模式

一时失言乱红尘 2022-05-08 07:12 296阅读 0赞

Hive共有三种安装模式：1.单用户模式（本地模式、嵌入模式）；2.本地MySQL模式；3.远程MySQL模式。三者的区别是：1.单用户模式是本地模式的一种，它的元信息存储在hive自带的Derby数据库中，同一时刻只能为一个用户提供服务，功能是用于测试hive程序；2.本地MySQL模式的元信息存储在本地MySQL中，同一时刻可以为多个用户提供服务，功能是用于开发测试hive程序；3.远程MySQL模式的元信息存储在远程MySQL中，同一时刻可以为多个用户提供服务，功能是用于实际生产环境。本节首先来介绍一下Hive的本地MySQL模式的搭建过程。

本节用到的安装介质：

[mysql-connector-java-5.1.46.tar.gz][]：[https://pan.baidu.com/s/14QD38aVFM2qJ8HTk0cEvqw][https_pan.baidu.com_s_14QD38aVFM2qJ8HTk0cEvqw]

[apache-hive-3.1.0-bin.tar.gz][]：[https://pan.baidu.com/s/18eyh6uxWoLtBIkg5Qme-cw][https_pan.baidu.com_s_18eyh6uxWoLtBIkg5Qme-cw]

## 1. Linux环境准备（参照[Hadoop][]集群搭建前环境：[https://mp.csdn.net/postedit/82973196][Hadoop]） ##

1台主机，关闭防火墙、设置IP地址、hostname、hosts、配置秘钥认证。

master 192.168.126.110

## 2.安装MySQL ##

2.1安装mysql客户端： \[root@bigdata ~\]\# yum -y install mysql

2.2安装mysql服务器端： \[root@bigdata ~\]\# yum -y install mysql-server

如果安装mysql-server时提示“没有可用包”，解决办法：

2.2.1.下载mysql的repo源：

[root@localhost ~]# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

2.2.2.安装mysql的repo源

[root@localhost ~]# rpm -ivh mysql-community-release-el7-5.noarch.rpm

2.2.3.查看找到的mysql安装源

[root@localhost ~]# ls -1 /etc/yum.repos.d/mysql-community*
    /etc/yum.repos.d/mysql-community.repo
    /etc/yum.repos.d/mysql-community-source.repo

2.2.4.重新安装mysql-server

[root@master ~]# yum install -y mysql-server

2.3启动mysql服务器：

\[root@bigdata ~\]\# service mysqld start

Redirecting to /bin/systemctl start mysqld.service

根据提示也可以使用命令：systemctl start mysqld.service

2.4设置mysql管理员密码：

[root@master~]# mysqladmin -uroot password 123456
    Warning: Using a password on the command line interface can be insecure.
    
    2.5测试登录是否成功：
    [root@bigdata ~]# mysql -uroot -p123456
    Warning: Using a password on the command line interface can be insecure.
    Welcome to the MySQL monitor. Commands end with ; or \g.
    Your MySQL connection id is 3
    Server version: 5.6.39 MySQL Community Server (GPL)
    
    Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
    
    Oracle is a registered trademark of Oracle Corporation and/or its affiliates. 
    Other names may be trademarks of their respective owners.
    
    Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
    
    mysql>

2.6授权root用户：
    mysql> grant all privileges on *.* to root@'%' identified by '123456' with grant option; 
    Query OK, 0 rows affected (0.06 sec) 
    mysql> grant all privileges on *.* to root@'主机名' identified by '123456' with grant option; 
    Query OK, 0 rows affected (0.06 sec) 
    mysql> grant all privileges on *.* to root@'localhost' identified by '123456' with grant option; 
    Query OK, 0 rows affected (0.06 sec) 
    mysql> flush privileges;

2.7加载MySQL连接器

1.上传MySQL连接工具： mysql-connector-java-5.1.46.tar.gz

2.解压：\[root@master src\]\# tar -zxvf mysql-connector-java-5.1.46.tar.gz

3.复制mysql-connector-java-5.1.46-bin.jar到hive的lib目录下：

cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar \
    /usr/local/src/apache-hive-3.1.0-bin/lib/

## 3. Hive安装 ##

3.1上传hive安装包：apache-hive-3.1.0-bin.tar.gz

\[root@master apache-hive-3.1.0-bin\]\# pwd  
/usr/local/src/apache-hive-3.1.0-bin  
3.2解压安装包：

tar -zxvf apache-hive-3.1.0-bin.tar.gz

3.3环境变量配置

\[root@master src\]\# vim /root/.bash\_profile  
\#hive  
HIVE\_HOME=/usr/local/src/apache-hive-3.1.0-bin  
export HIVE\_HOME  
PATH=$HIVE\_HOME/bin:$PATH  
export PATH

使环境变量生效：source  /root/.bash\_profile

4.修改hive配置：

4.1编辑hive-env.sh配置文件：

[root@bigdata conf]# cp hive-env.sh.template hive-env.sh
    [root@bigdata conf]# vim hive-env.sh
    HADOOP_HOME=/usr/local/src/hadoop-2.7.3
    export HIVE_CONF_DIR=/usr/local/src/apache-hive-3.1.0-bin/confexport 
    HIVE_AUX_JARS_PATH=/usr/local/src/apache-hive-3.1.0-bin/lib

创建以下目录备用：
    创建HDFS上的目录： 
    [root@master ~]# hdfs dfs -mkdir -p /hive/warehouse 
    创建本地的目录： 
    [root@master apache-hive-3.1.0-bin]# pwd
    /usr/local/src/apache-hive-3.1.0-bin
    [root@master apache-hive-3.1.0-bin]# mkdir logs 
    [root@master apache-hive-3.1.0-bin]# mkdir tmpdir

4.2编辑hive-site.xml配置文件：

conf]# cp hive-default.xml.template hive-site.xml
    [root@master conf]# vim hive-site.xml
    修改如下配置(加粗斜体文字就是上面建的目录)：
    <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>/hive/warehouse</value>
     <description>location of default database for the warehouse</description>
    </property>
    <property>
     <name>hive.querylog.location</name>
     <value>/usr/local/src/apache-hive-3.1.0-bin/logs</value>
     <description>Location of Hive run time structured log file</description>
    </property>
    <property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
     <description>JDBC connect string for a JDBC metastore</description>
    </property>
    <property>
     <name>javax.jdo.option.ConnectionDriverName</name>
     <value>com.mysql.jdbc.Driver</value>
     <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
     <name>javax.jdo.option.ConnectionUserName</name>
     <value>root</value>
     <description>Username to use against metastore database</description>
    </property>
    <property>
     <name>javax.jdo.option.ConnectionPassword</name>
     <value>123456</value>
     <description>password to use against metastore database</description>
    </property>
    <property>
     <name>hive.metastore.schema.verification</name>
     <value>false</value>
    </property>
    <property>
      <name>datanucleus.schema.autoCreateAll</name>
      <value>true</value>
    </property>
    
    新增两个配置：
    <property>
     <name>system:java.io.tmpdir</name>
     <value>/usr/local/src/apache-hive-3.1.0-bin/tmpdir</value>
     <description>template directory</description>
    </property>
    <property>
     <name>system:user.name</name>
     <value>root</value>
     <description>user name</description>
    </property>

3.4启动Hive：

3.4.1确保Hadoop集群已经成功启动：

\[root@master src\]\# jps  
2627 SecondaryNameNode  
2439 NameNode  
3548 Jps  
2782 ResourceManager  
3.4.2确保MySQL已启动且能成功链接：

\[root@master src\]\# mysql -root -pxxx  
Warning: Using a password on the command line interface can be insecure.  
Welcome to the MySQL monitor.  Commands end with ; or \\g.  
Your MySQL connection id is 2  
Server version: 5.6.41 MySQL Community Server (GPL)

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its  
affiliates. Other names may be trademarks of their respective  
owners.

Type 'help;' or '\\h' for help. Type '\\c' to clear the current input statement.

mysql>  
3.4.3启动hive：

\[root@master ~\]\# hive  
SLF4J: Class path contains multiple SLF4J bindings.  
SLF4J: Found binding in \[jar:file:/usr/local/src/hbase-2.0.1/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class\]  
SLF4J: Found binding in \[jar:file:/usr/local/src/apache-hive-3.1.0-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class\]  
SLF4J: Found binding in \[jar:file:/usr/local/src/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class\]  
SLF4J: See http://www.slf4j.org/codes.html\#multiple\_bindings for an explanation.  
SLF4J: Actual binding is of type \[org.slf4j.impl.Log4jLoggerFactory\]  
SLF4J: Class path contains multiple SLF4J bindings.  
SLF4J: Found binding in \[jar:file:/usr/local/src/apache-hive-3.1.0-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class\]  
SLF4J: Found binding in \[jar:file:/usr/local/src/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class\]  
SLF4J: See http://www.slf4j.org/codes.html\#multiple\_bindings for an explanation.  
SLF4J: Actual binding is of type \[org.apache.logging.slf4j.Log4jLoggerFactory\]  
Hive Session ID = 2a1fb10b-6cfa-4d0a-82c4-95a0f0ad9ce8

Logging initialized using configuration in jar:file:/usr/local/src/apache-hive-3.1.0-bin/lib/hive-common-3.1.0.jar!/hive-log4j2.properties Async: true  
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.  
Hive Session ID = e384b3c2-fc2c-4ca4-93f4-11209f4ed7fe  
hive>

至此，Hive的本地MySQL模式开发环境已经搭建完成！

[mysql-connector-java-5.1.46.tar.gz]: https://pan.baidu.com/s/1JNtCuApoWFCor6HvMcvsrg
[https_pan.baidu.com_s_14QD38aVFM2qJ8HTk0cEvqw]: https://pan.baidu.com/s/14QD38aVFM2qJ8HTk0cEvqw
[apache-hive-3.1.0-bin.tar.gz]: https://pan.baidu.com/s/1WuqjD2450ILdA_YfnuDXmQ
[https_pan.baidu.com_s_18eyh6uxWoLtBIkg5Qme-cw]: https://pan.baidu.com/s/18eyh6uxWoLtBIkg5Qme-cw
[Hadoop]: https://mp.csdn.net/postedit/82973196

发表评论取消回复

表情：

评论列表（有 0 条评论，296人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop-本地模式搭建

![format_png][] 小编先跳过Hadoop的体系结构这段,后续会补上,先将环境搭建写出来,便于大家能够先对Hadoop有个初步认识做准

约定不等于承诺〃/ 2023年06月27日 12:39/ 0 赞/ 100 阅读

相关「初学者商城」- 搭建本地开发环境（MySQL）

1. 下载 -------------------- 1. 官网下载地址：[MySQL][] 2. Mac --------------------

曾经终败给现在/ 2023年06月27日 12:36/ 0 赞/ 32 阅读

相关 DolphinScheduler本地环境搭建

> 环境搭建基本是按照官网的文档。参考链接 [Apache-DolphinScheduler-1.2.1 源码: 编译][Apache-DolphinSchedule

青旅半醒/ 2023年02月16日 06:16/ 0 赞/ 38 阅读

相关配置本地环境之PHP开发环境的搭建

　　PHP下载　　http://www.leemagnum.com/zip/php.zip 　　PHP安装

约定不等于承诺〃/ 2022年09月18日 01:52/ 0 赞/ 255 阅读

相关本地搭建测试环境

步骤和方法: 1、打开控制面板，选择并进入“程序”，双击“打开或关闭Windows服务”如图所示： ![这里写图片描述][20160728151047726] 2

﹏ヽ暗。殇╰゛Y/ 2022年06月03日 01:50/ 0 赞/ 347 阅读

相关分布式Hive环境搭建

分布式搭建hive环境环境准备：系统：Ubuntu 14.04 IP：192.168.110.101 192.168.110.10

绝地灬酷狼/ 2022年05月30日 00:49/ 0 赞/ 224 阅读

相关 Hive环境搭建记录

Hive安装记录 [官方参考地址][Link 1] > Hive是基于Hadoop的,所有使用Hive的必须先安装好Haoop 步骤一先新建几个目录，并且设置权

待我称王封你为后i/ 2022年05月29日 00:42/ 0 赞/ 248 阅读

相关 Hive环境搭建

之前写过一篇分布式Hive环境搭建，但在在后来的新集群中搭建时遇到了新的问题 1、使用新建的数据库用户无法实现hive的启动，元数据schema新建不了，MySQL使用ro

不念不忘少年蓝@/ 2022年05月24日 12:59/ 0 赞/ 199 阅读

相关 Hive环境搭建之本地MySQL模式

Hive共有三种安装模式：1.单用户模式（本地模式、嵌入模式）；2.本地MySQL模式；3.远程MySQL模式。三者的区别是：1.单用户模式是本地模式的一种，它的元信息存储在h

一时失言乱红尘/ 2022年05月08日 07:12/ 0 赞/ 297 阅读

相关 EOS本地环境搭建

1，准备安装环境 1. 8GB的可用内存 2. 20GB的可用磁盘配置不够可以修改eos安装配置以Ubuntu为例 cd /app/myeos/eos/script

小鱼儿/ 2022年04月22日 00:46/ 0 赞/ 348 阅读