Hive安装教程(避坑)

柔情只为你懂 2022-10-30 13:29 196阅读 0赞

# 下载&解压 #

第一步，[Hive官网][Hive]下载apache-hive-3.1.2-bin.tar.gz，其中3.1.2是我下载的版本，你要根据自己的hadoop版本进行适配  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]  
然后，进行解压。

# 配置 #

进入conf目录，将`hive-default.xml.template`进行拷贝，然后重命名为：`hive-site.xml`

下面是几个关键的配置项

<property>
        <name>hive.metastore.db.type</name>
        <value>mysql</value>
        <description>
          Expects one of [derby, oracle, mysql, mssql, postgres].
          Type of database used by the metastore. Information schema ; JDBCStorageHandler depend on it.
        </description>
      </property>
      
      <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of defaultdatabase for the warehouse</description>
      </property>
      <property>
        <name>hive.exec.scratchdir</name>
        <value>/user/hive/tmp</value>
      </property>
      
    
    
      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/usr/local/Cellar/hive/3.1.2/tmp</value>
        <description>Local scratch space for Hive jobs</description>
      </property>
      <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/usr/local/Cellar/hive/3.1.2/resources/${hive.session.id}_resources</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
      </property>
      <property>
        <name>hive.querylog.location</name>
        <value>/usr/local/Cellar/hive/3.1.2/log</value>
        <description>Location of Hive run time structured log file</description>
      </property>
      <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/usr/local/Cellar/hive/3.1.2/operation_logs</value>
        <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
      </property>
      
      
      
      <property>  
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hong123456</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
      </property>

依次说明每个配置项的含义：

1.  hive.metastore.db.type：元数据库的类型，这里我们使用mysql；
2.  hive.metastore.warehouse.dir：hive数据在hdfs存储的目录；
3.  hive.exec.scratchdir：hive临时数据（缓存等）在hdfs存储的目录；
4.  hive.exec.local.scratchdir、hive.downloaded.resources.dir、hive.querylog.location、hive.server2.logging.operation.log.location这几项都是hive运行过程中产生的日志和数据等，在本地机器的存储位置；
5.  javax.jdo.option.ConnectionUserName：元数据库的登陆名；
6.  javax.jdo.option.ConnectionPassword：元数据库对应登陆名的密码；
7.  javax.jdo.option.ConnectionURL：元数据库的URL，host+port+databse
8.  javax.jdo.option.ConnectionDriverName：元数据库的驱动，我的是mysql8，对应这个com.mysql.cj.jdbc.Driver，如果是低版本，则是com.mysql.jdbc.Driver。

# mysql(元数据库)配置 #

如果我们选择了mysql作为元数据库，那么：  
1、将mysql的驱动包**mysql-connector-java-8.0.22.jar**拷贝到hive的lib目录下；  
2、如上，在hive-site.xml中，javax.jdo.option.ConnectionURL配置的是jdbc:mysql://localhost:3306/hive，数据库名为hive，所以，需要在mysql中新建一个数据库hive。

# 启动 #

直接在bin目录下，执行`hive`即可启动。

# 避坑总结 #

1.  在配置hive-site.xml时，不能直接将配置项添加，因为这些配置项本来就是存在的，所以要么是对应配置项进行修改，要么将对应的配置项删除或注释。
2.  在配置mysql驱动时，mysql8的驱动jar包是com.mysql.cj.jdbc.Driver；
3.  Underlying cause: java.sql.SQLException : Access denied for user ‘root’@‘localhost’ (using password: YES)：mysql的权限问题
    
    如果是mysql8，需要分步执行：
    
        #创建账户
        create user 'root'@'localhost' identified by 'password' #赋予权限 grant all privileges on *.* to 'root'@'localhost' with grant option
        
        #刷新使权限立即生效
        flush privileges;
    
    如果是低版本的mysql：
    
        grant all privileges on *.* to 'root'@'localhost' identified by '123456';
4.  Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: $\{system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D  
    这个也是hive-site.xml里面的配置内容，主要关于本地hive数据和文件的存储目录。
    
    你搜索“system:java.io”，然后将目录重新配置一下即可。

[Hive]: https://hive.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]: /images/20221024/eebadd2ec8d143d187679c4846d4282c.png