CDH 中配置Hive 的辅助 JAR 目录

╰+哭是因爲堅強的太久メ 2021-12-24 07:29 475阅读 0赞

方法一：

1.  分别在 HiveServer2 和 WebHCat Server 所在的服务器上创建 /etc/hive/auxlib 目录
    
        [root@cdh01 hive]# hostname
        cdh01.cnyimi.cn
        [root@cdh01 hive]# pwd
        /etc/hive
        [root@cdh01 hive]# ll
        总用量 0
        drwxr-xr-x 2 root root   6 6月  26 21:52 auxlib
        lrwxrwxrwx 1 root root  27 6月  26 21:56 conf -> /etc/alternatives/hive-conf
        drwxr-xr-x 2 root root 326 6月  26 21:56 conf.cloudera.hive
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70]  
    如果没有在 HiveServer2 或 WebHCat Server 所在的服务器创建的该目录，重启时会报以下异常。
    
        ...
        + ERROR: HIVE_AUX_JARS_PATH is configured in Cloudera Manager as /etc/hive/auxlib. 
           However directory /etc/hive/auxlib does not exist. 
           When configured, directory specified in HIVE_AUX_JARS_PATH must be created and managed manually before starting Hive.
        ...
2.  Hive --> 配置 --> 搜索 jar
    
        /etc/hive/auxlib
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 1]
3.  Hive --> 配置 --> 搜索 [hive-env.sh][]
    
        HIVE_AUX_JARS_PATH=/etc/hive/auxlib
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 2]
4.  重启 Hive
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 3]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 4]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 5]

**方法二**

1.  分别在 HiveServer2 和 Hive Metastore Server 所在的服务器上创建 Jar 存放目录
    
        [root@cdh01 lib]# pwd;ll
        /data/hive/lib
        总用量 84
        -rw-r--r-- 1 root root 82101 6月  27 20:53 json-serde-1.3.7-jar-with-dependencies.jar
    
    **注意：**  
    如果 Hive Metastore 与 HiveServer2 不在同另一台主机上，那么要在这两台机器上创建相同的目录，但是 JAR 文件需要上传到 HiveServer2 主机上。
2.  Hive -> 配置 -> 搜索 hive-site.xml
    
        <property>
            <name>hive.reloadable.aux.jars.path</name>
            <value>/data/hive/lib</value>
            <description>Path to Hive UDF JAR files.</description>
        </property>
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 6]
3.  部署客户端配置，重启 Hive。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 7]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 8]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 9]

**优缺点：**

方法一方式设置 Hive CLI 和 Beeline(需重启Hive服务) 均适用，但是目录位置必须为 `/etc/hive/auxlib`。

方法二方式设置只对 Beeline 适用，Hive CLI 方式无法识别 Jar 包，优点在于目录位置可以随意指定，使用时需要执行执行 `RELOAD` 命令(好像要执行两次)即可加载到新增 Jar 包。

参考 CDH 官方文档：[https://www.cloudera.com/documentation/enterprise/latest/topics/cm\_mc\_hive\_udf.html][https_www.cloudera.com_documentation_enterprise_latest_topics_cm_mc_hive_udf.html]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70]: /images/20211223/b8349445f77b455e9a8f0b4839433ae0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 1]: /images/20211223/eb61497be19b4bceb02712ea82245d04.png
[hive-env.sh]: http://hive-env.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 2]: /images/20211223/a6361cf3de6648b8883582aaf2a30461.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 3]: /images/20211223/eb9fc86feb464743918da6deaf1a53e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 4]: /images/20211223/f7f5dfd16c4e4a61ac8d4a881bcba67d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 5]: /images/20211223/3ac40029c49945c2898dfbe0f1ec21bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 6]: /images/20211223/3808dadc937d4dcb96986a545307d45c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 7]: /images/20211223/274194a748ce4ec3836cd262c341e8b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 8]: /images/20211223/a9421389aea544989e380aad455d0a81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA_size_16_color_FFFFFF_t_70 9]: /images/20211223/7750430788234c91b6684896a4a8111a.png
[https_www.cloudera.com_documentation_enterprise_latest_topics_cm_mc_hive_udf.html]: https://www.cloudera.com/documentation/enterprise/latest/topics/cm_mc_hive_udf.html