Python 3 使用Hive 总结

曾经终败给现在 2023-10-14 21:26 55阅读 0赞

## 启动HiveServer2 服务 ##

HiveServer2 是一种可选的 Hive 内置服务，可以允许远程客户端使用不同编程语言向 Hive 提交请求并返回结果。

### Thrift服务配置 ###

假设我们已经成功安装了 Hive，如果没有安装，请参考：[Hive 一文读懂][Hive] 。在启动 HiveServer2 之前，我们需要先进行一些配置：

<table> 
 <thead> 
 <tr> 
 <th> 配置项 </th> 
 <th> 默认值 </th> 
 <th> 说明 </th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td> hive.server2.transport.mode </td> 
 <td> binary </td> 
 <td> HiveServer2 的传输模式，binary或者http </td> 
 </tr> 
 <tr> 
 <td> hive.server2.thrift.port </td> 
 <td> 10000 </td> 
 <td> HiveServer2 传输模式设置为 binary 时，Thrift 接口的端口号 </td> 
 </tr> 
 <tr> 
 <td> hive.server2.thrift.http.port </td> 
 <td> 10001 </td> 
 <td> HiveServer2 传输模式设置为 http 时，Thrift 接口的端口号 </td> 
 </tr> 
 <tr> 
 <td> hive.server2.thrift.bind.host </td> 
 <td> localhost </td> 
 <td> Thrift服务绑定的主机 </td> 
 </tr> 
 <tr> 
 <td> hive.server2.thrift.min.worker.threads </td> 
 <td> 5 </td> 
 <td> Thrift最小工作线程数 </td> 
 </tr> 
 <tr> 
 <td> hive.server2.thrift.max.worker.threads </td> 
 <td> 500 </td> 
 <td> Thrift最大工作线程数 </td> 
 </tr> 
 <tr> 
 <td> hive.server2.authentication </td> 
 <td> NONE </td> 
 <td> 客户端认证类型，NONE、LDAP、KERBEROS、CUSTOM、PAM、NOSASL </td> 
 </tr> 
 <tr> 
 <td> hive.server2.thrift.client.user </td> 
 <td> anonymous </td> 
 <td> Thrift 客户端用户名 </td> 
 </tr> 
 <tr> 
 <td> hive.server2.thrift.client.password </td> 
 <td> anonymous </td> 
 <td> Thrift 客户端密码 </td> 
 </tr> 
 </tbody> 
</table>

### 启动HiveServer2 服务 ###

方式一：$HIVE\_HOME/bin/hiveserver2

[root@Hadoop3-master bin]# hiveserver2
    2023-08-16 23:14:00: Starting HiveServer2
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
    Hive Session ID = 0ba8eb07-5f63-43a1-aa4d-61954f6e244f

方式二：$HIVE\_HOME/bin/hive --service hiveserver2

#### 检查 HiveServer2 是否启动成功 ####

netstat -nl | grep 10000

#### 启动 hiveserver2 ，访问Hive 管理平台 ####

默认访问地址：[http://192.168.43.11:10002/][http_192.168.43.11_10002]

效果截图：

![1d6bc306681b4539aa991367db87d82d.png][]

## Python 连接Hive ##

**依赖的第三方库包**

pip install sasl
    pip install thrift
    pip install thrift-sasl
    pip install PyHive

温馨提示：首先是pyhive的安装：pyhive这个包依 赖于sasl，thrift,thrift-sasl这三个包。

### 安装Sasl 库表包遇到的问题 ###

![41786e82cb264c63b1fab60cbed48ec6.png][]

造成错误的原因是:

saslwrapper.cpp
          C:\Users\zzg\AppData\Local\Temp\pip-install-1vw7hyr4\sasl_05859569d9c14648abbe3a8901ed3627\sasl\saslwrapper.h(22): fatal error C1083: 无法打开包括文件: “sasl/sasl.h”: No such file or directory

saslwrapper.cpp 文件中无法找到sasl/sasl.h 头文件。

#### Google 和百度的解决办法 ####

通过加利福利亚大学的的镜像地址: [https://www.lfd.uci.edu/~gohlke/pythonlibs/\#sasl][https_www.lfd.uci.edu_gohlke_pythonlibs_sasl] ，下载sasl.whl 文件。情况：现在的情况是网站已经被关闭。

通过清华大学的镜像地址：[https://pypi.tuna.tsinghua.edu.cn/simple/sasl/][https_pypi.tuna.tsinghua.edu.cn_simple_sasl] ，下载sasl.whl 文件。情况：没有Python-3.10 且支持windows 64 架构的库包。

![068f28e62b2449579f049a03c4953479.png][]

温馨提示：清华的镜像地址提供关于sasl.whl 内容主要包含:

*  支持python-3.5.0 至python-3.9.0 版本且系统架构仅支持Linux 架构。
 *  提供sasl第三方库源码：支持0.1.1 至0.3.1

#### 编译Sasl-0.3.1 源码，生成Sasl.whl 文件 ####

通过清华镜像下载Sasl 源码，解压后的效果截图：

![63029e5a6560476e9a215ff9e6e196af.png][]

> 切换至Sasl 源码，执行指令:python setup.py bdist\_wheel

![349abe34314648668aa8358eb93334a8.png][]

源码编译的错误与pip 安装sasl 库一样。

### 借鉴其他安装Sasl成功 ###

**环境说明：**

python版本为python 3.[10][]

cp310:表示为python的版本，为python 3 10的

win\_amd64:表示为驱动为[windows][] 64位的驱动

对应sasl.whl 包 = **sasl-0.3.1-cp310-cp310-win\_amd64.whl**

**执行如下指令：**

pip install  sasl-0.3.1-cp310-cp310-win_amd64.whl

![1d07171e66f04c1d8edaaab3ed6ef33c.png][]

安装thrift

pip install thrift

![0de47bc68c8b4dca8ba2aec7e61183dc.png][]

安装thrift\_sasl

pip install thrift_sasl

![5763ecb006324505b612125c35cbdb83.png][]

安装pyHive

pip install pyhive

![2f23dd2f5b55491f986ad9b2c701d4c4.png][]

### Python 连接Hive 代码 ###

from pyhive import hive
     
    # 读取数据
    def select_pyhive(sql):
        # 创建hive连接
        conn = hive.Connection(host='192.168.43.11', port=10000, username='默认', database='user')
        cur = conn.cursor()
        try:
            #c = cur.fetchall()
            df = pd.read_sql(sql, conn)
            return df
        finally:
            if conn:
                conn.close()
     
    sql = "show databases"
    df = select_pyhive(sql)

[Hive]: https://blog.csdn.net/zhouzhiwengang/article/details/129228750?spm=1001.2014.3001.5501
[http_192.168.43.11_10002]: http://192.168.43.11:10002/
[1d6bc306681b4539aa991367db87d82d.png]: https://img-blog.csdnimg.cn/1d6bc306681b4539aa991367db87d82d.png
[41786e82cb264c63b1fab60cbed48ec6.png]: https://img-blog.csdnimg.cn/41786e82cb264c63b1fab60cbed48ec6.png
[https_www.lfd.uci.edu_gohlke_pythonlibs_sasl]: https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl
[https_pypi.tuna.tsinghua.edu.cn_simple_sasl]: https://pypi.tuna.tsinghua.edu.cn/simple/sasl/
[068f28e62b2449579f049a03c4953479.png]: https://img-blog.csdnimg.cn/068f28e62b2449579f049a03c4953479.png
[63029e5a6560476e9a215ff9e6e196af.png]: https://img-blog.csdnimg.cn/63029e5a6560476e9a215ff9e6e196af.png
[349abe34314648668aa8358eb93334a8.png]: https://img-blog.csdnimg.cn/349abe34314648668aa8358eb93334a8.png
[10]: https://so.csdn.net/so/search?q=10&spm=1001.2101.3001.7020
[windows]: https://so.csdn.net/so/search?q=windows&spm=1001.2101.3001.7020
[1d07171e66f04c1d8edaaab3ed6ef33c.png]: https://img-blog.csdnimg.cn/1d07171e66f04c1d8edaaab3ed6ef33c.png
[0de47bc68c8b4dca8ba2aec7e61183dc.png]: https://img-blog.csdnimg.cn/0de47bc68c8b4dca8ba2aec7e61183dc.png
[5763ecb006324505b612125c35cbdb83.png]: https://img-blog.csdnimg.cn/5763ecb006324505b612125c35cbdb83.png
[2f23dd2f5b55491f986ad9b2c701d4c4.png]: https://img-blog.csdnimg.cn/2f23dd2f5b55491f986ad9b2c701d4c4.png