Python使用pyhive库远程操作hive的配置和使用

浅浅的花香味﹌ 2022-12-23 00:42 321阅读 0赞

请先安装好hive，[林子雨老师的配置方法][Link 1]，该配置方法是可以配置成功的，请注意配置hive-site.xml文件的时候，里面添加的信息都是在标签里的尾部添加

### 配置hive环境 ###

到hive安装的conf目录下，把`hive-env.sh.template`复制一份并改名为`hive-env.sh`

cd /usr/local/hive/conf/
    cp hive-env.sh.template hive-env.sh

然后配置`hive-env.sh`文件，进入里面会发现里面都是被注释了的。

使用命令`vim /usr/local/hive/conf/hive-env.sh`进入里面配置，添加的内容如下。当然，具体路径要看自己情况。第一个是Hadoop的安装目录，第二个是JDK的安装目录，第三个是hive的配置目录

HADOOP_HOME=/usr/local/hadoop
    JAVA_HOME=/usr/lib/jvm/jdk1.8.0_261
    export HIVE_CONF_DIR=/usr/local/hive/conf

然后配置hive-site.xml文件，添加的内容如下

使用命令`vim /usr/local/hive/conf/hive-site.xml`进入里面配置，在标签里的尾部添加如下内容。注意：下面的**zhong**和**123456**是用来登陆hive的账号和密码，连接时会使用到；NOSASL是登陆验证方式，在连接的时候会使用到

<property>
        <name>hive.server2.thrift.client.user</name>
        <value>zhong</value>
        <description>Username to use against thrift client</description>
      </property>
      <property>
        <name>hive.server2.thrift.client.password</name>
        <value>123456</value>
        <description>Password to use against thrift client</description>
      </property>
      <property>
            <name>hive.server2.authentication</name>
            <value>NOSASL</value>
      </property>
      <property>
        <name>hive.auto.convert.join</name>
        <value>false</value>
      </property>

在Hadoop的**core-site.xml**文件中的标签内的尾部添加以下内容，要**注意**两点，下面配置中的两个`zhong`是我登陆Hadoop的用户名，一般就是用户名，如果你像网上那样建议配置Hadoop，那么你可能使用的用户名是hadoop。请替换为你的登陆名。`hive.auto.convert.join`为`false`如果没有配置该条，远程连接操作时可以新建数据库和表，但是不能插入语句，具体原因在这里可以看到[http://www.voidcn.com/article/p-cnbletfe-no.html][http_www.voidcn.com_article_p-cnbletfe-no.html]

使用命令`vim /usr/local/hadoop/etc/hadoop/core-site.xml`打开文件。  
**hadoop.proxyuser.zhong.hosts** 配置hadoop的代理用户，主要是用于让hiveserver2客户端访问及操作hadoop文件具备权限。另一个是组，也是同样的原理

<property>
                     <name>hadoop.proxyuser.zhong.hosts</name>
                     <value>*</value>
             </property>
             <property>
                     <name>hadoop.proxyuser.zhong.groups</name>
                     <value>*</value>
             </property>

### 开启Hadoop和hive ###

在Ubuntu开启Hadoop和hive

# 到hadoop的命令目录下运行开启dfs的脚本，如果你已将该目录加入到PATH路径下，那么就可以直接start-dfs.sh，而不需要打开目录然后运行shell脚本
    cd  /usr/local/hadoop/sbin
    ./start-dfs.sh
    
    # 到hive的命令目录下运行hive的脚本，并在后台运行，如果已将该目录添加到PATH路径下，可以不用打开目录，并省略符号点斜杆（./）
    cd  /usr/local/hive/bin
    nohup ./hive --service metastore &
    nohup ./hive --service hiveserver2 &

nohup命令是系统的命令，它的作用可以使用命令`nohup --help`查看它的使用方法（：忽略挂起信号运行指定的命令）。使用以上命令会有提示信息，只要回车就行了

使用命令`jobs -l`可以查看后台运行的进程（二路，不是一），我的显示如下

zhong@zhong-VirtualBox:/usr/local/hive/bin$ jobs -l
    [1]-  6076 运行中               nohup hive --service metastore &  (工作目录: /usr/local/hive/conf)
    [2]+  6178 运行中               nohup hive --service hiveserver2 &  (工作目录: /usr/local/hive/conf)

如果不能正常运行上面两个进程，就去看看报错信息，开启时会提示说nohup的错误信息会输出到哪里（我的是输出到用户的家目录下的nohup.out文件：/home/zhong/nohup.out）

此时使用`jps`命令可以看到如下（我配置的Hadoop是伪分布式）：

12417 RunJar
    12292 RunJar
    10602 SecondaryNameNode
    10220 NameNode
    12685 Jps
    10382 DataNode

> 注意：开启了Hadoop和hive之后要等大概一分钟后再使用python代码操作hive，否则连接不上，会报错

### 关闭Hadoop和hive ###

如果运行完毕，想关闭，可以使用以下方法：

先关闭hive的进程，以下命令是杀死进程的意思，数字是上面运行`jobs -l`命令后显示的数字，具体数字要看自己的情况，有时使用`jobs -l`命令显示不出后台运行的进程，也可以使用`jps`命令查看在JVM中运行的进程，其中RunJar就是hive的进程

kill 6076
    kill 6178

然后关闭Hadoop

# 到hadoop的命令目录下运行关闭dfs的脚本，如果你已将该目录加入到PATH路径下，那么就可以直接stop-dfs.sh，而不需要打开目录然后运行shell脚本
    cd  /usr/local/hadoop/sbin
    ./stop-dfs.sh

\------------Ubuntu配置完毕------------

我操作hive的方式是，在Windows运行Python程序控制Ubuntu虚拟机的安装的hive

在Windows安装四个Python的库，我安装时`sasl`库报错了，但是能够远程连接，不知道为什么

pip install sasl thrift thrift-sasl PyHive

## 开始写Python代码操作hive ##

PyHive库的官方API文档：[https://pypi.org/project/PyHive/][https_pypi.org_project_PyHive]

该库的使用方法和pymysql库类似

# 查看有哪些数据库
    from pyhive import hive
    
    conn = hive.Connection(host='192.168.31.224', port=10000, username='zhong', auth='NOSASL')
    curs = conn.cursor()  # 获取一个游标
    sql = 'show databases'  # 操作语句
    curs.execute(sql)  # 执行sql语句
    print(curs.fetchall())  # 输出获取结果的所有行

连接数据库时，它有个默认参数`database='default'`用来指定连接那个数据库，默认时default，该数据库是安装hive时自动创建的数据库，若想连接某一个数据库可以指定该参数

# 查看数据库zhong，下面有哪些表
    from pyhive import hive
    
    conn = hive.Connection(host='192.168.31.224', port=10000, username='zhong', auth='NOSASL', database='zhong')
    curs = conn.cursor()  # 获取一个游标
    sql = 'show tables'  # 操作语句
    curs.execute(sql)  # 执行sql语句
    print(curs.fetchall())  # 输出获取结果的所有行

具体的操作语句和SQL语句基本一致，就不演示了，但**注意的是hive主要是用来做数据仓库的所以支持查和增数据，默认不能使用改和删数据**。

官方也意识到了hive要访问MySQL数据库之后再访问HDFS，HDFS再访问磁盘的缓慢，所以也支持异步的方式操作hive。官方的实例如下（经过修改）：

from pyhive import hive
    from TCLIService.ttypes import TOperationState
    
    
    conn = hive.Connection(host='192.168.31.224', port=10000, username='zhong', auth='NOSASL', database='zhong')
    cursor = conn.cursor()  # 获取游标
    sql = 'show tables'  # sql语句
    cursor.execute(sql, async_=True)  # 声明是异步函数
    
    status = cursor.poll().operationState  # 记录启用循环队列的状态
    while status in (TOperationState.INITIALIZED_STATE, TOperationState.RUNNING_STATE):  # 如果时起始状态或者正在运行状态
        logs = cursor.fetch_logs()  # 获取运行过程中产生的日志信息，返回值放在列表中
        for message in logs:  # 迭代日志信息
            print(message)
    
        status = cursor.poll().operationState  # 再次记录启用循环队列的状态
    # 获取到结果，循环队列结束
    print(cursor.fetchall())  # 输出查询结果

官方并没有详细解释了怎么使用异步方式操作hive，比如，没有解释怎么增加异步运行任务，而且使用的是最原始的循环。如果正常代码中使用该方法进行异步操作，将没有任何意义，还会增加工作量。还不如使用`concurrent.futures对象`的方法将该任务转为异步的进程池或线程池内的子任务。

from pyhive import hive
    from concurrent.futures.thread import ThreadPoolExecutor
    
    
    def func_1():
        conn = hive.Connection(host='192.168.31.224', port=10000, username='zhong', auth='NOSASL', database='zhong')
        curs = conn.cursor()  # 获取一个游标
        sql = 'show tables'  # 操作语句
        curs.execute(sql)  # 执行sql语句
        print(curs.fetchall())  # 输出获取结果的所有行
    
    
    if __name__ == "__main__":
        pool = ThreadPoolExecutor(max_workers=5)  # 创建线程池
        pool.submit(func_1)  # 提交一个任务，第一个参数是普通函数的本身，后面的所有参数都是普通函数的参数

[Link 1]: http://dblab.xmu.edu.cn/blog/2440-2/
[http_www.voidcn.com_article_p-cnbletfe-no.html]: http://www.voidcn.com/article/p-cnbletfe-no.html
[https_pypi.org_project_PyHive]: https://pypi.org/project/PyHive/