python3操作hive

一时失言乱红尘 2022-05-30 05:51 494阅读 0赞

# 1. 前言 #

目前python3连接hive的方法主要是使用cloudera开发的impyla包，但是要安装impyla也不是那么容易的事情，因为impyla要使用系统底层模块，所以就要先安装对应的模块，而不仅仅是安装impyla就可以了。如果是想hdfs-server就好了，一个http就能搞定。

在过大网友的无私奉献，以及Google和Baidu的帮助下，终于解决了python3连接hive的问题。  
需要注意的是，centos和Ubuntu的系统底层模块安装和更新是不一样的，这个需要注意。

后来cloudera开发了一个新的python包叫ibis,也是用来操作hive数据的，看其博客说得神乎其神，似乎是impyla的改进升级版，将来要用ibis替换掉impyla，也使用了一下，还是可以的。

下面先说impyla的安装和使用，再说ibis的使用。

# 2. centos安装 #

先安装和更新cyrus，sasl，和gcc。这些方法在centos容器中也是一样可行的。

sudo yum install cyrus-sasl-devel
    sudo yum install gcc-c++

安装python模块，注意，thrift-sasl版本和hive版本要对应，如果不知道多试几次就好了。

pip install thrift-sasl==0.2.1
    pip install sasl
    pip install impyla

# 3. Ubuntu安装 #

我的Ubuntu使用的是win10的linux子系统，用起来挺方便的，不用装虚拟机，启动快，就像容器一样。  
下载过程中，如果网速慢，可以切换国内镜像。

sudo apt-get install libsasl2-dev
    sudo apt-get install python3-dev
    sudo apt-get -y install build-essential

安装python模块，同centos。

pip install thrift-sasl==0.2.1
    pip install sasl
    pip install impyla

# 4. 测试impyla #

测试连接hive：

from impala.dbapi import connect
    
    # 需要注意的是这里的auth_mechanism必须有，但database不必须
    conn = connect(host='xxx.xxx.xxx.xxx', port=10000, database='default', auth_mechanism='PLAIN')
    cur = conn.cursor()
    
    cur.execute('SHOW DATABASES')
    print(cur.fetchall())
    
    cur.execute('SHOW Tables')
    print(cur.fetchall())
    
    cur.close()
    conn.close()

# 5. ibis安装 #

如果装好了impyla，那么ibis就很好安装了，就是简单的pip命令就可以，其中ibis会引用impyla。

pip install hdfs
    pip install ibis-framework

# 6. ibis使用 #

下面是简单的使用案例，基本覆盖常用的方法。

# 1.查询hdfs数据
    hdfs = ibis.hdfs_connect(host='xxx.xxx.xxx.xxx', port=50070)
    hdfs.ls('/')
    hdfs.ls('/apps/hive/warehouse/ai.db/tmp_ys_sku_season_tag')
    hdfs.get('/apps/hive/warehouse/ai.db/tmp_ys_sku_season_tag/000000_0', 'parquet_dir')
    
    # 2.查询数据到python dataframe
    from ibis.impala.api import connect
    conn= connect('xxx.xxx.xxx.xxx', 10000, auth_mechanism='PLAIN',database='ai')
    conn.exists_table('helloworld')
    
    # 执行SQL
    sql='set mapreduce.job.queuename=ai'
    conn.raw_sql(sql)
    
    # 将SQL结果导出到python dataframe
    requete = conn.sql('select * from ai.da_aipurchase_dailysale_for_ema_predict')
    df = requete.execute(limit=None)

# 7. 参考： #

*  [基于python impyla的hive客户端][python impyla_hive]
 *  [impyla官网][impyla]
 *  [ibis官网][ibis]

[python impyla_hive]: http://blog.csdn.net/gamer_gyt/article/details/52564335
[impyla]: https://github.com/cloudera/impyla
[ibis]: http://docs.ibis-project.org/getting-started.html