linux上Python连接hive避坑指北指南

谁践踏了优雅 2022-12-25 15:57 215阅读 0赞

环境：  
centos7.4+Python 3.7.4 并已安装anaconda  
![在这里插入图片描述][20201202183239180.png]

使用python连接hive，在开发中是一个硬需求。此处记录一个简单的连接测试过程。

1.首先在centos中安装

yum install cyrus-sasl-lib.x86_64
    yum install cyrus-sasl-devel.x86_64
    yum install libgsasl-devel.x86_64
    yum install saslwrapper-devel.x86_64

tips：在安装后两个事提示没有可用包，跳过，后续未出现问题  
![在这里插入图片描述][20201202183523263.png]  
2.安装python包

python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyhive --trusted-host=mirrors.aliyun.com
    python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple thrift --trusted-host=mirrors.aliyun.com
    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple sasl --trusted-host=mirrors.aliyun.com
    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple thrift_sasl --trusted-host=mirrors.aliyun.com

3.测试连接

from pyhive import hive
    conn = hive.Connection(host='10.28.3.43', port=10000).cursor()
    conn.execute('select * from cdm.cdm_mid_today_actual limit 10;')
    for result in conn.fetchall():
        print(result)

测试结果  
![在这里插入图片描述][20201202184118288.png]  
至于在window上，由于需要sasl会有其他问题，下次琢磨琢磨

[20201202183239180.png]: /images/20221120/ecccf36263d54eaba9d786fb80c5e680.png
[20201202183523263.png]: /images/20221120/57964cc553b54be5bf2d4e1729535c8d.png
[20201202184118288.png]: /images/20221120/8600db8d96a148129b9180fc399dc84d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，215人围观）

还没有评论，来说两句吧...

相关阅读

相关 NSTimer 避坑指南

NSTimer 的创建 NSTimer的创建通常有两种方式，一种是以 scheduledTimerWithTimeInterval 为开头的类方法。这些方法在创建了...

╰+攻爆jí腚メ/ 2024年04月17日 13:57/ 0 赞/ 68 阅读

相关【通用mapper避坑指南】

通用mapper相信大家都有了解和使用吧，在生产中可直接生成实体类，并且可以简化SQL语句的开发（不用手写sql），但是有几个注意事项一定引起重视！首先引入依赖坐标：

痛定思痛。/ 2024年03月16日 11:07/ 0 赞/ 47 阅读

相关 linux上Python连接hive避坑指北指南

环境： centos7.4+Python 3.7.4 并已安装anaconda ![在这里插入图片描述][20201202183239180.png] 使用pytho

谁践踏了优雅/ 2022年12月25日 15:57/ 0 赞/ 216 阅读

相关 Python避坑指南之字符串strip

`strip` 我们常常使用它去掉两边空白字符如`str01.strip(" ")`，这样使用没有什么问题但是像我,对它的理解就存在偏差之前的理解是`a.stri

快来打我*/ 2022年12月23日 11:23/ 0 赞/ 197 阅读

相关 Redis避坑指南

Redis避坑指南需要避免的坑杜绝大Value 避免Key上亿热点Key踩雷缓存穿透缓存雪崩

﹏ヽ暗。殇╰゛Y/ 2022年11月22日 00:27/ 0 赞/ 206 阅读

相关 Hive安装教程(避坑)

下载&解压第一步，[Hive官网][Hive]下载apache-hive-3.1.2-bin.tar.gz，其中3.1.2是我下载的版本，你要根据自己的hadoop版本

柔情只为你懂/ 2022年10月30日 13:29/ 0 赞/ 195 阅读

相关 Hive 事务管理避坑指南

2017 年 4 月 09 日 [技术管理][Link 1][语言 & 开发][Link 2][架构][Link 3] 1 简介 Hive 作为 Hado

偏执的太偏执、/ 2022年09月16日 11:04/ 0 赞/ 253 阅读

相关 layui避坑指南

layui避坑指南 layer.open layer.open 1、对table执行重载的按钮（如：表格上面的搜索按钮）不能用button要用a标签，

今天药忘吃喽~/ 2022年02月03日 16:57/ 0 赞/ 342 阅读

相关 Linux下Python3的安装及避坑指南

![1544519603413718.jpg][] Python3的安装 1.安装依赖环境 Python3在安装的过程中可能会用到各种依赖库，所以在正式安装Py

分手后的思念是犯贱/ 2022年01月27日 05:29/ 0 赞/ 248 阅读

相关 linux 搭建 FTP 避坑指南

前言：有很多博客写过 linux 搭建 FTP，很遗憾，照着搭建出了不少故障，所以这里记录一下关键的坑怎么处理。 1.需求和环境需求：基于 linux 搭建一个FT...

你的名字/ 2021年01月19日 15:33/ 0 赞/ 761 阅读