spark sql: HiveContext操作hive表

小鱼儿 2024-04-17 05:34 61阅读 0赞

使用cdh搭建hadoop集群, 下载hive客户端配置文件

# 1,配置pom.xml #

<dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-core_2.10</artifactId>
         <version>1.5.0-cdh5.6.1</version>
     </dependency>
     <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-sql_2.10</artifactId>
         <version>1.5.0-cdh5.6.1</version>
     </dependency>
     <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-hive_2.10</artifactId>
         <version>1.5.0-cdh5.6.1</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-common</artifactId>
         <version>2.6.0-cdh5.6.1</version>
     </dependency>

# 2, HiveContext读取hive表数据 #

object testHiveContext {
      def main(args: Array[String]): Unit = {
        val conf = new SparkConf()
        conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
        conf.setAppName("spark-hive").setMaster("local[*]")
        val sc = new SparkContext(conf)
        sc.setLogLevel("ERROR")
        val hiveContext = new HiveContext(sc)
        
        //读取hive表
          hiveContext.sql("show databases").show(100)
          hiveContext.sql("show tables").show(100)
          hiveContext.sql("use db1")
          hiveContext.table("t1").show()
      }
    }

# 3,依赖报错：NoClassDefFoundError: org/apache/hadoop/mapred/MRVersion #

解决：导入依赖

<dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-common</artifactId>
         <version>2.6.0-cdh5.6.1</version>
     </dependency>

发表评论取消回复

表情：

评论列表（有 0 条评论，61人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark SQL 与Hive集成

目录一、Spark SQL 与Hive集成(spark-shell) （1）添加配置项目（2）启动服务

不念不忘少年蓝@/ 2022年12月10日 03:46/ 0 赞/ 222 阅读

相关 Spark SQL 操作 MySQL数据库和 Hive数据仓库

Spark SQ操作 MySQL和 Hive 一、启动各组件二、操作 MySQL 2.1 读取 MySQL数据库

r囧r小猫/ 2022年11月19日 06:25/ 0 赞/ 622 阅读

相关 spark系列18：sparksql操作hive表的使用

1.SparkSQL 整合 Hive 导读 1. 开启 `Hive` 的 `MetaStore` 独立进程 2. 整合 `SparkSQL` 和 `Hive` 的

桃扇骨/ 2022年11月10日 14:27/ 0 赞/ 241 阅读

相关 Spark SQL+Hive历险记

基础依赖环境 Apache Hadoop2.7.1 Apache Spark1.6.0 Apache Hive1.2.1 Apache Hbase0.98.12

拼搏现实的明天。/ 2022年08月19日 14:27/ 0 赞/ 224 阅读

相关 Spark SQL Hive Tables

Spark SQL also supports reading and writing data stored in [Apache Hive][]. However, sin

蔚落/ 2022年06月13日 05:25/ 0 赞/ 211 阅读

相关 spark sql: SparkSession操作hive表

目标：实现类似于navicat的功能=> 写hql语句，在idea下使用spark sql 一键运行，而不用到shell窗口下运行命令步骤：写sql文件 (resour

系统管理员/ 2022年04月18日 05:03/ 0 赞/ 223 阅读

相关 spark sql 操作hbase表

在hbase表 \[ns1:person\] 中有如下数据 hbase(main):073:0> scan 'ns1:person' ROW

左手的ㄟ右手/ 2022年04月13日 05:51/ 0 赞/ 309 阅读

相关 Spark SQL+Hive历险记

\[size=medium\] 基础依赖环境 Apache Hadoop2.7.1 Apache Spark1.6.0 Apache Hive1.2.1

怼烎@/ 2022年04月12日 12:27/ 0 赞/ 222 阅读

相关 spark sql: 操作hbase表——rdd实现sql查询

hbase数据：（需求–按年龄分组，求出各年龄段的总人数,计算结果保存mysql） hbase(main):006:0> scan 'p1' ROW

谁践踏了优雅/ 2022年02月04日 15:23/ 0 赞/ 335 阅读

相关 Hive编程指南-Spark操作Hive

摘要：本文将要说明如何使用Spark来对Hive进行操作 1、打jar包，提交Spark任务通过提交spark任务的方式，如下面的sca

本是古典何须时尚/ 2021年09月11日 07:00/ 0 赞/ 648 阅读