Spark SQL之jdbc方式访问

布满荆棘的人生 2023-05-28 06:40 20阅读 0赞

# 首先看thriftserver状态 #

使用`jps`查看`thriftserver`运行状态和端口。如果没启动则需要启动`thriftserver`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]

# 添加依赖 #

pom.xml文件内容如下：

<dependency>
          <groupId>org.spark-project.hive</groupId>
          <artifactId>hive-jdbc</artifactId>
          <version>1.2.1.spark2</version>
        </dependency>

# 编写jdbc代码 #

package cn.ac.iie.spark
    
    import java.sql.DriverManager
    
    /** * 通过JDBC 方式 */
    object SparkSQLThriftServerApp { 
      def main(args: Array[String]): Unit = { 
        Class.forName("org.apache.hive.jdbc.HiveDriver")
        val conn = DriverManager.getConnection("jdbc:hive2://manager:10000", "iie4bu", "")
        val pstmt = conn.prepareStatement("select transactionid, customerid from sal")
        val rs = pstmt.executeQuery()
        while(rs.next()) { 
          println("transactionid:" + rs.getInt("transactionid") + ", customerid:" + rs.getString("customerid"))
        }
        rs.close()
        pstmt.close()
      }
    
    }

输出结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]: /images/20230528/defd9f90640b424e8dfbc2e6e8698836.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]: /images/20230528/9138b9339ddd4c2b9e9a3255757247b3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，20人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark SQL之DataSet

DataSet是分布式的数据集，是spark1.6才被添加进来的。比DataFrame出现的晚。DataSet支持lambda表达式，而且DataFrame的API在DataS

分手后的思念是犯贱/ 2023年07月18日 14:16/ 0 赞/ 60 阅读

相关 Spark SQL 之SparkSession

SparkSession是Spark2.x中推荐使用的Spark SQL的入口点。代码如下： package cn.ac.iie.spark

野性酷女/ 2023年07月18日 11:23/ 0 赞/ 61 阅读

相关 Spark入门（七）Spark SQL thriftserver/beeline启动方式

一、启动thrift服务启动thriftServer，默认端口为10000,。 \--jars 添加worker类库 \--driver-class-path 驱动

小咪咪/ 2023年07月03日 02:52/ 0 赞/ 118 阅读

相关 Spark SQL之jdbc方式访问

首先看thriftserver状态使用`jps`查看`thriftserver`运行状态和端口。如果没启动则需要启动`thriftserver` ![在这里插入图片

布满荆棘的人生/ 2023年05月28日 06:40/ 0 赞/ 21 阅读

相关 Spark-JDBC

Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。 `注意:

电玩女神/ 2023年02月19日 09:27/ 0 赞/ 56 阅读

相关使用Spark SQL JDBC

Spark SQL JDBC 写我们可以使用一个 JDBC 的链接来定义一个 Spark SQL 的表或者视图，这里用表来做示例：我们先在 mysql 中建立

柔情只为你懂/ 2022年12月29日 06:53/ 0 赞/ 194 阅读

相关 Spark SQL与JDBC的集成

数据源： userid,addres,age,username 001,guangzhou,20,alex 002,shenzhen,34,

向右看齐/ 2022年12月27日 14:02/ 0 赞/ 168 阅读

相关 spark sql 之 limit

limit执行的不是action操作。 show/head一类的是action操作。 -------------------- Spark limit改进在执行一

清疚/ 2022年12月13日 04:18/ 0 赞/ 436 阅读

相关 spark sql jdbc mysql_Spark-SQL 读写jdbc

![2c44e9713322cc9c61ddedfe56fdf806.png][] 读jdbc中的信息 import java.util.Properties impor

绝地灬酷狼/ 2022年11月05日 15:56/ 0 赞/ 240 阅读

相关 spark通过jdbc访问postgresql数据库

1.首先要有可用的jdbc [hadoop@db1 bin]$ locate jdbc|grep postgres /mnt/hd01/www/html

蔚落/ 2022年08月18日 05:40/ 0 赞/ 495 阅读