spark sql jdbc mysql_Spark-SQL 读写jdbc

绝地灬酷狼 2022-11-05 15:56 229阅读 0赞

![2c44e9713322cc9c61ddedfe56fdf806.png][]

读jdbc中的信息

import java.util.Properties

import org.apache.spark.sql.\{DataFrame, SparkSession\}

object CreateDataFrameFromJDBC \{

def main(args: Array\[String\]): Unit = \{

//创建SparkSession

val spark = SparkSession.builder()

.appName(this.getClass.getSimpleName)

.master("local\[\*\]")

.getOrCreate()

val properties = new Properties()

properties.setProperty("user","root")

properties.setProperty("password","123456")

//一定要有schema信息

//在执行时调用read.jdbc方法一定要或取数据库表的信息

//read.jdbc是在Driver端跟数据库查询，返回指定表的schema信息作为DataFrame的信息

val df: DataFrame = spark.read.jdbc("jdbc:mysql://localhost:3306/demo01?characterEncoding=utf8", "tb\_user", properties)

df.printSchema()

df.show()

spark.stop()

\}

\}

写入到mysql中

import java.util.Properties

import org.apache.spark.rdd.RDD

import org.apache.spark.sql.types.\{DoubleType, IntegerType, StringType, StructField, StructType\}

import org.apache.spark.sql.\{DataFrame, Row, SaveMode, SparkSession\}

object WriteJDBC \{

def main(args: Array\[String\]): Unit = \{

//创建SparkSession

val spark = SparkSession.builder()

.appName(this.getClass.getSimpleName)

.master("local\[\*\]")

.getOrCreate()

val sc = spark.sparkContext

val lines: RDD\[String\] = sc.textFile("src/main/scala/data/user.txt")

//row的字段没有名字 没有类型

val rdd1: RDD\[Row\] = lines.map(e => \{

val split = e.split(",")

Row(split(0), split(1).toInt, split(2).toDouble)

\})

//关联schema(字段名称、字段类型、是否可以为空)

val schema: StructType = StructType(

Array(

StructField("name", StringType),

StructField("age", IntegerType),

StructField("fv", DoubleType)

)

)

//将RowRDD与StructType中的schema关联

val df: DataFrame = spark.createDataFrame(rdd1, schema)

val properties = new Properties()

properties.setProperty("user","root")

properties.setProperty("password","123456")

//ErrorIfExists如果输出的目录或表已经存在就报错

//Append 追加

//Overwrite 将原来的目录或数据库表删除，然后在新建目录或表将数据写入

//Ignore 没有就写入，有就什么都不做

df.write.mode(SaveMode.Append).jdbc("jdbc:mysql://localhost:3306/demo01?characterEncoding=utf8","tb\_user",properties)

sc.stop()

spark.stop()

\}

\}

![826cf98bca6270076ab726f9e709744a.png][]

[2c44e9713322cc9c61ddedfe56fdf806.png]: /images/20221023/be09fad7fc794e7b9f76b83a35e3c307.png
[826cf98bca6270076ab726f9e709744a.png]: /images/20221023/f836b8abb62b4e8989f6f0f7baeb30dd.png

发表评论取消回复

表情：

评论列表（有 0 条评论，229人围观）

还没有评论，来说两句吧...

相关阅读

相关 ShardingSphere-JDBC读写分离（四）

ShardingSphere-JDBC读写分离 1、创建SpringBoot程序 1.1、创建项目项目类型：Spring Initializr Sprin

落日映苍穹つ/ 2024年04月01日 09:26/ 0 赞/ 97 阅读

相关 Spark-JDBC

Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。 `注意:

电玩女神/ 2023年02月19日 09:27/ 0 赞/ 47 阅读

相关 sharding-jdbc读写分离

首先需要mysql数据库实现主从复制。注意，sharding-jdbc只负责主从数据库的路由分发，不负责主从数据库之间的复制，复制由mysql实现。

今天药忘吃喽~/ 2023年01月21日 11:20/ 0 赞/ 43 阅读

相关 Sharding-JDBC 实现读写分离

Sharding-JDBC 是 apache 旗下的 ShardingSphere 中的一款产品，轻量，引入 jar 即可完成读写分离的需求，可以理解为增强版的 JDBC，现在

桃扇骨/ 2023年01月11日 03:46/ 0 赞/ 156 阅读

相关 Sharding-JDBC之读写分离

读写分离本文介绍SpringBoot使用Sharding-JDBC进行读写分离，废话不多说，直接写代码。场景介绍：主库（Master）负责写入。从

缺乏、安全感/ 2022年12月29日 14:20/ 0 赞/ 134 阅读

相关使用Spark SQL JDBC

Spark SQL JDBC 写我们可以使用一个 JDBC 的链接来定义一个 Spark SQL 的表或者视图，这里用表来做示例：我们先在 mysql 中建立

柔情只为你懂/ 2022年12月29日 06:53/ 0 赞/ 180 阅读

相关 Spark SQL与JDBC的集成

数据源： userid,addres,age,username 001,guangzhou,20,alex 002,shenzhen,34,

向右看齐/ 2022年12月27日 14:02/ 0 赞/ 162 阅读

相关 Sharding-JDBC 实现读写分离

Sharding-JDBC 是 apache 旗下的 ShardingSphere 中的一款产品，轻量，引入 jar 即可完成读写分离的需求，可以理解为增强版的 JDBC，现在

迈不过友情╰/ 2022年12月09日 04:55/ 0 赞/ 217 阅读

相关 Spark-Sql快速入门系列(4) | JDBC读写数据

目录一.JDBC 从 jdbc 读数据通用写法专用写法向 jdbc 写入数据

淩亂°似流年/ 2022年12月01日 15:43/ 0 赞/ 203 阅读

相关 spark sql jdbc mysql_Spark-SQL 读写jdbc

![2c44e9713322cc9c61ddedfe56fdf806.png][] 读jdbc中的信息 import java.util.Properties impor

绝地灬酷狼/ 2022年11月05日 15:56/ 0 赞/ 230 阅读