Spark-Sql快速入门系列(4) | JDBC读写数据

淩亂°似流年 2022-12-01 15:43 176阅读 0赞

### 目录 ###

*  一.JDBC
 *   *  从 jdbc 读数据
     *   *  通用写法
         *  专用写法
     *  向 jdbc 写入数据
     *   *  通用写法
         *  专用写法

# 一.JDBC #

*  Spark SQL 也支持使用 JDBC 从其他的数据库中读取数据. JDBC 数据源比使用 JdbcRDD更爽一些. 这是因为返回的结果直接就是一个 DataFrame, DataFrame更加容易被处理或者与其他的数据源进行 join.
 *  Spark SQL 可以通过 JDBC 从关系型数据库中读取数据的方式创建 DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。
 *  注意: 如果想在spark-shell操作 jdbc, 需要把相关的 jdbc 驱动 copy 到 jars 目录下.  
    **`导入依赖:`**

<dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.27</version>
    </dependency>

## 从 jdbc 读数据 ##

### 通用写法 ###

import org.apache.spark.sql.SparkSession
    
    object JDBCRead { 
      def main(args: Array[String]): Unit = { 
        val spark = SparkSession.builder()
          .master("local[*]")
          .appName("JDBCRead")
          .getOrCreate()
        import  spark.implicits._
    
        val url = "jdbc:mysql://hadoop102:3306/sparksql"
        val user = "root"
        val pw = "root"
    
        val df = spark.read
          .option("url", url)
          .option("user", user)
          .option("password", pw)
          .option("dbtable", "user")
          .format("jdbc").load()
    
        df.show()
        spark.close()
      }
    }

### 专用写法 ###

import java.util.Properties
    
    import org.apache.spark.sql.SparkSession
    
    object JDBCRead1 { 
      def main(args: Array[String]): Unit = { 
        val spark = SparkSession.builder()
          .master("local[*]")
          .appName("JDBCRead")
          .getOrCreate()
    
        val url = "jdbc:mysql://hadoop102:3306/sparksql"
        val user = "root"
        val pw = "root"
    
        val props = new Properties()
        props.put("user",user)
        props.put("password",pw)
        val df = spark.read
           .jdbc(url,"user",props)
    
        df.show()
        spark.close()
    
      }
    
    }

## 向 jdbc 写入数据 ##

### 通用写法 ###

import org.apache.spark.sql.{ SaveMode, SparkSession}
    
    object JDBCWrite { 
        def main(args: Array[String]): Unit = { 
          val spark = SparkSession.builder()
            .master("local[*]")
            .appName("JDBCRead")
            .getOrCreate()
    
          val df = spark.read.json("D:\\idea\\spark-sql\\input\\user.json")
    
          val url = "jdbc:mysql://hadoop102:3306/sparksql"
          val user = "root"
          val pw = "root"
    
         //写到jdbc中
          df.write
              .format("jdbc")
              .option("url",url)
              .option("user",user)
              .option("password",pw)
              .option("dbtable","user1602")
           // .mode("append")
            .mode(SaveMode.Overwrite)
              .save()
    
    
          spark.close()
    
        }
    }

### 专用写法 ###

import java.util.Properties
    
    import org.apache.spark.sql.{ SaveMode, SparkSession}
    
    object JDBCWrite1 { 
        def main(args: Array[String]): Unit = { 
          val spark = SparkSession.builder()
            .master("local[*]")
            .appName("JDBCRead")
            .getOrCreate()
    
          val df = spark.read.json("D:\\idea\\spark-sql\\input\\user.json")
    
          val url = "jdbc:mysql://hadoop102:3306/sparksql"
          val user = "root"
          val pw = "root"
    
         //写到jdbc中
         val props = new Properties()
          props.put("user",user)
          props.put("password",pw)
          df.write
              .jdbc(url,"user1603",props)
    
          spark.close()
    
        }
    
    }