七.SparkSQL之Dataset实战演练

男娘i 2022-05-07 19:56 214阅读 0赞

**一.概述**  
Dataset是一个分布式的数据集,并且是spark1.6版本的新接口,有点就是强类型,支持lambda表达式,还提供了SparkSQL优化的执行引擎的优点.  
![在这里插入图片描述][70]  
**解释:**

针对SQL而言:
        seletc name from person;  写错select 但是编译(compile)还是过的,运行时出错
    
    针对DF而言:
        df.seletc("name") select 写错编译(compile)直接就报错了
        df.select("nname") 属性名写错,但是编译(compile)是好的,只是在运行的时候才会报错
    
    针对DS而言:
        ds.map(line => line.itemidd)  里面的itemid写错直接编译(compile)就会报错

**二.示例演示**

import org.apache.spark.sql.SparkSession
    object DataSetApp {
      def main(args: Array[String]){
      val spark = SparkSession.builder().appName("DataSetApp").master("local[2]").getOrCreate()
      import spark.implicits._
      // csv 方法返回的是DataFrame类型的数据 第一个option是解析头文件

> val df = spark.read.option(“header”,“true”).option(“interSchema”,“true”).csv(“sales.csv”)  
> df.show()  
> ![在这里插入图片描述][70 1]

> //df转换为ds,但是要指定类型,因此传入了Sales  
> val ds = [df.as][]\[Sales\]  
> //输出itemId哪一行数据的内容  
> ds.map(line => line.itemId).show()  
> ![在这里插入图片描述][70 2]

spark.stop()

\}  
case class Sales(transactionId:String,customerId:String,itemId:String,amountPaid:String)  
\}

**三.常见错误**  
Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits.\_ Support for serializing other types will be added in future releases.  
解决方法就是导入隐式函数即可:

import spark.implicits._

详细资料参考   [SparkSQL之Dataset][SparkSQL_Dataset]

[70]: /images/20220508/c0310c9b16d44887b4096d6a3bdda698.png
[70 1]: /images/20220508/7255418ec1724776b70b3f4fe96144da.png
[df.as]: http://df.as
[70 2]: /images/20220508/6b9190f90caf4d2b8806ffcf80f21e37.png
[SparkSQL_Dataset]: http://spark.apache.org/docs/latest/sql-programming-guide.html#interoperating-with-rdds