Spark SQL快速入门（进阶）

迷南。 2021-09-24 15:08 476阅读 0赞

### 教程目录 ###

*  0x00 教程内容
 *  0x01 基础环境准备
 *   *   *   *   *  1. 启动 Spark-Shell
                 *  2. 准备数据
                 *  3. 生成DataFrame
 *  0x02 Spark SQL 基础编程操作
 *   *   *   *   *  1. show()
                 *  2. printSchema()
                 *  3. 获取指定字段的统计信息
                 *  4. 获取数据操作
                 *  5. 查询操作
                 *  6. 过滤操作
                 *  7. 排序操作
                 *  8. 统计操作
 *  0x03 执行 SQL 语句
 *  0x04 保存 DataFrame 为其他格式
 *   *   *   *   *  1. 默认为Parquet格式
                 *  2. 保存为其他格式
                 *  3. 保存模式
 *  0x05 支持多种数据源
 *   *   *   *   *  1. 通用 load、save 函数
                 *  2. 指定其他格式数据源
 *  0xFF 总结

# 0x00 教程内容 #

1.  基础环境准备
2.  Spark SQL 基础编程操作
3.  执行 SQL 语句
4.  保存 DataFrame 为其他格式
5.  支持多种数据源

本文的前置教程课程为： [Spark SQL快速入门（基础）][Spark SQL]

# 0x01 基础环境准备 #

##### 1. 启动 Spark-Shell #####

spark-shell

##### 2. 准备数据 #####

vi /home/hadoop-sny/datas/teacher.json

{ "name":"shaonaiyi", "age":"30", "height":198}
    { "name":"shaonaier", "age":"28", "height":174}
    { "name":"shaonaisan", "age":"25", "height":178}
    { "name":"shaonaisi", "age":"21", "height":183}
    { "name":"shaonaiwu", "age":"32", "height":165}

##### 3. 生成DataFrame #####

在 spark-shell 中输入如下代码：

import org.apache.spark.sql.SparkSession
    
    val spark = SparkSession.builder().appName("PersonApp").getOrCreate()
    import spark.implicits._
    val teacherDF = spark.read.json("/home/hadoop-sny/datas/teacher.json")

# 0x02 Spark SQL 基础编程操作 #

##### 1. show() #####

teacherDF.show()

`show()`：显示所有的数据  
`show(n)` ：显示前n条数据  
`show(true)`: 字段最多显示20个字符，默认为true  
`show(false)`: 取消最多显示20个字符的限制  
`show(n, true）`：显示前n条并最多显示20个字符  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center]  
字段最多显示20个字符的意思是，比如name字段，名称太长，超过了20个字符的话，会显示成 `...`，如果不超过则不会。

##### 2. printSchema() #####

打印数据表的 Schema信息（结构）：

teacherDF.printSchema()

![在这里插入图片描述][20200826155529807.png_pic_center]

##### 3. 获取指定字段的统计信息 #####

teacherDF.describe("height").show() //其中，Count:记录条数，Mean:平均值，Stddev:样本标准差，Min:最小值，Max:最大值

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 1]

##### 4. 获取数据操作 #####

`collect()`：获取所有数据到`数组`  
`collectAsList()`：获取所有数据到`List`。

teacherDF.collect()
    teacherDF.collectAsList()

![在这里插入图片描述][20200826155205750.png_pic_center]  
`first()`: 获取第一行记录；  
`head(n)`：获取前 n 行记录；  
`take(n)`: 获取前 n 行数据；  
`takeAsList(n)`: 获取前 n 行数据，并以 List 的形式展示。

PS：head与take的结果其实是一样的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 2]

##### 5. 查询操作 #####

查询名称为 shaonaiyi 或 年龄是30岁的数据：

teacherDF.where("name = 'shaonaiyi' or age = 28").show()

![在这里插入图片描述][20200826160159664.png_pic_center]  
展示所有的老师名：

teacherDF.select("name").show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 3]  
展示所有的老师名及身高：

teacherDF.select("name", "height").show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 4]

##### 6. 过滤操作 #####

展示所有年龄为30岁的老师，打印老师的名称与身高：

teacherDF.filter(teacherDF("age").equalTo("30")).select("name", "height").show()

![在这里插入图片描述][20200829182052116.png_pic_center]  
`limit(n)`方法获取指定的 DataFrame 的前 n 行记录，得到的是一个新转化生成的 DataFrame 对象。

teacherDF.limit(3).show()

![在这里插入图片描述][20200829181912115.png_pic_center]

##### 7. 排序操作 #####

排序操作有两种方法：`orderBy()`和`sort()`；  
都是按指定`字段`排序，默认为`升序`。  
desc：`降序`  
asc ：`升序`

teacherDF.orderBy(teacherDF("height").desc).show(false)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 5]

##### 8. 统计操作 #####

`groupBy()`和`count()`操作

计算所有年龄和年龄的数量：

teacherDF.groupBy("age").count().show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 6]

# 0x03 执行 SQL 语句 #

`SparkSession` 提供了 `SparkSession.sql()` 方法，SQL 语句可以直接作为`字符串`传入 `sql()`方法中，具体可以学习相关的 SQL 知识。

首先需要将 `DataFrame` 注册为`临时表`才可以在该表上执行 SQL 语句：

teacherDF.createOrReplaceTempView("teacher")

查询身高在 170-190 之间的老师：

val sqlDF = spark.sql("SELECT name,height FROM teacher WHERE height >= 170 and height <= 190")
    
    sqlDF.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 7]  
如果在同一个应用的不同 session 会话中需要重用一个临时表，可以把它注册成为`全局临时表`，`全局临时表`会一直存在并在所有会话中共享直到`应用程序`终止。

// 注册成为全局临时表
    teacherDF.createGlobalTempView("GlobalTeacher")
    
    // newSession()返回一个新的spark对象，引用全局临时表需要 global_temp 标识
    spark.newSession().sql("SELECT name,height FROM global_temp.GlobalTeacher WHERE height >= 170 and height <= 190").show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 8]

如果重复创建表的话会报错，提示表已经存在，此时就可以使用：`createOrReplaceGlobalTempView()`：

teacherDF.createOrReplaceGlobalTempView("GlobalTeacher")

# 0x04 保存 DataFrame 为其他格式 #

##### 1. 默认为Parquet格式 #####

`parquet` 是 Spark SQL 读取的`默认`数据文件格式，我们把先前从 JSON 中读取的 DataFrame 保存为这种格式，只保存名称和身高两项数据：

teacherDF.select("name", "height").write.format("parquet").save("/home/hadoop-sny/datas/teacher.parquet")

`/home/hadoop-sny/datas/teacher.parquet` 文件夹被会被创建并存入名称和身高。另开一个终端，可以查看文件夹下的内容：  
![在这里插入图片描述][20200830160745911.png_pic_center]

##### 2. 保存为其他格式 #####

此外，你也可以保存成一份json文件：

teacherDF.select("name", "height").write.format("json").save("/home/hadoop-sny/datas/teacher-test.json")

查看内容，如图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 9]

##### 3. 保存模式 #####

保存操作可以选择使用多种存储模式： `SaveMode` , 它可以指定如何处理现有数据。比如当执行 `Overwrite` 时, 在写入新数据之前，原有的数据将被删除。

<table> 
 <thead> 
  <tr> 
   <th>Scala/Java</th> 
   <th>Any Language</th> 
   <th>Meaning</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SaveMode.ErrorIfExists (default)</td> 
   <td>“error” (default)</td> 
   <td>将 DataFrame 保存到数据源时, 如果数据已经存在, 则会抛出异常</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Append</td> 
   <td>“append”</td> 
   <td>将 DataFrame 保存到数据源时, 如果 数据/表 已存在, 则 DataFrame 的内容将被附加到现有数据中</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Overwrite</td> 
   <td>“overwrite”</td> 
   <td>覆盖模式意味着将 DataFrame 保存到 数据源 时, 如果 数据表已经存在, 则预期 DataFrame 的内容将覆盖现有数据</td> 
  </tr> 
  <tr> 
   <td>SaveMode.Ignore</td> 
   <td>“ignore”</td> 
   <td>忽略模式意味着当将 DataFrame 保存到 数据源 时, 如果数据已经存在, 则保存操作预期不会保存 DataFrame 的内容, 并且不更改现有数据。这与 SQL 中的 CREATE TABLE IF NOT EXISTS 类似</td> 
  </tr> 
 </tbody> 
</table>

比如：使用`overwrite`方式以`parquet`形式写出去:

teacherDF.select("name", "height").write.format("json").mode("overwrite").save("/home/hadoop-sny/datas/teacher-test.json")

![在这里插入图片描述][20200830163333449.png_pic_center]  
退出原本的目录，重新进入查看一下文件，生成的时间变了，因为重新生成了文件，并且覆盖了以前生成的文件，其他的模式也是类似的，此处不再反复截图。

# 0x05 支持多种数据源 #

##### 1. 通用 load、save 函数 #####

`Spark SQL`的默认数据源格式为 `parquet` 格式。当文件是 `parquet` 格式时，`Spark SQL` 可以直接在该文件上执行查询操作。

代码示例如下：

val usersDF = spark.read.load("路径/users.parquet")
    usersDF.select("name", "age").write.save("namesAndAge.parquet")

##### 2. 指定其他格式数据源 #####

当数据源不是 `parquet` 文件却是`内置格式`的时候，使用指定简称`(json, jdbc, orc, libsvm, csv, text)`即可。同时还可以对 DataFrame 进行`类型转换`。

代码示例如下：

val usersDF = spark.read.format("json").load("路径/users.json")
    usersDF.select("name", "age").write.format("parquet").save("namesAndAges.parquet")

# 0xFF 总结 #

1.  本文的前置教程课程为： [Spark SQL快速入门（基础）][Spark SQL]，关于Spark SQL的操作还有很多知识，此处仅仅是入门教程，有机会再写相应的教程。
2.  关于RDD、DataFrame、DataSet的互相转换是非常重要的知识点，请留意我的博客，点赞、评论、关注，有时间分享给大家，谢谢！

--------------------

**福利：**  
[邵奈一的技术博客导航][Link 6]

邵奈一原创不易，如转载请标明出处，教育是一生的事业。

--------------------

[Spark SQL]: https://blog.csdn.net/shaock2018/article/details/108150741
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center]: /images/20210923/7f3a1817f4a94bb9b170e0bc6fff3fac.png
[20200826155529807.png_pic_center]: /images/20210923/cb4988f0285949b7b938d14057626df5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20210923/2d5de9252c3d4f11bc859a31e38a69ea.png
[20200826155205750.png_pic_center]: /images/20210923/acdf9595610f40a887fec7c8216f930b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20210923/cc0a73722f3e402ca810af54d0282e7a.png
[20200826160159664.png_pic_center]: /images/20210923/c6a1bc87bc6c470ba5539f3d74fd322e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20210923/fb7aae41f62f417484a41af3a038c32e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20210923/7e7f907a4db246ad915c3fac7d74c07b.png
[20200829182052116.png_pic_center]: /images/20210923/060cf0d151c34ca689518ce552595421.png
[20200829181912115.png_pic_center]: /images/20210923/9ea52a0641414c5dbb9a09c3c651569b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20210923/fef8365c0378490d865252e3a69dc2b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20210923/d4457d939825493da9a336cae2e10cdf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20210923/6839dd8258754311a62a1f5b551526cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20210923/e7fdc0f7606942f693f6d73436b1ca45.png
[20200830160745911.png_pic_center]: /images/20210923/01fd6516344d4311a6fb194b314692ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20210923/3064b648d9e74679978d0a3b8c458814.png
[20200830163333449.png_pic_center]: /images/20210923/68a9ef200adc4d8db37ed758f2016df3.png
[Link 1]: https://blog.csdn.net/shaock2018
[Link 2]: https://img-blog.csdnimg.cn/20190608000417972.jpeg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg=,size_16,color_FFFFFF,t_70
[Link 3]: https://img-blog.csdnimg.cn/20190514084602748.png
[Link 4]: https://weibo.com/5680168183/
[Link 5]: https://www.jianshu.com/u/6f033c6a3b90
[Link 6]: https://blog.csdn.net/shaock2018/article/details/89349249