八.SparkSQL之外部数据源操作parquet文件

爱被打了一巴掌 2022-05-08 12:54 258阅读 0赞

**一.引言**  
     前面讲的SparkSQL都是通过代码操作,这里换另外一种方式,通过命令的形式进行操作,实际就是代码放在命令行中执行.  
概念:  
     方便快速的从不同的数据源(json,parquet,rdbms),经过混和处理(json,join,parquet)再将处理结果以特定的格式(json,parquet)写会到指定的系统(HDFS,S3)上去.  
**二.实例演示**

1.启动spark-shell  
在spark的bin目录下执行以下命令:

> ./spark-shell --master local\[2\] --jars ~/software/mysql-connector-java-5.1.38.jar  
> 进入到scala的命令行

2.读取parquet的文件数据源,需要制定类型format(读取文件默认的是parquet格式,但是读取其他类型的文件需要指定格式)

> val userDF = spark.read.format(“parquet”).load(“file:///root/spark/spark-2.0.2->bin-hadoop2.7/examples/src/main/resources/users.parquet”)  
> ![在这里插入图片描述][70]

3.通过输出命令进行查看  
![在这里插入图片描述][70 1]  
![在这里插入图片描述][70 2]

//展示两列数据源
      userDF.select("name","favorite_color").show()

![在这里插入图片描述][70 3]  
4.写方法,以json的形式写在一个新的路径下的文件下  
    源数据是parquet类型的文件,读取到之后的数据通过write方法,以json的形式重新存储到新的文件中.  
命令代码如下:

userDF.select("name","favorite_color").write.format("json").save("file:///root/spark/tmp/jsonout")

显示结果:  
![在这里插入图片描述][70 4]

以上就完成了外部数据源操作parquet文件.就是这么简单…

[70]: /images/20220508/4ac30c569821400c87b38b75d5663cae.png
[70 1]: /images/20220508/2b3b53654b8f415cbb767b1e60df3b9f.png
[70 2]: /images/20220508/4d1cad8322f84c5ca9806ce742d4531d.png
[70 3]: /images/20220508/3993059935d54d50adb9beb343b35fd2.png
[70 4]: /images/20220508/5d094a24b9bc4d1faa3bb4269b710eff.png