Spark读取文本文档创建DataFrame, 通过RDD转换成DataFrame, 通过SparkSession构建DataFrame 20

电玩女神 2024-04-18 12:43 48阅读 0赞

# 前言 #

*  在Spark2.0版本之前,Spark SQL中SQLContext是创建DataFrame和执行SQL的入口,可以利用hiveContext通过hive sql语句操作hive表数据,兼容hive操作,并且hiveContext继承自SQLContext.
 *  在Spark2.0之后,这些都统一于**SparkSession**.**SparkSession**封装了SparkContext,SqlContext,通过SparkSession可以获取到SparkContext,SqlContent对象.  
    ![在这里插入图片描述][20190921145706159.png]

# 1. 读取文本文件创建DataFrame #

## 1.1 通过RDD转换成DataFrame ##

**文本文件即后缀为.txt的文件,如何读取呢,步骤如下:**

1.  在本地创建一个文件**person.txt**,有三列**id,name,age**.列中的值用空格分隔,然后上传到hdfs上.

1 zhangsan 20
    2 lisi 29
    3 wangwu 25
    4 zhaoliu 30
    5 tianqi 35
    6 kobe 40

**上传数据文件到hdfs上:**  
hdfs dfs -put person.text /  
2. 在spark shell执行如下命令,读取数据,将每一行的数据使用列分隔符分割.

*  先执行 **spark-shell --master local\[2\]**
 *  然后在命令行输入`val lineRDD = sc.textFile("/persont.txt").map(_.split(" "))`  
    ![在这里插入图片描述][20190921150758788.png]

1.  定义case class(相当于表的schema约束)  
    命令行继续输入`case class Person(id:Int, name:String, age:Int)`  
    ![在这里插入图片描述][20190921150922195.png]
2.  将RDD和case class关联  
    命令行继续输入`val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))`  
    ![在这里插入图片描述][20190921151322570.png]5. 将RDD转换成DataFrame  
    命令行继续输入`val personDF = personRDD.toDF`  
    ![在这里插入图片描述][20190921151414791.png]
3.  展示出DataFrame中的数据  
    命令行继续输入`personDF.show`  
    ![在这里插入图片描述][20190921151532428.png]  
    **我们可以看下personDF的约束**  
    ![在这里插入图片描述][20190921151651704.png]

## 1.2 通过SparkSession构建DataFrame ##

使用spark-shell中已经初始化好的SparkSession对象,直接生成DataFrame

*  先执行`spark-shell --master local[2]`
 *  命令行继续输入`val dataFrame = spark.read.text("/person.txt")`  
    ![在这里插入图片描述][20190921152509602.png]

[20190921145706159.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/271bc82085fd4014adbb7c20d85bcee6.png
[20190921150758788.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ad2beae19a4a468c93506155f554d0b6.png
[20190921150922195.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/911c26c6259b476e8d833b0beed2fa18.png
[20190921151322570.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/198b1a23340c4c1cb8331087747ce1fe.png
[20190921151414791.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e427335c9aec41df85eb76ab8a1d1ebf.png
[20190921151532428.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/54c2b44b75194ab8a6df685311fb1141.png
[20190921151651704.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/875f284e8b874174a2d87658094a0e69.png
[20190921152509602.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/deb61c74b3db402e913a1adc209cf852.png