Spark RDD转换为DataFrame

女爷i 2022-01-07 10:53 355阅读 0赞

`#构造case class，利用反射机制隐式转换`

`scala> ``import` `spark.implicits._`

`scala> val rdd= sc.textFile(``"input/textdata.txt"``)`

`scala> ``case` `class Person(``id``:Int,name:String)`

`scala> val ``df` `= rdd.map(_.``split``(``","``)).map(x=>Person(x(0).toInt,x(1))).toDF`

`scala> ``df``.show`

`+---+--------+`

`| ``id``| name|`

`+---+--------+`

`| 1|zhangsan|`

`| 2| lisi|`

`| 3| wangwu|`

`| 4| zhaoliu|`

`+---+--------+`

`#通过schema，Row构造dataframe`

`scala> ``import` `org.apache.spark.sql.types._`

`scala> ``import` `org.apache.spark.sql.Row`

`scala> val structFields = Array(StructField(``"id"``,IntegerType,``true``),StructField(``"name"``,StringType,``true``))`

`scala> val structType = StructType(structFields) ``#创建schema结构`

`scala> val lines= sc.textFile(``"input/textdata.txt"``)`

`scala> val rdd = lines.map(_.``split``(``","``)).map(x=>Row(x(0).toInt,x(1))) ``#创建RDD[Row]`

`scala> val ``df` `= spark.createDataFrame(rdd,structType) ``#通过RDD[Row],schema构建DataFrame`

`scala> ``df``.show`

`+---+--------+`

`| ``id``| name|`

`+---+--------+`

`| 1|zhangsan|`

`| 2| lisi|`

`| 3| wangwu|`

`| 4| zhaoliu|`

`+---+--------+`

`cat` `textdata.txt`

`1,zhangsan`

`2,lisi`

`3,wangwu`

`4,zhaoliu`

发表评论取消回复

表情：

评论列表（有 0 条评论，355人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark之RDD、DataSet、DataFrame转换

前面已经给大家说过RDD、DataSet、DataFrame三者之间的关系以及区别，各自都有各自的优劣。RDD、DataFrame、Dataset三者有许多共性，有各自适用的场

偏执的太偏执、/ 2022年11月28日 00:52/ 0 赞/ 436 阅读

相关 Spark将RDD转换成DataFrame的两种方式

http://zhao-rock.iteye.com/blog/2328161 介绍一下Spark将RDD转换成DataFrame的两种方式。 1.通过是使用case

野性酷女/ 2022年06月15日 07:47/ 0 赞/ 283 阅读

相关 Spark系列--SparkSQL(四)RDD、DataFrame、DataSet之间的转换

前言创建DataFrame主要有三种方式：从Spark数据源进行创建从RDD进行转换从Hive Table进行查询返回(后面讲述) 一、R

Love The Way You Lie/ 2022年05月19日 08:55/ 0 赞/ 248 阅读

相关 DataFrame，将RDD转换成DataFrame

DataFrame相对于一张表第一步创建一个普通的RDD，但是必须将其转换为RDD<Row>的这种格式 JavaRDD<Row> rows = lines.map

短命女/ 2022年05月16日 07:35/ 0 赞/ 335 阅读

相关 spark sql： rdd 和 DataFrame的转换

1， DataFrame和 DataSet的关系 type DataFrame = Dataset[Row] 2， RDD 和 DataFrame 的关系

「爱情、让人受尽委屈。」/ 2022年04月13日 14:53/ 0 赞/ 286 阅读

相关 Spark之RDD与DataFrame互相转换

在Spark中RDD转换为DataFrame一共有两种方法。一种是基于一个封装数据的类去转换，另一种是通过结构类型去转换，下面分别介绍。基于封装数据的类去转换（反射方式）

左手的ㄟ右手/ 2022年03月26日 11:50/ 0 赞/ 336 阅读

相关 Spark RDD转换成DataFrame的两种方式

Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种

阳光穿透心脏的1/2处/ 2022年01月11日 15:05/ 0 赞/ 426 阅读

相关 Spark之 RDD转换成DataFrame的Scala实现

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>s

水深无声/ 2022年01月07日 10:57/ 0 赞/ 351 阅读

相关 Spark RDD转换为DataFrame

`构造case class，利用反射机制隐式转换` `scala> ``import` `spark.implicits._` `scala> val rdd= sc.te

女爷i/ 2022年01月07日 10:53/ 0 赞/ 356 阅读

相关 spark-core-> spark-sql: rdd转化为dataFrame

rdd.toDF val rdd1 = rdd.map(result => { val f1 = Bytes.toString(result.getV

一时失言乱红尘/ 2021年12月10日 16:25/ 0 赞/ 318 阅读