spark dataframe操作集锦（提取前几行，合并，入库等）

迷南。 2022-06-15 10:16 174阅读 0赞

转载：http://blog.csdn.net/sparkexpert/article/details/51042970

[Spark][] dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。

在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。

首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。

而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到[Hive][]中。

不得不赞叹dataframe的强大。

具体示例：为了得到样本均衡的训练集，需要对两个数据集中各取相同的训练样本数目来组成，因此用到了这个功能。

[Scala][]> val fes = hiveContext.sql(sqlss)  
fes: org.apache.spark.sql.DataFrame = \[caller\_num: string, is\_sr: int, call\_count: int, avg\_talk\_time: double, max\_talk\_time: int, min\_talk\_time: int, called\_num\_count: int, called\_lsd: double, null\_called\_count: int\]  
  
  
scala> val fcount = fes.count()  
fcount: Long = 4371029  
  
scala> val zcfea = hiveContext.sql(sqls2)  
zcfea: org.apache.spark.sql.DataFrame = \[caller\_num: string, is\_sr: int, call\_count: int, avg\_talk\_time: double, max\_talk\_time: int, min\_talk\_time: int, called\_num\_count: int, called\_lsd: double, null\_called\_count: int\]  
  
  
scala> val zcount = zcfea.count()  
zcount: Long = 14208117  
  
  
scala> val f01 = fes.limit(25000)  
f01: org.apache.spark.sql.DataFrame = \[caller\_num: string, is\_sr: int, call\_count: int, avg\_talk\_time: double, max\_talk\_time: int, min\_talk\_time: int, called\_num\_count: int, called\_lsd: double, null\_called\_count: int\]  
  
  
scala> val f02 = zcfea.limit(25000)  
f02: org.apache.spark.sql.DataFrame = \[caller\_num: string, is\_sr: int, call\_count: int, avg\_talk\_time: double, max\_talk\_time: int, min\_talk\_time: int, called\_num\_count: int, called\_lsd: double, null\_called\_count: int\]  
  
  
scala> val ff=f01.unionAll(f02)  
ff: org.apache.spark.sql.DataFrame = \[caller\_num: string, is\_sr: int, call\_count: int, avg\_talk\_time: double, max\_talk\_time: int, min\_talk\_time: int, called\_num\_count: int, called\_lsd: double, null\_called\_count: int\]  
  
  
scala> ff.registerTempTable("ftable01")  
  
  
scala> hiveContext.sql("create table shtrainfeature as select \* from ftable01")  
res1: org.apache.spark.sql.DataFrame = \[\]

最后附上dataframe的一些操作及用法：

DataFrame 的函数  
Action 操作  
1、 collect() ,返回值是一个数组，返回dataframe集合所有的行  
2、 collectAsList() 返回值是一个[Java][]类型的数组，返回dataframe集合所有的行  
3、 count() 返回一个number类型的，返回dataframe集合的行数  
4、 describe(cols: String\*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果有字段为空，那么不参与运算，只这对数值类型的字段。例如df.describe("age", "height").show()  
5、 first() 返回第一行 ，类型是row类型  
6、 head() 返回第一行 ，类型是row类型  
7、 head(n:Int)返回n行  ，类型是row 类型  
8、 show()返回dataframe集合的值 默认是20行，返回类型是unit  
9、 show(n:Int)返回n行，，返回值类型是unit  
10、 table(n:Int) 返回n行  ，类型是row 类型

dataframe的基本操作  
1、 cache()同步数据的内存  
2、 columns 返回一个string类型的数组，返回值是所有列的名字  
3、 dtypes返回一个string类型的二维数组，返回值是所有列的名字以及类型  
4、 explan()打印执行计划  物理的  
5、 explain(n:Boolean) 输入值为 false 或者true ，返回值是unit  默认是false ，如果输入true 将会打印 逻辑的和物理的  
6、 isLocal 返回值是Boolean类型，如果允许模式是local返回true 否则返回false  
7、 persist(newlevel:StorageLevel) 返回一个dataframe.this.type 输入存储模型类型  
8、 printSchema() 打印出字段名称和类型 按照树状结构来打印  
9、 registerTempTable(tablename:String) 返回Unit ，将df的对象只放在一张表里面，这个表随着对象的删除而删除了  
10、 schema 返回structType 类型，将字段名称和类型按照结构体类型返回  
11、 toDF()返回一个新的dataframe类型的  
12、 toDF(colnames：String\*)将参数中的几个字段返回一个新的dataframe类型的，  
13、 unpersist() 返回dataframe.this.type 类型，去除模式中的数据  
14、 unpersist(blocking:Boolean)返回dataframe.this.type类型 true 和unpersist是一样的作用false 是去除RDD  
  
集成查询：  
1、 agg(expers:column\*) 返回dataframe类型 ，同数学计算求值  
df.agg(max("age"), avg("salary"))  
df.groupBy().agg(max("age"), avg("salary"))  
2、 agg(exprs: Map\[String, String\])  返回dataframe类型 ，同数学计算求值 map类型的  
df.agg(Map("age" -> "max", "salary" -> "avg"))  
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))  
3、 agg(aggExpr: (String, String), aggExprs: (String, String)\*)  返回dataframe类型 ，同数学计算求值  
df.agg(Map("age" -> "max", "salary" -> "avg"))  
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))  
4、 apply(colName: String) 返回column类型，捕获输入进去列的对象  
5、 as(alias: String) 返回一个新的dataframe类型，就是原来的一个别名  
6、 col(colName: String)  返回column类型，捕获输入进去列的对象  
7、 cube(col1: String, cols: String\*) 返回一个GroupedData类型，根据某些字段来汇总  
8、 distinct 去重 返回一个dataframe类型  
9、 drop(col: Column) 删除某列 返回dataframe类型  
10、 dropDuplicates(colNames: Array\[String\]) 删除相同的列 返回一个dataframe  
11、 except(other: DataFrame) 返回一个dataframe，返回在当前集合存在的在其他集合不存在的  
12、 explode\[A, B\](inputColumn: String, outputColumn: String)(f: (A) ⇒ TraversableOnce\[B\])(implicit arg0: scala.reflect.api.JavaUniverse.TypeTag\[B\]) 返回值是dataframe类型，这个 将一个字段进行更多行的拆分  
df.explode("name","names") \{name :String=> name.split(" ")\}.show();  
将name字段根据空格来拆分，拆分的字段放在names里面  
13、 filter(conditionExpr: String): 刷选部分数据，返回dataframe类型 df.filter("age>10").show();  df.filter(df("age")>10).show();   df.where(df("age")>10).show(); 都可以  
14、 groupBy(col1: String, cols: String\*) 根据某写字段来汇总返回groupedate类型   df.groupBy("age").agg(Map("age" ->"count")).show();df.groupBy("age").avg().show();都可以  
15、 intersect(other: DataFrame) 返回一个dataframe，在2个dataframe都存在的元素  
16、 join(right: DataFrame, joinExprs: Column, joinType: String)  
一个是关联的dataframe，第二个关联的条件，第三个关联的类型：inner, outer, left\_outer, right\_outer, leftsemi  
df.join(ds,df("name")===ds("name") and  df("age")===ds("age"),"outer").show();  
17、 limit(n: Int) 返回dataframe类型  去n 条数据出来  
18、 na: DataFrameNaFunctions ，可以调用dataframenafunctions的功能区做过滤 df.na.drop().show(); 删除为空的行  
19、 orderBy(sortExprs: Column\*) 做alise排序  
20、 select(cols:string\*) dataframe 做字段的刷选 df.select($"colA", $"colB" + 1)  
21、 selectExpr(exprs: String\*) 做字段的刷选 df.selectExpr("name","name as names","upper(name)","age+1").show();  
22、 sort(sortExprs: Column\*) 排序 df.sort(df("age").desc).show(); 默认是asc  
23、 unionAll(other:Dataframe) 合并 df.unionAll(ds).show();  
24、 withColumnRenamed(existingName: String, newName: String) 修改列表 df.withColumnRenamed("name","names").show();  
25、 withColumn(colName: String, col: Column) 增加一列 df.withColumn("aa",df("name")).show();

例子：

利用withColumn函数就能实现对dataframe中列的添加。但是由于withColumn这个函数中的第二个参数col必须为原有的某一列。所以默认先选择了个ID。

[Scala][]> val df = sqlContext.range(0, 10)  
df: org.apache.[Spark][].sql.DataFrame = \[id: bigint\]  
  
  
scala> df.show()  
\+---+  
| id|  
\+---+  
|  0|  
|  1|  
|  2|  
|  3|  
|  4|  
|  5|  
|  6|  
|  7|  
|  8|  
|  9|  
\+---+  
  
  
  
  
scala> df.withColumn("bb",col(id)\*0)  
<console>:28: error: not found: value id  
              df.withColumn("bb",col(id)\*0)  
                                     ^  
  
  
scala> df.withColumn("bb",col("id")\*0)  
res2: org.apache.spark.sql.DataFrame = \[id: bigint, bb: bigint\]  
  
  
scala> df.show()  
\+---+  
| id|  
\+---+  
|  0|  
|  1|  
|  2|  
|  3|  
|  4|  
|  5|  
|  6|  
|  7|  
|  8|  
|  9|  
\+---+  
  
  
  
  
scala> res2.show()  
\+---+---+  
| id| bb|  
\+---+---+  
|  0|  0|  
|  1|  0|  
|  2|  0|  
|  3|  0|  
|  4|  0|  
|  5|  0|  
|  6|  0|  
|  7|  0|  
|  8|  0|  
|  9|  0|  
\+---+---+

[Spark]: http://lib.csdn.net/base/spark
[Hive]: http://lib.csdn.net/base/hive
[Scala]: http://lib.csdn.net/base/scala
[Java]: http://lib.csdn.net/base/javase