spark-core-> spark-sql: rdd转化为dataFrame

一时失言乱红尘 2021-12-10 16:25 301阅读 0赞

# rdd.toDF #

val rdd1 = rdd.map(result => {
      val f1 = Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("field1")))
      val f2 = Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("field2")))
    
      (f1, f2)
    })
    
    val sQLContext = new SQLContext(sc)
    import sQLContext.implicits._
    val df1 = rdd1.toDF("id", "name")
    df1.registerTempTable("table1")

# 2, sqlContext.createDataFrame(rdd,structType) #

val rowRDD1 = rdd1.map(result => result._2).map(c => {
      val f1 = Bytes.toString(c.getValue(Bytes.toBytes("f"), Bytes.toBytes("field1")))
      val f2 = Bytes.toString(c.getValue(Bytes.toBytes("f"), Bytes.toBytes("field2")))
      Row(f1,f2)
    })
    
    val schema1 = StructType(
      List(
      	StructField("id", StringType, true),
      	StructField("name", IntegerType, true)  
      )
    )
    
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)
    val df1 = sqlContext.createDataFrame(rowRDD1, schema1)
    df1.registerTempTable("table1")

发表评论取消回复

表情：

评论列表（有 0 条评论，301人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkCore RDD概述

1 RDD 概述 1.1 什么是 RDD 　　RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本...

ゝ一纸荒年。/ 2024年04月20日 09:08/ 0 赞/ 104 阅读

相关 dataset dataframe rdd区别和互相转化

DataFrame、Dataset、RDD的区别与联系及相互之间的转换本文主要讲解Apache Spark 2.0中RDD，DataFrame和Dataset三种数据组织

素颜马尾好姑娘i/ 2023年11月11日 06:56/ 0 赞/ 141 阅读

相关 SparkSQL保存DataFrame为CSV文件

ReadShipMMSITwo package com.xtd.file import java.io.{ BufferedWriter, File

女爷i/ 2023年02月11日 10:25/ 0 赞/ 45 阅读

相关 SparkCore之RDD序列化

SparkCore之RDD序列化 > 在SparkRDD编程中，初始化工作是在Driver端进行的，而实际运行程序是在Executor端进行的，涉及到了跨进程通信，是需要

Myth丶恋晨/ 2022年12月31日 06:24/ 0 赞/ 206 阅读

相关 SparkCore（二）：RDD基础

文章目录一、什么是RDD 二、RDD核心属性三、RDD执行原理四、RDD创建 `Spark`计算框架为了能够进行高并发和高吞吐的数据处理，

青旅半醒/ 2022年12月08日 04:17/ 0 赞/ 236 阅读

相关 Spark系列--SparkSQL(四)RDD、DataFrame、DataSet之间的转换

前言创建DataFrame主要有三种方式：从Spark数据源进行创建从RDD进行转换从Hive Table进行查询返回(后面讲述) 一、R

Love The Way You Lie/ 2022年05月19日 08:55/ 0 赞/ 236 阅读

相关 Spark系列--SparkSQL(二)RDD、DataFrame、DataSet

前言在SparkCore中我们知道数据抽象是RDD，在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么

一时失言乱红尘/ 2022年05月19日 05:16/ 0 赞/ 266 阅读

相关 sparksql: RDD ,DataFrame, DataSet

1, 基本概念 spark 1.5及以前 <table> <thead> <tr> <th>范围</th> <th align="lef

太过爱你忘了你带给我的痛/ 2022年02月27日 11:28/ 0 赞/ 334 阅读

相关 Spark RDD转换为DataFrame

`构造case class，利用反射机制隐式转换` `scala> ``import` `spark.implicits._` `scala> val rdd= sc.te

女爷i/ 2022年01月07日 10:53/ 0 赞/ 342 阅读

相关 spark-core-> spark-sql: rdd转化为dataFrame

rdd.toDF val rdd1 = rdd.map(result => { val f1 = Bytes.toString(result.getV

一时失言乱红尘/ 2021年12月10日 16:25/ 0 赞/ 302 阅读