把RDD简单的转换成DataFrames

àì夳堔傛蜴生んèń 2024-02-19 15:20 54阅读 0赞

### 一：准备 ###

**在pom中配置hive**

<dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-hive_2.11</artifactId>
          <version>${spark.version}</version>
        </dependency>

### 二：操作 ###

package g5.learning
    
    import org.apache.spark.sql.SparkSession
    
    object SparkSessionApp {
      def main(args: Array[String]): Unit = {
        val  sparksession= SparkSession.builder().appName("SparkSessionApp")
          .master("local[2]")
          .enableHiveSupport()//使用到hive一定要开启这个
          .getOrCreate()
    
    
    //    sparksession.sparkContext.parallelize(Array(1,2,3,4)).collect().foreach( println)
        import sparksession.implicits._  //这个是隐式转换
        val g5 = sparksession.sparkContext.parallelize(Array(("1","欢迎"),("2","你好"),("3","大白")))//这是一个rdd
            .toDF("id","name ")
        g5.show()
    //    sparksession.table("ruoze_emp").show
        sparksession.stop()
      }
    
    }

### 三：注意 ###

import sparksession.implicits.\_ //这个是隐式转换  
.enableHiveSupport()//使用到hive一定要开启这个

发表评论取消回复

表情：

评论列表（有 0 条评论，54人围观）

还没有评论，来说两句吧...

相关阅读

相关把RDD简单的转换成DataFrames

一：准备在pom中配置hive <dependency> <groupId>org.apache.spark</groupId>

àì夳堔傛蜴生んèń/ 2024年02月19日 15:20/ 0 赞/ 55 阅读

相关 pandas 把字典转换成DataFrame

把dictd = \{'A':0\}转换成DataFrame，首先，DataFrame的语法格式应为： import pandas as pd df = pd.D

太过爱你忘了你带给我的痛/ 2023年06月14日 07:58/ 0 赞/ 50 阅读

相关 Spark SQL中rdd转换成DataFrame的五种方式

Spark SQL中生成DataFrame的五种方式以前公司用的是spark-core，但是换工作后用的多是spark-sql，spark-dataframe。最近学习

「爱情、让人受尽委屈。」/ 2023年01月10日 14:31/ 0 赞/ 274 阅读

相关 RDD和Dataframe相互转换

参考：https://www.cnblogs.com/starwater/p/6841807.html 在spark中，RDD、DataFrame、Dataset是最常用的数

痛定思痛。/ 2022年12月13日 11:30/ 0 赞/ 240 阅读

相关 Spark将RDD转换成DataFrame的两种方式

http://zhao-rock.iteye.com/blog/2328161 介绍一下Spark将RDD转换成DataFrame的两种方式。 1.通过是使用case

野性酷女/ 2022年06月15日 07:47/ 0 赞/ 257 阅读

相关从RDD转换得到DataFrame

Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是，利用反射来推断包含特定类型对象的RDD的schema，适用对已知数据结构的RDD转换；第二种

今天药忘吃喽~/ 2022年06月07日 05:48/ 0 赞/ 234 阅读

相关 DataFrame，将RDD转换成DataFrame

DataFrame相对于一张表第一步创建一个普通的RDD，但是必须将其转换为RDD<Row>的这种格式 JavaRDD<Row> rows = lines.map

短命女/ 2022年05月16日 07:35/ 0 赞/ 314 阅读

相关 Spark RDD转换成DataFrame的两种方式

Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种

阳光穿透心脏的1/2处/ 2022年01月11日 15:05/ 0 赞/ 397 阅读

相关 Spark之 RDD转换成DataFrame的Scala实现

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>s

水深无声/ 2022年01月07日 10:57/ 0 赞/ 325 阅读

相关 Spark RDD转换为DataFrame

`构造case class，利用反射机制隐式转换` `scala> ``import` `spark.implicits._` `scala> val rdd= sc.te

女爷i/ 2022年01月07日 10:53/ 0 赞/ 329 阅读