spark 从Rdd 构造df 报错

墨蓝 2022-05-23 00:50 158阅读 0赞

### 问题一 ###

如下报错，
    第4行定义的action_time 的形式如下：
     StructField("action_time", StringType, nullable = false)
     即不允许为空，但是转换的数据中有对应不上的。所以会报错。
    Caused by: java.lang.RuntimeException: The 4th field 'action_time' of input row cannot be null.
    这里的4th 其实指的是第五列的内容。

### 问题二 ###

如下报错：
    Caused by: java.lang.RuntimeException: java.lang.Long is not a valid external type for schema of string
    
    spark 的schema 定义和对应的数据对应不上，所以报错。
    val schema = Array(
                StructField("session_id",StringType, nullable = false),
                StructField("user_id", LongType, nullable = false),
                StructField("page_id", LongType, nullable = false),
                StructField("action_time", StringType, nullable = false),
                StructField("search_keyword", StringType, nullable = true),
                StructField("click_category_id", LongType, nullable = true),
                StructField("click_procduct_id", LongType, nullable = true),
                StructField("order_category_ids", StringType, nullable = true),
                StructField("order_product_ids", StringType, nullable = true),
                StructField("pay_category_ids", StringType, nullable = true),
                StructField("pay_product_ids", StringType, nullable = true),
                StructField("date", StringType, nullable = false)
            )

发表评论取消回复

表情：

评论列表（有 0 条评论，158人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark 报错

maven打包时报错：报错信息： "D:\Program Files\Java\jdk1.8.0_131\bin\java" -Dmaven.multi...

Bertha 。/ 2024年04月20日 09:09/ 0 赞/ 64 阅读

相关 spark spark-shell报错

相关版本：spark-1.6.0-cdh5.7.0 ![70][] spark-shell --master yarn --jars /home/hadoo

柔光的暖阳◎/ 2024年02月18日 18:25/ 0 赞/ 28 阅读

相关 Spark RDD

Spark RDD概述弹性分布式数据集 Resilient Distributed Datasets (RDDs)，是Spark中最基本的数据（计算）抽象。代码中是一个

淡淡的烟草味﹌/ 2023年05月31日 10:09/ 0 赞/ 35 阅读

相关 Spark/RDD

每一个Spark应用(Job),都是由一个驱动程序(Driver)构成，它运行用户的main函数。 RDD，是一个元素集合，划分到集群的各个节点上，可以被并行操作。

迈不过友情╰/ 2022年08月08日 06:11/ 0 赞/ 204 阅读

相关 Spark RDD

转载：http://www.infoq.com/cn/articles/spark-core-rdd/ 与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，

我不是女神ヾ/ 2022年06月14日 00:42/ 0 赞/ 214 阅读

相关 spark RDD

RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD

落日映苍穹つ/ 2022年06月03日 10:16/ 0 赞/ 286 阅读

相关 spark 从Rdd 构造df 报错

问题一如下报错，第4行定义的action_time 的形式如下： StructField("action_time", StringType

墨蓝/ 2022年05月23日 00:50/ 0 赞/ 159 阅读

相关 Spark-RDD

Resilient Distributed Dataset（RDD：弹性分布式数据集）概览：在较高的层次上，每个Spark应用程序都包含一个驱动程序，该程序运行

刺骨的言语ヽ痛彻心扉/ 2022年05月17日 06:50/ 0 赞/ 231 阅读

相关 spark报错集锦

在虚拟机运行spark-shell命令报错：问题1：启动hadoop和spark后在终端输入spark-shell命令报错如下： ![watermark_type_ZmF

喜欢ヅ旅行/ 2022年04月18日 05:47/ 0 赞/ 249 阅读

相关 Spark_RDD

前文： RDD算子一、基本操作(懒算子) 启动：sh spark-shell --master=local 1、不同输入集合 ![waterm

╰+哭是因爲堅強的太久メ/ 2021年12月19日 23:41/ 0 赞/ 333 阅读