spark之Dataframe保存模式

╰+哭是因爲堅強的太久メ 2022-12-12 12:26 265阅读 0赞

以前spark.write时总要先把原来的删了,但其实是可以设置写入模式的。

  1. val df = spark.read.parquet(input)
  2. df.write.mode("overwrite").parquet(output)

dataframe写入的模式一共有4种:

  1. overwrite 覆盖已经存在的文件
  2. append 向存在的文件追加
  3. ignore 如果文件已存在,则忽略保存操作
  4. error / default 如果文件存在,则报错

    def mode(saveMode: String): DataFrameWriter = {

    1. this.mode = saveMode.toLowerCase match {
    2. case "overwrite" => SaveMode.Overwrite
    3. case "append" => SaveMode.Append
    4. case "ignore" => SaveMode.Ignore
    5. case "error" | "default" => SaveMode.ErrorIfExists
    6. case _ => throw new IllegalArgumentException(s"Unknown save mode: $saveMode. " +
    7. "Accepted modes are 'overwrite', 'append', 'ignore', 'error'.")
    8. }
    9. this

    }

发表评论

表情:
评论列表 (有 0 条评论,265人围观)

还没有评论,来说两句吧...

相关阅读