spark之Dataframe保存模式

╰+哭是因爲堅強的太久メ 2022-12-12 12:26 266阅读 0赞

以前spark.write时总要先把原来的删了，但其实是可以设置写入模式的。

  1. val df =  spark.read.parquet(input)
  3. df.write.mode("overwrite").parquet(output)

dataframe写入的模式一共有4种:

  1. overwrite 覆盖已经存在的文件
  2. append 向存在的文件追加
  3. ignore 如果文件已存在，则忽略保存操作

  4. error / default 如果文件存在，则报错

    def mode(saveMode: String): DataFrameWriter = {

    1. this.mode = saveMode.toLowerCase match {
    2.   case "overwrite" => SaveMode.Overwrite              
    3.   case "append" => SaveMode.Append                    
    4.   case "ignore" => SaveMode.Ignore                    
    5.   case "error" | "default" => SaveMode.ErrorIfExists  
    6.   case _ => throw new IllegalArgumentException(s"Unknown save mode: $saveMode. " +
    7.     "Accepted modes are 'overwrite', 'append', 'ignore', 'error'.")
    8. }
    9. this

    }

发表评论

表情：
评论列表 （有 0 条评论，266人围观）

还没有评论，来说两句吧...

相关阅读