Structure streaming-file sink

女爷i 2023-02-20 06:29 37阅读 0赞

存储输出到目录中 仅仅支持 append 模式
需求: 把单词和单词的反转组成 json 格式写入到目录中

  1. import org.apache.spark.sql.SparkSession
  3. object FileSink { 
  4.   def main(args: Array[String]): Unit = { 
  5.     val spark = SparkSession
  6.       .builder()
  7.       .master("local[1]")
  8.       .appName("Test")
  9.       .getOrCreate()
  10.     import spark.implicits._
  12.     val lines = spark.readStream
  13.       .format("socket")
  14.       .option("host", "hadoop102")
  15.       .option("port", 10001)
  16.       .load()
  18.     val words = lines.as[String].flatMap(line => { 
  19.       line.split(" ").map(word => { 
  20.         (word, word.reverse)
  21.       })
  22.     }).toDF("原单词", "反单词")
  24.     words.writeStream
  25.       .outputMode("append")
  26.       .format("json")  //支持json orc csv
  27.       .option("path","./filesink")
  28.       .option("checkpointLocation","./ck1")  //必须指定checkpointLocation
  29.       .start()
  30.       .awaitTermination()
  31.   }
  33. }

在这里插入图片描述
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，37人围观）

还没有评论，来说两句吧...

相关阅读