Structure Streaming-RateResource

╰+哭是因爲堅強的太久メ 2023-02-20 03:17 107阅读 0赞

以固定的速率生成固定格式的数据, 用来测试 Structured Streaming 的性能.

  1. import org.apache.spark.sql.SparkSession
  3. object rateSource { 
  4.   def main(args: Array[String]): Unit = { 
  5.     val spark = SparkSession
  6.       .builder()
  7.       .master("local[*]")
  8.       .appName("rateSource")
  9.       .getOrCreate()
  10.     import spark.implicits._
  12.     val df = spark.readStream
  13.       .format("rate")
  14.       //每秒1000条
  15.       .option("rowsPerSecond", 1000)
  16.       .option("rampUpTime", 1)
  17.       .option("numPartitions", 3)
  18.       .load()
  20.     df.writeStream
  21.       .format("console")
  22.       .outputMode("update")
  23.       .option("truncate",false)
  24.       .start()
  25.       .awaitTermination()
  27.   }
  29. }

发表评论

表情：
评论列表 （有 0 条评论，107人围观）

还没有评论，来说两句吧...

相关阅读