Spark Streaming之Window Operations操作和解析 谁借莪1个温暖的怀抱¢ 2024-02-19 16:52 10阅读 0赞 ### Spark Streaming之Window Operations ### 官网:[http://spark.apache.org/docs/latest/streaming-programming-guide.html][http_spark.apache.org_docs_latest_streaming-programming-guide.html] ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70] ### IDEA操作 ### package g5.learning import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} import scala.collection.mutable.ListBuffer object WindowApp { def main(args: Array[String]): Unit = { //准备工作 val conf = new SparkConf().setMaster("local[2]").setAppName("WindowApp") val ssc = new StreamingContext(conf, Seconds(10)) //业务逻辑 val lines = ssc.socketTextStream("hadoop001", 9999) lines.flatMap(_.split(",")).map((_,1)).reduceByKeyAndWindow((a:Int,b:Int) => (a + b), Seconds(10), Seconds(10)) .print() //streaming的启动 ssc.start() // Start the computation ssc.awaitTermination() // Wait for the computation to terminate } } ### 注意: ### **1.数据可以交叉,也可以不交叉,主要是看你配置的参数** window length - The duration(持续) of the window (3 in the figure). sliding interval - The interval at which the window operation is performed (2 in the figure). **2.这里涉及到3个时间参数,是有一定的关系的** These two parameters must be multiples of the batch(一批) interval of the source DStream (1 in the figure). window length和sliding interval必须是(conf, Seconds(10))这个时间参数的整数倍 [http_spark.apache.org_docs_latest_streaming-programming-guide.html]: http://spark.apache.org/docs/latest/streaming-programming-guide.html [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/01ac662a7b4f48b7b32dc84abe9bb75d.png
相关 Java 8 Stream API 操作案例解析 Java 8的Stream API提供了一种新的、并行的处理集合元素的方式。以下是一些常见的Stream操作案例: 1. **过滤**:根据某种条件筛选元素。 ```java 墨蓝/ 2024年09月11日 07:51/ 0 赞/ 19 阅读
相关 Spark Streaming之Window Operations操作和解析 Spark Streaming之Window Operations 官网:[http://spark.apache.org/docs/latest/streaming-p 谁借莪1个温暖的怀抱¢/ 2024年02月19日 16:52/ 0 赞/ 11 阅读
相关 Spark Streaming之window滑动窗口详解 window滑动窗口 Spark Streaming提供了滑动窗口操作的支持,从而让我们可以对一个滑动窗口内的数据执行 计算操作。每次掉落在窗口内的RDD的数据,会被聚合起 客官°小女子只卖身不卖艺/ 2022年12月29日 14:24/ 0 赞/ 296 阅读
相关 Spark Streaming之foreachRDD操作详解 DStream中的所有计算,都是由output操作触发的,比如print()。如果没有任何output操作, 那么,压根儿就不会执行定义的计算逻辑。 此外,即使你使用了for 心已赠人/ 2022年12月29日 02:20/ 0 赞/ 149 阅读
相关 Spark Streaming之window(窗口操作) Spark Streaming 还提供了窗口的计算,它允许通过滑动窗口对数据进行转换,窗口转换操作如下图 所示: ![在这里插入图片描述][watermark_type_Z 今天药忘吃喽~/ 2022年12月04日 09:19/ 0 赞/ 526 阅读
相关 Flink Streaming (DataStream API) Operators - Windows Window 官方文档翻译 Watermark 的理解 -------------------- Application Development / Bertha 。/ 2022年10月02日 04:49/ 0 赞/ 151 阅读
相关 Spark系列--Spark Streaming(九)SQL Operations and Caching 一、DataFrame and SQL Operations 你可以很容易地在流数据上使用DataFrames和SQL。你必须使用SparkContext来创建Strea 妖狐艹你老母/ 2022年05月18日 08:27/ 0 赞/ 153 阅读
相关 [spark streaming] DStream 和 DStreamGraph 解析 前言 Spark Streaming 是基于Spark Core将流式计算分解成一系列的小批处理任务来执行。 在Spark Streaming里,总体负责任务的动态调度 冷不防/ 2022年05月15日 10:26/ 0 赞/ 157 阅读
相关 Spark之SparkSQL内核解析 SparkSQL内核解析 使用SparkSQL引擎去解析SQL与其它的SQL执行引擎也是非常相似的,都要进过未解析逻辑计划-->解析后的逻辑计划-->逻辑计划优化-->物 谁借莪1个温暖的怀抱¢/ 2022年04月23日 01:32/ 0 赞/ 287 阅读
还没有评论,来说两句吧...