Flink window和time 窗口介绍

桃扇骨 2022-11-19 07:54 196阅读 0赞

## Flink WINDOW和TIME ##

### Window 类型分类 ###

1.  CountWindow
2.  TimeWindow
    
    1.  TumblingWindow
    2.  SlidingWindow
    3.  SessionWindow

### Time Window 类型分类 ###

1.  EventTime
2.  IngestTime
3.  ProcessingTime

### Window 详细介绍 ###

1、window api 定义

`datastream.keyBy(...).window(...).reduce()/apply()......`

2、Window 类型图解

![19ee5ed20c4496426cd844501450f9d8.png][]

### TumblingWindow 详细介绍 ###

1、定义：将数据依据固定窗口长度对数据进行切割。

2、列子：

.timeWindow(Time.seconds(30)) // 每30秒计算一个时间窗口
    .countWindow(100) // 统计每100个元素做计算

3、特点：时间对齐、窗口长度固定

4、适合场景：适合做BI统计等（做每个时间段的聚合计算）

### SlidingWindow 详细介绍 ###

1、定义: 窗口和窗口之间是重叠的，由滑动窗口航渡和滑动间隔组成

2、例子：

.countWindow(1000,10) //每10个元素，对过去1000元素计算
    .timeWindow(Time.seconds(1000),Time.seconds(10))  //没每10秒，对过去1000秒的元素做计算

3、特点：窗口长度固定，有重叠

4、适合场景：可以做一些报警统计等。

### SessionWindow 详细介绍 ###

1、定义：理解类似于 WEB 的应用的session，一段时间内没有接收到数据就会生成新的窗口

2、例子

.window(SessionWindows.withGap(Time.minutes(10)))

3、特点：时间不对齐

4、适合场景：对线上用户的行为分析等

### Time Window 详细介绍 ###

1、首先先理解三种时间

1. EventTime 事件时间、日志时间
    2. IngestTime 进入 Flink 的时间（进入datasource的时间）
    3. ProcessingTime Flink 处理的时间

2、官方图解

![362d43d0146408650ce467693cc6179b.png][]

3、 一些重要概念的理解

1. watermarket 水位线，决定着窗口是否触发，小于水位线的数据默认会丢弃  
2. 对延迟数据的处理  
1. 默认是丢弃  
2. 可以通过设置延迟窗口触发，例如本来18:00触发的窗口 ，可以通过代码让其延迟两分钟计算（18:02）。  
3. 延迟的数据可以通过sideOutputTag 落入hdfs或者hbase等。  
4. watermarkt 分为两类基于Timer的，定时发送，核puncuated watermarks 基于某些事件触发watermark的生成和发送

[19ee5ed20c4496426cd844501450f9d8.png]: /images/20221119/3c212b16b8794e398555124248de91a7.png
[362d43d0146408650ce467693cc6179b.png]: https://img-blog.csdnimg.cn/img_convert/362d43d0146408650ce467693cc6179b.png