Flink中的容错机制

男娘i 2023-01-17 09:29 91阅读 0赞

## 一、检查点 ##

### 1.1 一致性检查点（Checkpoints）概念 ###

Flink故障恢复机制的核心，就是**应用状态的一致性检查点**  
有状态流应用的一致检查点，其实就是所有任务的状态，在**某个时间点**的**一份拷贝**（一份快照）；这个时间点，应该是所有任务都**恰好处理完一个相同的输入数据**的时候  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70]

### 1.2 从检查点恢复状态 ###

在执行流应用程序期间，Flink会定期保存状态的一致检查点  
如果发生故障，Flink将会使用最近的检查点来一致恢复应用程序的状态，并重新启动处理流程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70 1]  
**处理流程：**  
（1）遇到故障之后，第一步就是**重启应用**  
（2）第二步是从 checkpoint 中读取**状态，将状态重置**。从检查点重新启动应用程序后，其内部状态与检查点完成时的状态完全相同  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70 2]  
（3）第三步是开始**消费并处理检查点到发生故障之间**的所有数据。这种检查点的保存和恢复机制可以为应用程序状态提供“精确一次”（exactly once）的一致性，因为所有算子都会保存检查点并恢复其所有状态，这样一来所有的输入流就都会被重置到检查点完成时的位置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70]: /images/20221021/151da6084dd244f99b889fb4264f3520.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70 1]: /images/20221021/57ca1e8aab5b44a8ba520fdc0750a3f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70 2]: /images/20221021/a15d02b49d5e49839d2ec1b72674f2a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzM0MjQxODYx_size_16_color_FFFFFF_t_70 3]: /images/20221021/184d472f8a15445fa3b4ec09abb2599f.png