Flink 三种状态存储方式 MemoryStateBackend、FsStateBackend、RocksDBStateBackend

系统管理员 2021-09-24 11:46 312阅读 0赞

StateBackend的意思是状态后端。

状态后端定义了流式应用程序状态如何存储和checkpoint的。不同的状态后端以不同的方式来存储其状态，并且使用不同的数据结构来保存正在运行的应用程序的状态。

### MemoryStateBackend： ###

1 基于内存的状态管理器，聚合类算子的状态会存储在JobManager的内存中

2 单次状态大小默认最大被限制为5MB，可以通过构造函数来指定状态初始化内存大小。无论单次状态大小最大被限制为多少，都不可大于akka的frame大小（1.5MB，JobManager和TaskManager之间传输数据的最大消息容量）。状态的总大小不能超过 JobManager 的内存。

3 是Flink默认的后端状态管理器，默认是异步的

4 主机内存中的数据可能会丢失，任务可能无法恢复

5 将工作state保存在TaskManager的内存中，并将checkpoint数据存储在JobManager的内存中

适用：

*  本地开发和调试
 *  状态比较少的作业

### FsStateBackend： ###

1 基于文件系统的状态管理器

2 如果使用，默认是异步

3 比较稳定，3个副本，比较安全。不会出现任务无法恢复等问题

4 状态大小受磁盘容量限制

5 将工作state保存在TaskManager的内存中，并将checkpoint数据存储在文件系统中

适用：

*  状态比较大，窗口比较长，大的KV状态

### RocksDBStateBackend： ###

1 状态数据先写入RocksDB，然后异步的将状态数据写入文件系统。

2 正在进行计算的热数据存储在RocksDB，长时间才更新的数据写入磁盘中（文件系统）存储，体量比较小的元数据状态写入JobManager内存中（将工作state保存在RocksDB中，并且默认将checkpoint数据存在文件系统中）

3 支持的单 key 和单 value 的大小最大为每个 2^31 字节（2GB）

4 RocksDBStateBackend是目前唯一支持incremental的checkpoints的策略

5 如果使用，默认是异步

适用：

*  非常大的状态，长窗口，大的KV状态
 *  增量checkpoint

性能：MemoryStateBackend>RocksDBStateBackend>FsStateBackend

\---------------

参考：

《Flink原理、实战与性能优化》

[https://www.jianshu.com/p/64e8588740e0][https_www.jianshu.com_p_64e8588740e0]

[https://www.cnblogs.com/029zz010buct/p/9403283.html][https_www.cnblogs.com_029zz010buct_p_9403283.html]

[https://www.cnblogs.com/YuanWeiBlogger/p/12072782.html][https_www.cnblogs.com_YuanWeiBlogger_p_12072782.html]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqM5Y2B5YWt55S755Sf55qE5Y2a5a6i_size_20_color_FFFFFF_t_70_g_se_x_16][]

[https_www.jianshu.com_p_64e8588740e0]: https://www.jianshu.com/p/64e8588740e0
[https_www.cnblogs.com_029zz010buct_p_9403283.html]: https://www.cnblogs.com/029zz010buct/p/9403283.html
[https_www.cnblogs.com_YuanWeiBlogger_p_12072782.html]: https://www.cnblogs.com/YuanWeiBlogger/p/12072782.html
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqM5Y2B5YWt55S755Sf55qE5Y2a5a6i_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20210923/e44efbc8f3124686a0951ab385bd4ade.png