4.1.21 Flink-流处理框架-Flink中的状态管理之算子状态+键控状态

野性酷女 2022-11-05 08:32 261阅读 0赞

**目录**

1.写在前面

2.有状态的算子和应用程序

2.1 算子状态（operator state）

2.2 键控状态（keyed state）

--------------------

# 1.写在前面 #

流式计算分为**无状态和有状态**两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。以下是有状态计算的一些例子。

*  所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。
 *  所有用于复杂事件处理的状态机。例如，若在一分钟内收到两个相差 20 度 以上的温度读数，则发出警告，这是有状态的计算。
 *  流与流之间的所有关联操作，以及流与静态表或动态表之间的关联操作， 都是有状态的计算。

下图展示了无状态流处理和有状态流处理的主要区别。无状态流处理分别接收 每条数据记录(图中的黑条)，然后根据最新输入的数据生成输出数据(白条)。有状态 流处理会维护状态(根据每条输入记录进行更新)，并基于最新输入的记录和当前的状态值生成输出记录(灰条)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

上图中输入数据由黑条表示。无状态流处理每次只转换一条输入记录，并且仅根据最新的输入记录输出结果(白条)。有状态流处理维护所有已处理记录的状态值，并根据每条新输入的记录更新状态，因此输出记录(灰条)反映的是综合考虑多个事件之后的结果。 尽管无状态的计算很重要，但是流处理对有状态的计算更感兴趣。事实上，正确地实现有状态的计算比实现无状态的计算难得多。旧的流处理系统并不支持有状态的计算，而新一代的流处理系统则将状态及其正确性视为重中之重。

# 2.有状态的算子和应用程序 #

Flink 内置的很多算子，数据源 source，数据存储 sink 都是有状态的，流中的数 据都是 buffer records，会保存一定的元素或者元数据。例如: ProcessWindowFunction 会缓存输入流的数据，ProcessFunction 会保存设置的定时器信息等等。

在 Flink 中，状态始终与特定算子相关联。总的来说，有两种类型的状态：⚫ 算子状态（operator state） ⚫ 键控状态（keyed state）

## 2.1 算子状态（operator state） ##

算子状态的作用范围限定为算子任务。这意味着由同一并行任务所处理的所有 数据都可以访问到相同的状态，状态对于同一任务而言是共享的。算子状态不能由 相同或不同算子的另一个任务访问。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

Flink 为算子状态提供三种基本数据结构：

>  *  ⚫ 列表状态（List state） 将状态表示为一组数据的列表。
>  *  ⚫ 联合列表状态（Union list state） 也将状态表示为数据的列表。它与常规列表状态的区别在于，在发生故障时，或者从保 存点（savepoint）启动应用程序时如何恢复。
>  *  ⚫ 广播状态（Broadcast state） 如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种特殊情况最适合应用广播状态。

定义一个有状态的map操作，统计当前分区数据个数

package com.atguigu.apitest.state;
    
    import com.atguigu.apitest.beans.SensorReading;
    import org.apache.flink.api.common.functions.MapFunction;
    import org.apache.flink.streaming.api.checkpoint.ListCheckpointed;
    import org.apache.flink.streaming.api.datastream.DataStream;
    import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
    import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
    import java.util.Collections;
    import java.util.List;
    
    public class StateTest1_OperatorState {
        public static void main(String[] args) throws Exception{
            StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
            env.setParallelism(1);
    
            // socket文本流
            DataStream<String> inputStream = env.socketTextStream("localhost", 7777);
    
            // 转换成SensorReading类型
            DataStream<SensorReading> dataStream = inputStream.map(line -> {
                String[] fields = line.split(",");
                return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
            });
    
            // 定义一个有状态的map操作，统计当前分区数据个数
            SingleOutputStreamOperator<Integer> resultStream = dataStream.map(new MyCountMapper());
    
            resultStream.print();
    
            env.execute();
        }
    
        // 自定义MapFunction
        public static class MyCountMapper implements MapFunction<SensorReading, Integer>, ListCheckpointed<Integer>{
            // 定义一个本地变量，作为算子状态
            private Integer count = 0;
    
            @Override
            public Integer map(SensorReading value) throws Exception {
                count++;
                return count;
            }
    
            @Override
            public List<Integer> snapshotState(long checkpointId, long timestamp) throws Exception {
                return Collections.singletonList(count);
            }
    
            @Override
            public void restoreState(List<Integer> state) throws Exception {
                for( Integer num: state )
                    count += num;
            }
        }
    }

## 2.2 键控状态（keyed state） ##

键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态。当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key。因此，具有相同 key 的所有数据都会访问相同的状态。Keyed State 很类似于一个分布式的 key-value map 数据结构，只能用于 KeyedStream（keyBy 算子处理之后）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

Flink 的 Keyed State 支持以下数据类型：

>  *  ⚫ 值状态：**ValueState\[T\] 保存单个值，值得类型为T**
>     
>      *  get操作: ValueState.value()
>      *  set操作: ValueState.update(value: T)
>  *  ⚫ 列表状态：**ListState\[T\]保存一个列表，列表里的元素的数据类型为T**
>     
>      *  ListState.add(value: T)
>     
>      *  ListState.addAll(values: java.util.List\[T\])
>     
>      *  ListState.get()返回Iterable\[T\]
>     
>      *  ListState.update(values: java.util.List\[T\])
>  *  ⚫ 映射状态：**MapState\[K, V\]保存Key-Value对**
>     
>      *  MapState.get(key: K)
>     
>      *  MapState.put(key: K, value: V)
>     
>      *  MapState.contains(key: K)
>     
>      *  MapState.remove(key: K)
>  *  ⚫ 聚合状态：**ReducingState\[T\]**        聚合状态：**AggregatingState\[I, O\]**
> 
>              State.clear()是清空状态

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

package com.atguigu.apitest.state;
    
    import com.atguigu.apitest.beans.SensorReading;
    import org.apache.flink.api.common.functions.RichMapFunction;
    import org.apache.flink.api.common.state.*;
    import org.apache.flink.configuration.Configuration;
    import org.apache.flink.streaming.api.datastream.DataStream;
    import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
    import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
    
    public class StateTest2_KeyedState {
        public static void main(String[] args) throws Exception{
            StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
            env.setParallelism(1);
    
            // socket文本流
            DataStream<String> inputStream = env.socketTextStream("localhost", 7777);
    
            // 转换成SensorReading类型
            DataStream<SensorReading> dataStream = inputStream.map(line -> {
                String[] fields = line.split(",");
                return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
            });
    
            // 定义一个有状态的map操作，统计当前sensor数据个数
            SingleOutputStreamOperator<Integer> resultStream = dataStream
                    .keyBy("id")
                    .map( new MyKeyCountMapper() );
    
            resultStream.print();
    
            env.execute();
        }
    
        // 自定义RichMapFunction
        public static class MyKeyCountMapper extends RichMapFunction<SensorReading, Integer>{
            private ValueState<Integer> keyCountState;
    
            // 其它类型状态的声明
            private ListState<String> myListState;
            private MapState<String, Double> myMapState;
            private ReducingState<SensorReading> myReducingState;
    
            @Override
            public void open(Configuration parameters) throws Exception {
                keyCountState = getRuntimeContext().getState(new ValueStateDescriptor<Integer>("key-count", Integer.class, 0));
    
                myListState = getRuntimeContext().getListState(new ListStateDescriptor<String>("my-list", String.class));
                myMapState = getRuntimeContext().getMapState(new MapStateDescriptor<String, Double>("my-map", String.class, Double.class));
    //            myReducingState = getRuntimeContext().getReducingState(new ReducingStateDescriptor<SensorReading>())
            }
    
            @Override
            public Integer map(SensorReading value) throws Exception {
                // 其它状态API调用
                // list state
                for(String str: myListState.get()){
                    System.out.println(str);
                }
                myListState.add("hello");
                // map state
                myMapState.get("1");
                myMapState.put("2", 12.3);
                myMapState.remove("2");
                // reducing state
    //            myReducingState.add(value);
    
                myMapState.clear();
    
                Integer count = keyCountState.value();
                count++;
                keyCountState.update(count);
                return count;
            }
        }
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221023/0315c5b70caa45faabde8f2eb3eb9e26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221023/711fe9443a444199975958ba58d8f863.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20221023/b7cb6e1f4ef94e87a3c7c2d1d6cc29f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20221023/fb3a47c729754270bec93326a0de2df5.png