flink教程：Flink 和 Spark Streaming的区别？

本是古典何须时尚 2023-10-15 13:21 17阅读 0赞

> Flink 和 Spark Streaming的区别？

![img][]

**Flink** 和 **Spark Sreaming** **最大的区别**在于：Flink 是标准的实时处理引擎，基于事件驱动，**以流为核心**，而 Spark Streaming 的RDD 实际是一组小批次的RDD集合，是微批（Micro-Batch）的模型，**以批为核心**。

## 概述 ##

下面我们介绍两个框架的主要区别：

**1. 架构模型**

Spark Streaming 在运行时的主要角色包括：

服务架构集群和资源管理 Master Yarn Application Master；

工作节点 Work Node Manager；

任务调度器 Driver；任务执行器 Executor

![img][img 1]

Flink 在运行时主要包含：客户端 Client、作业管理 Jobmanager、任务管理Taskmanager。

![img][img 2]

**2. 任务调度**

Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图DAG，Spark Streaming 会依次创建 DStreamGraph、JobScheduler。

![img][img 3]

Flink 根据用户提交的代码生成 **StreamGraph**，经过优化生成 **JobGraph**，然后提交给 JobManager进行处理，JobManager 会根据 JobGraph 生成 **ExecutionGraph**，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度，根据物理执行图部署到Taskmanager上形成具体的Task执行。

![img][img 4]

**3. 时间机制**

Spark Streaming 支持的时间机制有限，只支持处理时间。

Flink 支持了流处理程序在时间上的三个定义：**事件时间 EventTime**、**摄入时间 IngestionTime** 、**处理时间 ProcessingTime**。同时也支持 watermark 机制来处理滞后数据。

![img][img 5]

**4. 容错机制**

**对于 Spark Streaming 任务，我们可以设置 checkpoint**，然后假如发生故障并重启，我们可以从上次 checkpoint 之处恢复，但是这个行为只能使得数据不丢失，可能会重复处理，不能做到恰好一次处理语义。

Flink 则使用两阶段提交协议来解决这个问题。

## 补充 ##

Flink和Spark Streaming是两个流处理框架，它们在处理实时数据流的方式和特性上存在一些区别。以下是Flink和Spark Streaming之间的一些主要区别：

1.  数据处理模型：
    
     *  Flink：Flink采用基于事件时间（Event Time）的数据处理模型，该模型以事件产生的时间为基准进行处理和窗口操作。Flink支持事件时间和处理时间两种时间语义，并提供了强大的事件时间处理功能，例如水位线（Watermark）机制和窗口操作。
     *  Spark Streaming：Spark Streaming采用基于批处理的离散化流处理（Discretized Stream Processing）模型，将连续的数据流划分为小的批次，并按批次进行处理。它以微批处理的形式进行数据处理，每个批次的数据都是独立的。
2.  容错性和一致性：
    
     *  Flink：Flink具有强大的容错能力，能够提供Exactly-Once语义的处理保证。它通过检查点（Checkpoints）机制记录应用程序的状态，并在故障恢复时保持一致性。Flink的容错性是基于状态的，可以容忍任务和作业管理器的故障。
     *  Spark Streaming：Spark Streaming通过将数据转换为RDD（Resilient Distributed Datasets）来实现容错性。它使用RDD的弹性特性来处理故障，但在面对故障时，可能会出现数据重复或丢失的情况。Spark Streaming通常提供至少一次语义的处理保证。
3.  处理延迟：
    
     *  Flink：Flink具有低延迟处理的能力，并且可以实现毫秒级的延迟。它通过灵活的事件时间处理和流水线执行模型来实现高效的数据处理。
     *  Spark Streaming：由于Spark Streaming是基于微批处理的，因此具有一定的处理延迟。每个批次的处理时间通常在几秒到几十秒之间，因此相对于Flink，它的延迟更高。
4.  扩展性：
    
     *  Flink：Flink具有良好的扩展性，可以处理大规模的数据流和并行计算。它支持作业和任务级别的并行度设置，并能够动态调整资源分配和任务调度，以适应不同的工作负载。
     *  Spark Streaming：Spark Streaming的扩展性较弱，主要依赖于Spark的批处理引擎。它通常通过增加计算资源来提高处理能力，但在面对高吞吐量和低延迟的大规模数据流时可能存在限制。

需要注意的是，除了Spark Streaming，Apache Spark还提供了Structured Streaming模块，它在处理实时数据流方面与Flink类似，并提供了更接近事件时间语义和更低的延迟。

总的来说，Flink和Spark Streaming在数据处理模型、容错性、延迟和扩展性等方面存在一些区别。选择合适的流处理框架应该根据具体的需求和应用场景来评估其特点和适用性。

[img]: https://img-blog.csdnimg.cn/img_convert/305e29c84ae3c92ec0e3896fec793598.png
[img 1]: https://img-blog.csdnimg.cn/img_convert/d2d3cb8004ab2a1866a90bf744e8ec45.png
[img 2]: https://img-blog.csdnimg.cn/img_convert/ab3e51e87fc56e313cbbaf89bf197ea1.png
[img 3]: https://img-blog.csdnimg.cn/img_convert/00cce66d3091a53362f0831a3c6554c4.png
[img 4]: https://img-blog.csdnimg.cn/img_convert/aa63d9d093558373fca55e5a8d3ad81a.png
[img 5]: https://img-blog.csdnimg.cn/img_convert/488ddfed8f49e9657c533fbe8fe5bebd.png