一文初识大数据Flink框架

逃离我推掉我的手 2024-04-22 06:58 63阅读 0赞

#### 文章目录 ####

*   *  什么是Flink
     *  Flink 的源起和设计理念
     *  flink在github上的现状
     *  flink发展历史
     *  flink能做什么
     *  flink 的高并发能力
     *  一些计算框架对比图
     *  flink发展方向
     *  flink生态体系
     *  处理无界和有界数据
     *  随处部署应用程序
     *  运行任何规模的应用程序
     *  利用内存性能

官方文档地址:https://flink.apache.org/

### 什么是Flink ###

?Apache Flink是一个开源的分布式流处理框架，用于处理流数据和批量数据。它可以在一个单独的机器或一个集群上运行，并具有高效的数据处理能力，特别是对于大规模数据集。

Apache Flink 是一个流行的开源平台，用于分布式流和批处理数据。它经常与其他大数据处理框架（如 Apache Spark 和 Apache Beam）进行比较。

?Flink提供了一个灵活的编程模型，可以轻松地执行数据流分析，包括数据流聚合，数据流连接，流式转换和多种数据流操作。它还提供了丰富的算子库，可以执行常见的流处理任务，如窗口聚合，Join和流式聚合。

?Flink还提供了一个容错的流处理运行时系统，可以保证数据的准确性，即使在发生故障时也能保证最终一致性。

?在流行度和采用率方面，Flink 一直位居大数据处理框架的前列。Flink 拥有庞大而活跃的开发者和用户社区，广泛应用于各种用例的生产环境。

?值得注意的是，大数据处理框架的选择往往取决于项目的具体要求和需求。不同的框架可能具有不同的优势和权衡，并且针对特定用例的最佳选择可能会有所不同。

?Flink 因其处理大规模数据处理和实时分析的能力而广受推崇，并被各行各业的公司所采用。

![在这里插入图片描述][baf948fca65841eda192392e25f25a08.png]

### Flink 的源起和设计理念 ###

Flink 起源于一个叫作 Stratosphere 的项目，它是由 3 所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2014 年 4 月，Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会，Flink 就是在此基础上被重新设计出来的。

在德语中，“flink”一词表示“快速、灵巧”。项目的 logo 是一只彩色的松鼠，当然了，这不仅是因为 Apache 大数据项目对动物的喜好（是否联想到了 Hadoop、Hive？），更是因为松鼠这种小动物完美地体现了“快速、灵巧”的特点。关于 logo 的颜色，还一个有趣的缘由：柏林当地的松鼠非常漂亮，颜色是迷人的红棕色；而 Apache 软件基金会的 logo，刚好也是一根以红棕色为主的渐变色羽毛。于是，Flink 的松鼠 Logo 就设计成了红棕色，而且拥有一个漂亮的渐变色尾巴，尾巴的配色与 Apache 软件基金会的 logo 一致。这只松鼠色彩炫目，既呼应了 Apache 的风格，似乎也预示着 Flink 未来将要大放异彩。

![在这里插入图片描述][59dae10069d9473bafff65264c03c820.png]

### flink在github上的现状 ###

截止到2022-12-19，flink在github上有3w多次commits，2w多start，1000多名提交者  
![在这里插入图片描述][6992662f14ec4084b6b4c0bf2dace893.png]

### flink发展历史 ###

flink有着丰富的发展和演化历史。下面简单介绍一下 Flink 发展过程中的关键里程碑：

1.  Flink 最初于 2009 年在柏林工业大学开发，作为名为 Stratosphere 的研究项目的一部分。
2.  2013 年，Stratosphere 在 Apache License 下开源为 Flink。
3.  2015 年，Flink 成为 Apache 软件基金会的顶级项目。
4.  在接下来的几年里，Flink 的用户群和社区有了显着增长，并不断增加新的特性和功能。
5.  2020 年，随着 Flink 1.11 的发布，Flink 达到了一个重要的里程碑，其中包括许多重大改进，例如新的批处理 SQL API 和改进的机器学习支持。
6.  今天，Flink 是一个被广泛使用和推崇的流处理框架，拥有庞大而活跃的用户和开发者社区。它用于各种应用程序，包括实时分析、流处理、事件驱动的应用程序等。

### flink能做什么 ###

flink可以用于各种数据流应用程序。下面是一些典型的Flink应用程序：

1.  实时数据分析：Flink可以实时处理数据流，并执行复杂的数据流分析操作，如窗口聚合，Join和流式聚合。
2.  数据流计算：Flink可以实时处理数据流，并执行计算任务，如计算滑动平均值，检测异常值等。
3.  数据流ETL：Flink可以将数据从一个源头转换为另一个格式，并将其写入目标系统。
4.  实时规则引擎：Flink可以执行复杂的规则匹配和决策操作，用于实时流式决策。
5.  实时监控：Flink可以监控实时数据流，并在发现异常时发出警报。
6.  聊天机器人：Flink可以处理实时聊天数据流，并使用机器学习算法生成自然语言回复。

总的来说，Flink支持各种数据流应用程序，可以帮助您快速开发和部署高性能的流处理系统。

### flink 的高并发能力 ###

Flink 旨在处理高吞吐量、低延迟的数据处理，并且对数据流的并发处理有强大的支持。  
**有助于 Flink 高并发能力的一些特性包括：**

1.  数据并行性：Flink 允许数据流自动并行化并由多个并行实例处理，这些实例可以扩展以处理非常大的数据量。
2.  任务并行性：Flink 允许任务在并行数据流中并行化，这可以进一步提高并发性和吞吐量。
3.  异步 I/O：Flink 使用异步 I/O 来读写数据流，这使得它可以扩展到高并发级别，而不受外部系统性能的限制。
4.  状态管理：Flink 有一个健壮的状态管理系统，即使在高并发的情况下，它也可以维护有状态的流处理应用程序。

**Flink支持多种并发模型，包括：**

1.  并行操作：Flink可以将操作划分为多个并行任务，并在多个节点上同时执行。这样可以提高处理数据流的速度。
2.  分布式计算：Flink可以在多个节点上执行分布式计算，包括数据分区，数据连接和数据聚合等。
3.  多线程并行：Flink可以在单个节点上使用多个线程并行执行操作。这样可以提高单节点的处理能力。

### 一些计算框架对比图 ###

<table> 
 <thead> 
  <tr> 
   <th>产品</th> 
   <th>模型</th> 
   <th>API</th> 
   <th>保证次数</th> 
   <th>容错机制</th> 
   <th>状态管理</th> 
   <th>延时</th> 
   <th>吞吐量</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>storm</td> 
   <td>Native(数据进入立即处理)</td> 
   <td>组合式</td> 
   <td>At-least-once</td> 
   <td>Record ACKS</td> 
   <td>无</td> 
   <td>Low</td> 
   <td>Low</td> 
  </tr> 
  <tr> 
   <td>Trident</td> 
   <td>mirco-batching（划分为小批处理）</td> 
   <td>组合式</td> 
   <td>Exectly-once</td> 
   <td>Record ACKs</td> 
   <td>基于操作（每次操作由一个状态）</td> 
   <td>Medium</td> 
   <td>Medium</td> 
  </tr> 
  <tr> 
   <td>Spark streaming</td> 
   <td>mirco-batching</td> 
   <td>声明式（提供封装后的高阶函数）</td> 
   <td>Exectly-once</td> 
   <td>RDD Checkpoint</td> 
   <td>基于 DStream</td> 
   <td>Medium</td> 
   <td>High</td> 
  </tr> 
  <tr> 
   <td>Flink</td> 
   <td>Native</td> 
   <td>声明式</td> 
   <td>Exectly-once</td> 
   <td>Checkpoint</td> 
   <td>基于操作</td> 
   <td>Low</td> 
   <td>Hign</td> 
  </tr> 
 </tbody> 
</table>

### flink发展方向 ###

Flink 正在积极开发和改进的一些领域包括：

1.  性能和可扩展性：Flink 旨在处理数据流的高吞吐量和低延迟处理，开发团队一直致力于提高其性能和可扩展性。
2.  生态系统集成：Flink 拥有丰富的库和连接器生态系统，使其能够与广泛的其他工具和技术集成。开发团队正在努力进一步扩展和改进这些集成。
3.  机器学习和人工智能：Flink 内置了对机器学习的支持，可用于构建复杂的人工智能应用程序。开发团队正在努力改进这种支持，并使使用 Flink 构建 AI 应用程序变得更加容易。
4.  云和容器部署：Flink 可以部署在各种基础设施上，包括本地、云端和容器中。开发团队正在努力提高 Flink 在这些环境中的部署和管理的便利性。
5.  用户体验：开发团队专注于提高 Flink 的可用性和用户体验，包括让流处理应用程序更容易上手和使用 Flink。

### flink生态体系 ###

Apache Flink 拥有丰富的库和连接器生态系统，使其能够与各种其他工具和技术集成。Flink 生态系统的一些示例包括：

1.  Flink 连接器：Flink 有许多连接器，可以轻松与外部系统集成，例如 Apache Kafka、Apache Cassandra 和 Amazon Kinesis。这些连接器允许 Flink 从这些系统中获取数据并实时处理。
2.  Flink 库：Flink 包括许多库，它们为特定用例提供额外的功能，例如机器学习、图形处理和窗口流处理。
3.  Flink 集成：Flink 可以轻松地与其他工具和技术集成，例如 Apache Hadoop、Apache Spark 和 Apache Beam。这使得 Flink 可以用作更大的数据处理管道或生态系统的一部分。
4.  Flink 社区：Flink 拥有庞大而活跃的用户和开发人员社区，他们为框架的开发做出贡献，并为 Flink 生态系统贡献库、连接器和集成。

~~下述内容为官方文档中内容 ~~

### 处理无界和有界数据 ###

任何类型的数据都是作为事件流产生的。信用卡交易、传感器测量、机器日志或网站或移动应用程序上的用户交互，所有这些数据都以流的形式生成。

数据可以作为*无界*或*有界*流进行处理。

1.  **无界流**有一个开始但没有定义的结束。它们不会在数据生成时终止并提供数据。无界流必须连续处理，即事件必须在摄取后立即处理。不可能等待所有输入数据到达，因为输入是无界的，不会在任何时间点完成。处理无限数据通常需要按特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。
2.  **有界流**有定义的开始和结束。可以通过在执行任何计算之前摄取所有数据来处理有界流。处理有界流不需要有序摄取，因为有界数据集总是可以排序的。有界流的处理也称为批处理。

![img][]

\*\*Apache Flink 擅长处理无界和有界数据集。\*\*对时间和状态的精确控制使 Flink 的运行时能够在无界流上运行任何类型的应用程序。有界流由专门为固定大小的数据集设计的算法和数据结构进行内部处理，从而产生出色的性能。

通过探索构建在 Flink 之上的[用例来说服自己。][Link 1]

### 随处部署应用程序 ###

Apache Flink 是一个分布式系统，需要计算资源才能执行应用程序。Flink 集成了所有常见的集群资源管理器，例如[Hadoop YARN][]和[Kubernetes][]，但也可以设置为作为独立集群运行。

Flink 旨在很好地运行前面列出的每个资源管理器。这是通过特定于资源管理器的部署模式实现的，这些部署模式允许 Flink 以其惯用的方式与每个资源管理器进行交互。

在部署 Flink 应用时，Flink 会根据应用配置的并行度自动识别需要的资源，并向资源管理器请求。如果发生故障，Flink 会通过请求新资源来替换发生故障的容器。提交或控制应用程序的所有通信都是通过 REST 调用进行的。这简化了 Flink 在许多环境中的集成。

### 运行任何规模的应用程序 ###

Flink 旨在运行任何规模的有状态流应用程序。应用程序被并行化为可能在集群中分布和并发执行的数千个任务。因此，应用程序可以利用几乎无限数量的 CPU、主内存、磁盘和网络 IO。此外，Flink 可以轻松维护非常大的应用程序状态。其异步和增量检查点算法可确保对处理延迟的影响最小，同时保证恰好一次的状态一致性。

[用户报告][Link 2]了在其生产环境中运行的 Flink 应用程序的可扩展性数字，例如

*  **应用程序每天**处理数万亿个事件，
 *  维护**多个 TB 状态的**应用程序，以及
 *  **在数千个内核上运行的**应用程序。

### 利用内存性能 ###

有状态 Flink 应用程序针对本地状态访问进行了优化。任务状态始终保存在内存中，或者，如果状态大小超过可用内存，则保存在访问高效的磁盘数据结构中。因此，任务通过访问本地（通常是内存中的）状态来执行所有计算，从而产生非常低的处理延迟。Flink 通过定期和异步地将本地状态检查点到持久存储来保证在发生故障时恰好一次的状态一致性。

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xyaYeZrP-1671446767378)(https://flink.apache.org/img/local-state.png)\]][img-xyaYeZrP-1671446767378_https_flink.apache.org_img_local-state.png]

[baf948fca65841eda192392e25f25a08.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/eec4a5d6e41d49049bd1bc7acde0643a.png
[59dae10069d9473bafff65264c03c820.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/1e58a8259f864493a543363289a85b11.png
[6992662f14ec4084b6b4c0bf2dace893.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/a01070473bce41b09c3137e35edcd3e9.png
[img]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/f32f480185cf41caa8479047e360213f.png
[Link 1]: https://flink.apache.org/usecases.html
[Hadoop YARN]: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
[Kubernetes]: https://kubernetes.io/
[Link 2]: https://flink.apache.org/poweredby.html
[img-xyaYeZrP-1671446767378_https_flink.apache.org_img_local-state.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/a1bc2503623443ce8143622f76eb6b96.png