flink的基础介绍

短命女 2023-10-07 14:08 2阅读 0赞

### **第一章 flink介绍** ###

### **1.1 flink发展历程** ###

2008，柏林理工大学一个研究性项目Stratosphere，Next Generation Big Data Analytics Platform（目标是建立下一代大数据分析引擎）； 2014-04-16，Stratosphere成为Apache孵化项目，从Stratosphere 0.6开始，正式更名为Flink。由Java语言编写； 2014-08-26，Flink 0.6发布； 2014-11-04，Flink 0.7.0发布，介绍了最重要的特性：Streaming API； 2016-03-08，Flink 1.0.0，支持Scala； 2016-08-08，Flink 1.1.0； 2017-02-06，Flink 1.2.0； 2017-11-29，Flink 1.4.0； 2018-05-25，Flink 1.5.0； 2018-08-08，Flink 1.6.0； 2018-11-30，Flink 1.7.0； 2019-02-15，Flink 1.7.2； 2019-04-09，Flink 1.8.0； 2019-07-10，Flink 1.8.1； 2019-09-12，Flink 1.8.2； 2019-08-22，Flink 1.9.0； 2019-10-18，Flink 1.9.1； 2020-02-11，Flink 1.10.0； 2020-05-08(昨天)，Flink 1.10.1-rc3； 2019年初，阿里收购flink产品所属公；不久必然会升级到2.x。

老版本架构图：

![format_png][]

### **1.2 Flink定义** ###

![format_png 1][]

Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform computations at in-memory speed and at any scale.

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

### **1.3 为什么选择flink** ###

*  流式数据更为真实地反映了我们的生活方式
 *  传统的数据架构是基于有限数据集
 *  流批计算融合
 *  基于事件进行纯实时计算(连续事件处理)
 *  一款优秀的实时流计算框架，应该满足： 低延迟 高吞吐 结果的准确性和良好的容错性

### **1.4 flink应用行业和场景** ###

#### **1.4.1 应用行业** ####

电商和市场营销 数据报表、广告投放、业务流程需要

物联网 传感器实时数据采集和显示、显示报警、交通运输业

电信业 基站流量调配

银行和金融业 实时结算和通知推送，实时检测异常行为

#### **1.4.2 应用场景** ####

flink也常用于离线和实时数仓中！！！

首先我们来看看数仓架构演变(借用阿里云数仓架构)。演变如下图：

![format_png 2][]

离线数仓架构：

![format_png 3][]

Lambda架构：实时和离线计算融于一体。

![format_png 4][]

Kappa架构：Lambda架构的简化版本，去掉其离线部分。

flink认为批次也是实时的特例！！！

![format_png 5][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi0wMWU1MWQ2MzNlODQ1ODU2MTE3ZTAzYWY3NGExNDRiM183MjB3LmpwZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi02MTJmZDZjMjZlMDY1M2FiZWJjYmM3ZGI0NzZmYzdmM183MjB3LmpwZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi01MTQ4YmNkYTBjNjc3ZDk2NjdkZTI5ZDljMDYxMTg1Zl83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi1kZjk0NjI4NDljYWViZjFiODYyNGNkNDhlNGRjZmE5Ml83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMyLnpoaW1nLmNvbS84MC92Mi00MDY4ZTQ3Y2I4MzE0MDNkN2Q5YmE2MDQ0N2U3ZjI3OV83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMyLnpoaW1nLmNvbS84MC92Mi1mYzVkMTk2MTE4YTcwMjFlMWYwOWQ1ZGJiN2NkYzYzMV83MjB3LmpwZw?x-oss-process=image/format,png