【大数据】Flink1.17实战教程从入门到精通第1章 Flink概述 1.1 Flink是什么？

心已赠人 2024-03-17 10:28 79阅读 0赞

### 【大数据】Flink1.17实战教程从入门到精通 ###

#### 文章目录 ####

*   *  【大数据】Flink1.17实战教程从入门到精通
     *   *  第1章 Flink概述
         *   *  1.1 Flink是什么？
             *   *  1.1.1 Flink是什么
                 *  1.1.2 有界流和无界流
                 *  1.1.3 有状态流处理
                 *  1.1.4 Flink的发展历史

![在这里插入图片描述][b81380ab73f14b1b98a292e8872ccc6b.png_pic_center]

[【尚硅谷大数据Flink1.17实战教程从入门到精通】 ][Flink1.17_]

#### 第1章 Flink概述 ####

##### 1.1 Flink是什么？ #####

###### 1.1.1 Flink是什么 ######

Flink 官网主页地址：[https://flink.apache.org/][https_flink.apache.org]

![在这里插入图片描述][2cb535b565a342018504c04c3b93dfdd.png_pic_center]

Flink 核心目标：数据流上的有状态计算(Stateful Computations over Data Streams)。

具体说明：Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

![在这里插入图片描述][de528ee67e2d43c98a66afa645a97cb4.png_pic_center]

官网这张图，老师翻译过后：

![在这里插入图片描述][55732bbfb3994fe59fab800e81964721.png_pic_center]

###### 1.1.2 有界流和无界流 ######

【1】无界数据流

*  有定义流的开始，但没有定义流的结束;
 *  它们会无休止的产生数据﹔
 *  无界流的数据必须持续处理，即数据被摄取后需要立刻处理。
 *  我们不能等到所有数据都到达再处理，因为输入是无限的。

> 例如水龙头、黄河长江源头…
> 
> ![在这里插入图片描述][e210b31a85724c348880f4b88d348274.png_pic_center]

【2】有界数据流

*  有定义流的开始，也有定义流的结束;
 *  有界流可以在摄取所有数据后再进行计算﹔
 *  有界流所有数据可以被排序，所以并不需要有序摄取;
 *  有界流处理通常被称为批处理。

> 例如水桶、水坝
> 
> ![在这里插入图片描述][e7ce2283ab9344a4ba3522c80d530734.png_pic_center]

###### 1.1.3 有状态流处理 ######

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

![在这里插入图片描述][3a61bb4e159a4933978ccbf6a503e56b.png_pic_center]

把流处理需要的额外数据保存成一个“状态”，然后针对这条数据进行处理，并且更新状态。这就是所谓的“有状态的流处理”。

状态既可以是中间的计算结果，也可以是数据本身

![在这里插入图片描述][0a371766566b43cbbdd9e3c8408bc2b4.png_pic_center]

这是一个做加和的应用逻辑

为了状态可以持久化存储，可以做`定期存盘`

![在这里插入图片描述][d6fffb4e91f943b3a88330963aafd0df.png_pic_center]

*  状态在内存中
    
     *  优点：速度快
     *  缺点：可靠性差
 *  状态在分布式系统中
    
     *  优点：可靠性高
     *  缺点：速度慢

###### 1.1.4 Flink的发展历史 ######

`Flink`起源于一个叫作`Stratosphere`的项目，它是由3所地处柏林的大学和欧洲其他一些大学在2010~2014年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2014年4月，Stratosphere的代码被复制并捐赠给了Apache软件基金会，Flink就是在此基础上被重新设计出来的。

![在这里插入图片描述][bc3ba65e2c1b478ca7c2a3d4868f6a17.png_pic_center]

在德语中，`flink`词表示“快速、灵巧”。项目的logo是一只彩色的松鼠。

*  2014年8月，Flink第一个版本0.6正式发布，与此同时Fink的几位核心开发者创办Data Artisans公司:
 *  2014年12月，Flink项目完成孵化
 *  2015年4月，Flink发布了里程碑式的重要版本0.9.0;
 *  2019年1月，长期对Flink投入研发的阿里巴巴，以9000万欧元的价格收购了Data Artisans公司;
 *  2019年8月，阿里巴巴将内部版本Blink开源，合并入Flink 1.9.0版本。

[b81380ab73f14b1b98a292e8872ccc6b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/68bd34cb3d8d4e24a23acf0592f9b005.png
[Flink1.17_]: https://www.bilibili.com/video/BV1eg4y1V7AN/
[https_flink.apache.org]: https://flink.apache.org/
[2cb535b565a342018504c04c3b93dfdd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b264dda2f5034ec4810bfb870a0c2d48.png
[de528ee67e2d43c98a66afa645a97cb4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/95844f8463b440389a9cfe859fde8901.png
[55732bbfb3994fe59fab800e81964721.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ffd470d0306f417c9727274484c5ad17.png
[e210b31a85724c348880f4b88d348274.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0744162851054c5d8346d1faf37f6963.png
[e7ce2283ab9344a4ba3522c80d530734.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/160d3d4b17244cc99ecbc677228d64d1.png
[3a61bb4e159a4933978ccbf6a503e56b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fa15c83f6f664370a30496fc27e5fa57.png
[0a371766566b43cbbdd9e3c8408bc2b4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2b8d120fbf6247069cacde0941129638.png
[d6fffb4e91f943b3a88330963aafd0df.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/89dbadaf346e446cb236fbbcbb7e61d5.png
[bc3ba65e2c1b478ca7c2a3d4868f6a17.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3f4b51145f9d4db7a7e64a1c2b229e62.png