【零基础学flink】flink的分布式运行环境

Bertha 。 2022-04-24 15:16 173阅读 0赞

*  任务和转换链 (tasks andtransformations chains)
 *  Job Managers, Task Managers, Clients
 *  任务槽和资源(Task Slots and Resources)
 *  State Backends
 *  保存点(savepoint)

## 任务和转换链 (tasks andtransformations chains) ##

对于分布式执行，flink的*转换链*会将任务进行切分。每个任务由一个线程执行。切分后的任务执行完后会进行合并，这是一项很好的优化：它可以减少线程到线程切换和缓冲的开销，并在降低延迟的同时提高整体吞吐量。可以配置链接行为; 有关详细信息，请参阅[链接文档][Link 1]。

下图中的示例数据流由五个子任务执行，因此具有五个并行线程。

![1240][]

## Job Managers, Task Managers, Clients ##

Flink运行时包含两种过程：

*  该**JobManagers**（也称为*master*）：主要是协调分布式执行。他们**安排任务，协调检查点，协调故障恢复**等。
    
    总是至少有一个Job Manager。高可用性配置一般通过配置JobManagers集群，其中一个始终是*leader（主机）*，其他人处于*standby（从机）*。
 *  该**TaskManagers**（也叫*worker*）：主要是执行数据流处理*任务*（或者更具体地说，执行子任务），以及缓冲器、数据交换。

注：必须始终至少有一个TaskManager。

JobManagers和TaskManagers可以通过多种方式启动：作为[独立集群][Link 2]直接在机器上启动，在容器中启动，或由[YARN][]或[Mesos][]等资源框架管理。TaskManagers连接到JobManagers，并告知JobManagers自己可用，可以执行任务。

**client**不是运行时环境和程序执行的一部分，它主要是用来执行准备工作和向JobManager发送的数据流。之后，client可以断开连接或保持连接以接收进度报告。client既可以是触发执行的Java / Scala程序，也可以是命令行进程中运行`./bin/flink run ...`。

![1240 1][]

## 任务槽和资源(Task Slots and Resources) ##

每个worker（TaskManager）都是一个*JVM进程*，可以在不同的线程中执行一个或多个子任务。为了控制worker接受任务的数量，work有所谓的**任务槽（task slots）**（至少一个）。

每个*task slots*占用了TaskManager中的部分资源。例如，具有三个*task slots*的TaskManager，每个*task slots*将占用TaskManager 1/3的内存。资源分配给task slots也意味着子任务不之间不存在资源的竞争，每个slot具有一定量的预留托管内存。请注意，这里没有CPU隔离; slot之间只有内存的预分配，cpu没有预先分配。

通过调整任务槽（task slots）的数量，用户可以定义子任务如何相互隔离。有一个插槽的TaskManager意味着每个任务组在一个单独的JVM中运行（例如，可以在一个单独的容器（container）中启动）。拥有多个插槽意味着更多子任务共享同一个JVM。同一JVM中的任务共享TCP连接（通过多路复用）和心跳消息。它们还可以共享数据集和数据结构，从而减少每任务开销。

![1240 2][]

默认情况下，Flink允许子任务共享插槽（slots ），即使它们是不同任务的子任务，只要它们来自同一个作业就可以。这致使一个槽slots 可以持有(hold)一个作业的完整pipline。允许*插槽共享*有两个主要好处：

*  Flink集群只需要设置与作业中的最高并行度一样多的任务槽。无需计算程序总共包含多少任务（具有不同的并行性）。
 *  更容易获得更好的资源利用率。没有插槽共享，非计算密集型 子任务将会被阻塞，但是计算性和IO型任务将占用一样多的资源，这会造成CPU资源的浪费。通过插槽共享，将示例中的基本并行性从2增加到6可以充分利用时隙资源，同时确保繁重的子任务在TaskManagers之间公平分配。

![1240 3][]

API还包括可用于防止不期望的时隙共享的\*[资源组][Link 1]\*机制。

根据经验，一个很好的默认任务槽数就是CPU核心数。使用超线程，每个插槽然后需要2个或更多硬件线程上下文。

## State Backends ##

当检查点（checkpoint）机制启动时，状态将在检查点中持久化来应对数据丢失以及恢复。而状态在内部是如何表示的、状态是如何持久化到检查点中以及持久化到哪里都取决于选定的State Backend。

存储键/值索引的确切数据结构取决于所选的[State Backends][]。一个State Backends将数据存储在内存中的hash map中，另一个State Backends使用[RocksDB][]作为键/值存储。除了定义保存状态的数据结构之外，State Backends还实现逻辑以获取键/值状态的时间点快照，并将该快照存储为检查点的一部分。

![1240 4][]

## 保存点（savepoint） ##

用Data Stream API编写的程序可以从**savepoint**恢复执行。checkpoint允许更新程序和Flink群集，而不会丢失任何状态。

[保存点][Link 3]是**手动触发的检查点（checkpoint）**，主要是通过[快照保存当前状态][Link 3]，然后程序的快照并将其写入 State Backends。这依靠检查点机制。在执行期间，程序会定期在work节点上创建快照并生成检查点。对于恢复操作来说，仅需要最后一次的检查点，并且一旦完成新检查点，就可以丢弃到旧检查点。

保存点（savepoint）与这些定期检查点（checkpoint）机制类似，不同之处在于savepoint是**由用户触发，并且在较新的检查点完成时savepoint不会自动过期**。可以[从命令行][Link 4]创建保存点，也可以通过[REST API][]取消作业。

--------------------

扫描下方二维码，**及时**获取更多**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术，和**海量资料分享**：  
公众号\*\*`菜鸟名企梦`**后台发送“csdn”即可免费领取【csdn】和【百度文库】下载服务；  
公众号**`菜鸟名企梦`**后台发送“资料”:即可领取**5T精品学习资料\*\*、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**  
![扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）][1240 5]

[Link 1]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/stream/operators/#task-chaining-and-resource-groups
[1240]: /images/20220212/2238654afbfa40e2b30423c3c647c540.png
[Link 2]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/deployment/cluster_setup.html
[YARN]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/deployment/yarn_setup.html
[Mesos]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/deployment/mesos.html
[1240 1]: /images/20220212/0dbf36cb6637487cbca8e89c521b0747.png
[1240 2]: /images/20220212/d26e94254db542349c3ec3e3f0fe7c87.png
[1240 3]: /images/20220212/ce2b418a0ba54fdd805e7173b07d2b3d.png
[State Backends]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/state/state_backends.html
[RocksDB]: http://rocksdb.org/
[1240 4]: /images/20220212/826b795175f7430e8b8274d8551ab9f8.png
[Link 3]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/state/savepoints.html
[Link 4]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/cli.html#savepoints
[REST API]: https://ci.apache.org/projects/flink/flink-docs-release-1.8/monitoring/rest_api.html#cancel-job-with-savepoint
[1240 5]: /images/20220212/090962d36e8f4e3bb6b0f3b58795fc77.png