Kubernates(k8s)工作负载之Pods

缺乏、安全感 2023-01-17 14:54 279阅读 0赞

**目录**

工作负载

接下来

Pods

什么是 Pod？

使用 Pod

Pod 怎样管理多个容器

使用 Pod

Pod 和控制器

Pod 模版

Pod 更新与替换

资源共享和通信

Pod 中的存储

Pod 联网

容器的特权模式

静态 Pod

接下来

Pod 的生命周期

Pod 生命期

Pod 阶段

容器状态

Waiting （等待）

Running（运行中）

Terminated（已终止）

容器重启策略

Pod 状况

Pod 就绪态

Pod 就绪态的状态

容器探针

何时该使用存活态探针?

何时该使用就绪态探针?

何时该使用启动探针？

Pod 的终止

强制终止 Pod

失效 Pod 的垃圾收集

接下来

Init 容器

理解 Init 容器

与普通容器的不同之处

使用 Init 容器

示例

使用 Init 容器的情况

具体行为

资源

Pod 重启的原因

接下来

Pod 拓扑分布约束

先决条件

节点标签

Pod 的分布约束

API

例子：单个 TopologySpreadConstraint

例子：多个 TopologySpreadConstraints

约定

集群级别的默认约束

与 PodAffinity/PodAntiAffinity 相比较

已知局限性

接下来

干扰（Disruptions）

自愿干扰和非自愿干扰

处理干扰

干扰预算

PDB 例子

分离集群所有者和应用所有者角色

如何在集群上执行干扰性操作

接下来

临时容器

了解临时容器

什么是临时容器？

临时容器的用途

示例

--------------------

文档地址：[https://kubernetes.io/zh/docs/concepts/workloads/][https_kubernetes.io_zh_docs_concepts_workloads]

# 工作负载 #

工作负载是在 Kubernetes 上运行的应用程序。

无论你的负载是单一组件还是由多个一同工作的组件构成，在 Kubernetes 中你 可以在一组 [Pods][] 中运行它。 在 Kubernetes 中，Pod 代表的是集群上处于运行状态的一组 [容器][Link 1]。

Kubernetes Pods 有[确定的生命周期][Link 2]。 例如，当某 Pod 在你的集群中运行时，Pod 运行所在的 [节点][Link 3] 出现致命错误时， 所有该节点上的 Pods 都会失败。Kubernetes 将这类失败视为最终状态： 即使该节点后来恢复正常运行，你也需要创建新的 Pod 来恢复应用。

不过，为了让用户的日子略微好过一些，你并不需要直接管理每个 Pod。 相反，你可以使用 *负载资源* 来替你管理一组 Pods。 这些资源配置 [控制器][Link 4] 来确保合适类型的、处于运行状态的 Pod 个数是正确的，与你所指定的状态相一致。

Kubernetes 提供若干种内置的工作负载资源：

*  [Deployment][] 和 [ReplicaSet][] （替换原来的资源 [ReplicationController][]）。 `Deployment` 很适合用来管理你的集群上的无状态应用，`Deployment` 中的所有 `Pod` 都是相互等价的，并且在需要的时候被换掉。
 *  [StatefulSet][] 让你能够运行一个或者多个以某种方式跟踪应用状态的 Pods。 例如，如果你的负载会将数据作持久存储，你可以运行一个 `StatefulSet`，将每个 `Pod` 与某个 [`PersistentVolume`][PersistentVolume] 对应起来。你在 `StatefulSet` 中各个 `Pod` 内运行的代码可以将数据复制到同一 `StatefulSet` 中的其它 `Pod` 中以提高整体的服务可靠性。

*  [DaemonSet][] 定义提供节点本地支撑设施的 `Pods`。这些 Pods 可能对于你的集群的运维是 非常重要的，例如作为网络链接的辅助工具或者作为网络 [插件][Link 5] 的一部分等等。每次你向集群中添加一个新节点时，如果该节点与某 `DaemonSet` 的规约匹配，则控制面会为该 `DaemonSet` 调度一个 `Pod` 到该新节点上运行。
 *  [Job][] 和 [CronJob][]。 定义一些一直运行到结束并停止的任务。`Job` 用来表达的是一次性的任务，而 `CronJob` 会根据其时间规划反复运行。

在庞大的 Kubernetes 生态系统中，你还可以找到一些提供额外操作的第三方 工作负载资源。通过使用 [定制资源定义（CRD）][CRD]， 你可以添加第三方工作负载资源，以完成原本不是 Kubernetes 核心功能的工作。 例如，如果你希望运行一组 `Pods`，但要求所有 Pods 都可用时才执行操作 （比如针对某种高吞吐量的分布式任务），你可以实现一个能够满足这一需求 的扩展，并将其安装到集群中运行。

## 接下来 ##

除了阅读了解每类资源外，你还可以了解与这些资源相关的任务：

*  [使用 Deployment 运行一个无状态的应用][Deployment 1]
 *  以[单实例][Link 6] 或者[多副本集合][Link 7] 的形式运行有状态的应用；
 *  [使用 `CronJob` 运行自动化的任务][CronJob 1]

要了解 Kubernetes 将代码与配置分离的实现机制，可参阅 [配置部分][Link 8]。

关于 Kubernetes 如何为应用管理 Pods，还有两个支撑概念能够提供相关背景信息：

*  [垃圾收集][Link 9]机制负责在 对象的 *属主资源* 被删除时在集群中清理这些对象。
 *  [*Time-to-Live* 控制器][Time-to-Live] 会在 Job 结束之后的指定时间间隔之后删除它们。

一旦你的应用处于运行状态，你就可能想要以 [`Service`][Service] 的形式使之可在互联网上访问；或者对于 Web 应用而言，使用 [`Ingress`][Ingress] 资源将其暴露到互联网上。

--------------------

[Pods][Pods 1]

[工作负载资源][Link 10]

# Pods #

*Pod* 是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。

*Pod* （就像在鲸鱼荚或者豌豆荚中）是一组（一个或多个） [容器][Link 1]； 这些容器共享存储、网络、以及怎样运行这些容器的声明。 Pod 中的内容总是并置（colocated）的并且一同调度，在共享的上下文中运行。 Pod 所建模的是特定于应用的“逻辑主机”，其中包含一个或多个应用容器， 这些容器是相对紧密的耦合在一起的。 在非云环境中，在相同的物理机或虚拟机上运行的应用类似于 在同一逻辑主机上运行的云应用。

除了应用容器，Pod 还可以包含在 Pod 启动期间运行的 [Init 容器][Init]。 你也可以在集群中支持[临时性容器][Link 11] 的情况下，为调试的目的注入临时性容器。

## 什么是 Pod？ ##

> **说明：** 除了 Docker 之外，Kubernetes 支持 很多其他[容器运行时][Link 12]， [Docker][] 是最有名的运行时， 使用 Docker 的术语来描述 Pod 会很有帮助。

Pod 的共享上下文包括一组 Linux 名字空间、控制组（cgroup）和可能一些其他的隔离 方面，即用来隔离 Docker 容器的技术。 在 Pod 的上下文中，每个独立的应用可能会进一步实施隔离。

就 Docker 概念的术语而言，Pod 类似于共享名字空间和文件系统卷的一组 Docker 容器。

## 使用 Pod ##

通常你不需要直接创建 Pod，甚至单实例 Pod。 相反，你会使用诸如 [Deployment][] 或 [Job][] 这类工作负载资源 来创建 Pod。如果 Pod 需要跟踪状态， 可以考虑 [StatefulSet][] 资源。

Kubernetes 集群中的 Pod 主要有两种用法：

*  **运行单个容器的 Pod**。"每个 Pod 一个容器"模型是最常见的 Kubernetes 用例； 在这种情况下，可以将 Pod 看作单个容器的包装器，并且 Kubernetes 直接管理 Pod，而不是容器。
 *  **运行多个协同工作的容器的 Pod**。 Pod 可能封装由多个紧密耦合且需要共享资源的共处容器组成的应用程序。 这些位于同一位置的容器可能形成单个内聚的服务单元 —— 一个容器将文件从共享卷提供给公众， 而另一个单独的“挂斗”（sidecar）容器则刷新或更新这些文件。 Pod 将这些容器和存储资源打包为一个可管理的实体。
    
    > **说明：** 将多个并置、同管的容器组织到一个 Pod 中是一种相对高级的使用场景。 只有在一些场景中，容器之间紧密关联时你才应该使用这种模式。

每个 Pod 都旨在运行给定应用程序的单个实例。如果希望横向扩展应用程序（例如，运行多个实例 以提供更多的资源），则应该使用多个 Pod，每个实例使用一个 Pod。 在 Kubernetes 中，这通常被称为 *副本（Replication）*。 通常使用一种工作负载资源及其[控制器][Link 4] 来创建和管理一组 Pod 副本。

参见 [Pod 和控制器][Pod]以了解 Kubernetes 如何使用工作负载资源及其控制器以实现应用的扩缩和自动修复。

### Pod 怎样管理多个容器 ###

Pod 被设计成支持形成内聚服务单元的多个协作过程（形式为容器）。 Pod 中的容器被自动安排到集群中的同一物理机或虚拟机上，并可以一起进行调度。 容器之间可以共享资源和依赖、彼此通信、协调何时以及何种方式终止自身。

例如，你可能有一个容器，为共享卷中的文件提供 Web 服务器支持，以及一个单独的 “sidecar（挂斗）”容器负责从远端更新这些文件，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70][]

有些 Pod 具有 [Init 容器][Init 1] 和 [应用容器][Link 13]。 Init 容器会在启动应用容器之前运行并完成。

Pod 天生地为其成员容器提供了两种共享资源：[网络][Link 14]和 [存储][Link 15]。

## 使用 Pod ##

你很少在 Kubernetes 中直接创建一个个的 Pod，甚至是单实例（Singleton）的 Pod。 这是因为 Pod 被设计成了相对临时性的、用后即抛的一次性实体。 当 Pod 由你或者间接地由 [控制器][Link 4] 创建时，它被调度在集群中的[节点][Link 3]上运行。 Pod 会保持在该节点上运行，直到 Pod 结束执行、Pod 对象被删除、Pod 因资源不足而被 *驱逐* 或者节点失效为止。

> **说明：** 重启 Pod 中的容器不应与重启 Pod 混淆。 Pod 不是进程，而是容器运行的环境。 在被删除之前，Pod 会一直存在。

当你为 Pod 对象创建清单时，要确保所指定的 Pod 名称是合法的 [DNS 子域名][DNS]。

### Pod 和控制器 ###

你可以使用工作负载资源来创建和管理多个 Pod。 资源的控制器能够处理副本的管理、上线，并在 Pod 失效时提供自愈能力。 例如，如果一个节点失败，控制器注意到该节点上的 Pod 已经停止工作， 就可以创建替换性的 Pod。调度器会将替身 Pod 调度到一个健康的节点执行。

下面是一些管理一个或者多个 Pod 的工作负载资源的示例：

*  [Deployment][]
 *  [StatefulSet][]
 *  [DaemonSet][]

### Pod 模版 ###

[负载][https_kubernetes.io_zh_docs_concepts_workloads]资源的控制器通常使用 *Pod 模板（Pod Template）* 来替你创建 Pod 并管理它们。

Pod 模板是包含在工作负载对象中的规范，用来创建 Pod。这类负载资源包括 [Deployment][]、 [Job][] 和 [DaemonSets][DaemonSet]等。

工作负载的控制器会使用负载对象中的 `PodTemplate` 来生成实际的 Pod。 `PodTemplate` 是你用来运行应用时指定的负载资源的目标状态的一部分。

下面的示例是一个简单的 Job 的清单，其中的 `template` 指示启动一个容器。 该 Pod 中的容器会打印一条消息之后暂停。

apiVersion: batch/v1
    kind: Job
    metadata:
      name: hello
    spec:
      template:
        # 这里是 Pod 模版
        spec:
          containers:
          - name: hello
            image: busybox
            command: ['sh', '-c', 'echo "Hello, Kubernetes!" && sleep 3600']
          restartPolicy: OnFailure
        # 以上为 Pod 模版

修改 Pod 模版或者切换到新的 Pod 模版都不会对已经存在的 Pod 起作用。 Pod 不会直接收到模版的更新。相反， 新的 Pod 会被创建出来，与更改后的 Pod 模版匹配。

例如，Deployment 控制器针对每个 Deployment 对象确保运行中的 Pod 与当前的 Pod 模版匹配。如果模版被更新，则 Deployment 必须删除现有的 Pod，基于更新后的模版 创建新的 Pod。每个工作负载资源都实现了自己的规则，用来处理对 Pod 模版的更新。

在节点上，[kubelet][]并不直接监测 或管理与 Pod 模版相关的细节或模版的更新，这些细节都被抽象出来。 这种抽象和关注点分离简化了整个系统的语义，并且使得用户可以在不改变现有代码的 前提下就能扩展集群的行为。

## Pod 更新与替换 ##

正如前面章节所述，当某工作负载的 Pod 模板被改变时，控制器会基于更新的模板 创建新的 Pod 对象而不是对现有 Pod 执行更新或者修补操作。

Kubernetes 并不禁止你直接管理 Pod。对运行中的 Pod 的某些字段执行就地更新操作 还是可能的。不过，类似 [`patch`][patch] 和 [`replace`][replace] 这类更新操作有一些限制：

*  Pod 的绝大多数元数据都是不可变的。例如，你不可以改变其 `namespace`、`name`、 `uid` 或者 `creationTimestamp` 字段；`generation` 字段是比较特别的，如果更新 该字段，只能增加字段取值而不能减少。
 *  如果 `metadata.deletionTimestamp` 已经被设置，则不可以向 `metadata.finalizers` 列表中添加新的条目。
 *  Pod 更新不可以改变除 `spec.containers[*].image`、`spec.initContainers[*].image`、 `spec.activeDeadlineSeconds` 或 `spec.tolerations` 之外的字段。 对于 `spec.tolerations`，你只被允许添加新的条目到其中。
 *  在更新`spec.activeDeadlineSeconds` 字段时，以下两种更新操作是被允许的：
    
    1.  如果该字段尚未设置，可以将其设置为一个正数；
    2.  如果该字段已经设置为一个正数，可以将其设置为一个更小的、非负的整数。

### 资源共享和通信 ###

Pod 使它的成员容器间能够进行数据共享和通信。

### Pod 中的存储 ###

一个 Pod 可以设置一组共享的存储[卷][Link 16]。 Pod 中的所有容器都可以访问该共享卷，从而允许这些容器共享数据。 卷还允许 Pod 中的持久数据保留下来，即使其中的容器需要重新启动。 有关 Kubernetes 如何在 Pod 中实现共享存储并将其提供给 Pod 的更多信息， 请参考[卷][Link 17]。

### Pod 联网 ###

每个 Pod 都在每个地址族中获得一个唯一的 IP 地址。 Pod 中的每个容器共享网络名字空间，包括 IP 地址和网络端口。 *Pod 内* 的容器可以使用 `localhost` 互相通信。 当 Pod 中的容器与 *Pod 之外* 的实体通信时，它们必须协调如何使用共享的网络资源 （例如端口）。

在同一个 Pod 内，所有容器共享一个 IP 地址和端口空间，并且可以通过 `localhost` 发现对方。 他们也能通过如 SystemV 信号量或 POSIX 共享内存这类标准的进程间通信方式互相通信。 不同 Pod 中的容器的 IP 地址互不相同，没有 [特殊配置][Link 18] 就不能使用 IPC 进行通信。 如果某容器希望与运行于其他 Pod 中的容器通信，可以通过 IP 联网的方式实现。

Pod 中的容器所看到的系统主机名与为 Pod 配置的 `name` 属性值相同。 [网络][Link 19]部分提供了更多有关此内容的信息。

## 容器的特权模式 ##

Pod 中的任何容器都可以使用容器规约中的 [安全性上下文][Link 20]中的 `privileged` 参数启用特权模式。 这对于想要使用操作系统管理权能（Capabilities，如操纵网络堆栈和访问设备） 的容器很有用。 容器内的进程几乎可以获得与容器外的进程相同的特权。

> **说明：** 你的[容器运行时][Link 12]必须支持 特权容器的概念才能使用这一配置。

## 静态 Pod ##

*静态 Pod（Static Pod）* 直接由特定节点上的 `kubelet` 守护进程管理， 不需要[API 服务器][API]看到它们。 尽管大多数 Pod 都是通过控制面（例如，[Deployment][]） 来管理的，对于静态 Pod 而言，`kubelet` 直接监控每个 Pod，并在其失效时重启之。

静态 Pod 通常绑定到某个节点上的 [kubelet][]。 其主要用途是运行自托管的控制面。 在自托管场景中，使用 `kubelet` 来管理各个独立的 [控制面组件][Link 21]。

`kubelet` 自动尝试为每个静态 Pod 在 Kubernetes API 服务器上创建一个 [镜像 Pod][Pod 1]。 这意味着在节点上运行的 Pod 在 API 服务器上是可见的，但不可以通过 API 服务器来控制。

## 接下来 ##

要了解为什么 Kubernetes 会在其他资源 （如 [StatefulSet][] 或 [Deployment][]） 封装通用的 Pod API，相关的背景信息可以在前人的研究中找到。具体包括：

*  [Aurora][]
 *  [Borg][]
 *  [Marathon][]
 *  [Omega][]
 *  [Tupperware][].

# Pod 的生命周期 #

本页面讲述 Pod 的生命周期。 Pod 遵循一个预定义的生命周期，起始于 `Pending` [阶段][Link 22]，如果至少 其中有一个主要容器正常启动，则进入 `Running`，之后取决于 Pod 中是否有容器以 失败状态结束而进入 `Succeeded` 或者 `Failed` 阶段。

在 Pod 运行期间，`kubelet` 能够重启容器以处理一些失效场景。 在 Pod 内部，Kubernetes 跟踪不同容器的[状态][Link 23] 并确定使 Pod 重新变得健康所需要采取的动作。

在 Kubernetes API 中，Pod 包含规约部分和实际状态部分。 Pod 对象的状态包含了一组 [Pod 状况（Conditions）][Pod _Conditions]。 如果应用需要的话，你也可以向其中注入[自定义的就绪性信息][Link 24]。

Pod 在其生命周期中只会被[调度][Link 25]一次。 一旦 Pod 被调度（分派）到某个节点，Pod 会一直在该节点运行，直到 Pod 停止或者 被[终止][Link 26]。

## Pod 生命期 ##

和一个个独立的应用容器一样，Pod 也被认为是相对临时性（而不是长期存在）的实体。 Pod 会被创建、赋予一个唯一的 ID（[UID][]）， 并被调度到节点，并在终止（根据重启策略）或删除之前一直运行在该节点。

如果一个[节点][Link 3]死掉了，调度到该节点 的 Pod 也被计划在给定超时期限结束后[删除][Link 27]。

Pod 自身不具有自愈能力。如果 Pod 被调度到某[节点][Link 3] 而该节点之后失效，或者调度操作本身失效，Pod 会被删除；与此类似，Pod 无法在节点资源 耗尽或者节点维护期间继续存活。Kubernetes 使用一种高级抽象，称作 [控制器][Link 4]，来管理这些相对而言 可随时丢弃的 Pod 实例。

任何给定的 Pod （由 UID 定义）从不会被“重新调度（rescheduled）”到不同的节点； 相反，这一 Pod 可以被一个新的、几乎完全相同的 Pod 替换掉。 如果需要，新 Pod 的名字可以不变，但是其 UID 会不同。

如果某物声称其生命期与某 Pod 相同，例如存储[卷][Link 16]， 这就意味着该对象在此 Pod （UID 亦相同）存在期间也一直存在。 如果 Pod 因为任何原因被删除，甚至某完全相同的替代 Pod 被创建时， 这个相关的对象（例如这里的卷）也会被删除并重建。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 1][]

Pod 结构图例

*一个包含多个容器的 Pod 中包含一个用来拉取文件的程序和一个 Web 服务器， 均使用持久卷作为容器间共享的存储。*

## Pod 阶段 ##

Pod 的 `status` 字段是一个 [PodStatus][] 对象，其中包含一个 `phase` 字段。

Pod 的阶段（Phase）是 Pod 在其生命周期中所处位置的简单宏观概述。 该阶段并不是对容器或 Pod 状态的综合汇总，也不是为了成为完整的状态机。

Pod 阶段的数量和含义是严格定义的。 除了本文档中列举的内容外，不应该再假定 Pod 有其他的 `phase` 值。

下面是 `phase` 可能的值：

<table> 
 <thead> 
  <tr> 
   <th>取值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>Pending</code>（悬决）</td> 
   <td>Pod 已被 Kubernetes 系统接受，但有一个或者多个容器尚未创建亦未运行。此阶段包括等待 Pod 被调度的时间和通过网络下载镜像的时间，</td> 
  </tr> 
  <tr> 
   <td><code>Running</code>（运行中）</td> 
   <td>Pod 已经绑定到了某个节点，Pod 中所有的容器都已被创建。至少有一个容器仍在运行，或者正处于启动或重启状态。</td> 
  </tr> 
  <tr> 
   <td><code>Succeeded</code>（成功）</td> 
   <td>Pod 中的所有容器都已成功终止，并且不会再重启。</td> 
  </tr> 
  <tr> 
   <td><code>Failed</code>（失败）</td> 
   <td>Pod 中的所有容器都已终止，并且至少有一个容器是因为失败终止。也就是说，容器以非 0 状态退出或者被系统终止。</td> 
  </tr> 
  <tr> 
   <td><code>Unknown</code>（未知）</td> 
   <td>因为某些原因无法取得 Pod 的状态。这种情况通常是因为与 Pod 所在主机通信失败。</td> 
  </tr> 
 </tbody> 
</table>

如果某节点死掉或者与集群中其他节点失联，Kubernetes 会实施一种策略，将失去的节点上运行的所有 Pod 的 `phase` 设置为 `Failed`。

## 容器状态 ##

Kubernetes 会跟踪 Pod 中每个容器的状态，就像它跟踪 Pod 总体上的[阶段][Link 22]一样。 你可以使用[容器生命周期回调][Link 28] 来在容器生命周期中的特定时间点触发事件。

一旦[调度器][Link 29]将 Pod 分派给某个节点，`kubelet` 就通过 [容器运行时][Link 12] 开始为 Pod 创建容器。 容器的状态有三种：`Waiting`（等待）、`Running`（运行中）和 `Terminated`（已终止）。

要检查 Pod 中容器的状态，你可以使用 `kubectl describe pod <pod 名称>`。 其输出中包含 Pod 中每个容器的状态。

每种状态都有特定的含义：

### `Waiting` （等待） ###

如果容器并不处在 `Running` 或 `Terminated` 状态之一，它就处在 `Waiting` 状态。 处于 `Waiting` 状态的容器仍在运行它完成启动所需要的操作：例如，从某个容器镜像 仓库拉取容器镜像，或者向容器应用 [Secret][] 数据等等。 当你使用 `kubectl` 来查询包含 `Waiting` 状态的容器的 Pod 时，你也会看到一个 Reason 字段，其中给出了容器处于等待状态的原因。

### `Running`（运行中） ###

`Running` 状态表明容器正在执行状态并且没有问题发生。 如果配置了 `postStart` 回调，那么该回调已经执行且已完成。 如果你使用 `kubectl` 来查询包含 `Running` 状态的容器的 Pod 时，你也会看到 关于容器进入 `Running` 状态的信息。

### `Terminated`（已终止） ###

处于 `Terminated` 状态的容器已经开始执行并且或者正常结束或者因为某些原因失败。 如果你使用 `kubectl` 来查询包含 `Terminated` 状态的容器的 Pod 时，你会看到 容器进入此状态的原因、退出代码以及容器执行期间的起止时间。

如果容器配置了 `preStop` 回调，则该回调会在容器进入 `Terminated` 状态之前执行。

## 容器重启策略 ##

Pod 的 `spec` 中包含一个 `restartPolicy` 字段，其可能取值包括 Always、OnFailure 和 Never。默认值是 Always。

`restartPolicy` 适用于 Pod 中的所有容器。`restartPolicy` 仅针对同一节点上 `kubelet` 的容器重启动作。当 Pod 中的容器退出时，`kubelet` 会按指数回退 方式计算重启的延迟（10s、20s、40s、...），其最长延迟为 5 分钟。 一旦某容器执行了 10 分钟并且没有出现问题，`kubelet` 对该容器的重启回退计时器执行 重置操作。

## Pod 状况 ##

Pod 有一个 PodStatus 对象，其中包含一个 [PodConditions][] 数组。Pod 可能通过也可能未通过其中的一些状况测试。

*  `PodScheduled`：Pod 已经被调度到某节点；
 *  `ContainersReady`：Pod 中所有容器都已就绪；
 *  `Initialized`：所有的 [Init 容器][Init] 都已成功启动；
 *  `Ready`：Pod 可以为请求提供服务，并且应该被添加到对应服务的负载均衡池中。

<table> 
 <thead> 
  <tr> 
   <th>字段名称</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>type</code></td> 
   <td>Pod 状况的名称</td> 
  </tr> 
  <tr> 
   <td><code>status</code></td> 
   <td>表明该状况是否适用，可能的取值有 "<code>True</code>", "<code>False</code>" 或 "<code>Unknown</code>"</td> 
  </tr> 
  <tr> 
   <td><code>lastProbeTime</code></td> 
   <td>上次探测 Pod 状况时的时间戳</td> 
  </tr> 
  <tr> 
   <td><code>lastTransitionTime</code></td> 
   <td>Pod 上次从一种状态转换到另一种状态时的时间戳</td> 
  </tr> 
  <tr> 
   <td><code>reason</code></td> 
   <td>机器可读的、驼峰编码（UpperCamelCase）的文字，表述上次状况变化的原因</td> 
  </tr> 
  <tr> 
   <td><code>message</code></td> 
   <td>人类可读的消息，给出上次状态转换的详细信息</td> 
  </tr> 
 </tbody> 
</table>

### Pod 就绪态 ###

**FEATURE STATE:** `Kubernetes v1.14 [stable]`

你的应用可以向 PodStatus 中注入额外的反馈或者信号：*Pod Readiness（Pod 就绪态）*。 要使用这一特性，可以设置 Pod 规约中的 `readinessGates` 列表，为 kubelet 提供一组额外的状况供其评估 Pod 就绪态时使用。

就绪态门控基于 Pod 的 `status.conditions` 字段的当前值来做决定。 如果 Kubernetes 无法在 `status.conditions` 字段中找到某状况，则该状况的 状态值默认为 "`False`"。

这里是一个例子：

kind: Pod
    ...
    spec:
      readinessGates:
        - conditionType: "www.example.com/feature-1"
    status:
      conditions:
        - type: Ready                              # 内置的 Pod 状况
          status: "False"
          lastProbeTime: null
          lastTransitionTime: 2018-01-01T00:00:00Z
        - type: "www.example.com/feature-1"        # 额外的 Pod 状况
          status: "False"
          lastProbeTime: null
          lastTransitionTime: 2018-01-01T00:00:00Z
      containerStatuses:
        - containerID: docker://abcd...
          ready: true
    ...

你所添加的 Pod 状况名称必须满足 Kubernetes [标签键名格式][Link 30]。

### Pod 就绪态的状态 ###

命令 `kubectl patch` 不支持修改对象的状态。 如果需要设置 Pod 的 `status.conditions`，应用或者 [Operators][] 需要使用 `PATCH` 操作。 你可以使用 [Kubernetes 客户端库][Kubernetes] 之一来编写代码，针对 Pod 就绪态设置定制的 Pod 状况。

对于使用定制状况的 Pod 而言，只有当下面的陈述都适用时，该 Pod 才会被评估为就绪：

*  Pod 中所有容器都已就绪；
 *  `readinessGates` 中的所有状况都为 `True` 值。

当 Pod 的容器都已就绪，但至少一个定制状况没有取值或者取值为 `False`， `kubelet` 将 Pod 的[状况][Pod _Conditions]设置为 `ContainersReady`。

## 容器探针 ##

[Probe][] 是由 [kubelet][kubelet 1] 对容器执行的定期诊断。 要执行诊断，kubelet 调用由容器实现的 [Handler][] （处理程序）。有三种类型的处理程序：

*  [ExecAction][]： 在容器内执行指定命令。如果命令退出时返回码为 0 则认为诊断成功。
 *  [TCPSocketAction][]： 对容器的 IP 地址上的指定端口执行 TCP 检查。如果端口打开，则诊断被认为是成功的。
 *  [HTTPGetAction][]： 对容器的 IP 地址上指定端口和路径执行 HTTP Get 请求。如果响应的状态码大于等于 200 且小于 400，则诊断被认为是成功的。

每次探测都将获得以下三种结果之一：

*  `Success`（成功）：容器通过了诊断。
 *  `Failure`（失败）：容器未通过诊断。
 *  `Unknown`（未知）：诊断失败，因此不会采取任何行动。

针对运行中的容器，`kubelet` 可以选择是否执行以下三种探针，以及如何针对探测结果作出反应：

*  `livenessProbe`：指示容器是否正在运行。如果存活态探测失败，则 kubelet 会杀死容器， 并且容器将根据其[重启策略][Link 31]决定未来。如果容器不提供存活探针， 则默认状态为 `Success`。
 *  `readinessProbe`：指示容器是否准备好为请求提供服务。如果就绪态探测失败， 端点控制器将从与 Pod 匹配的所有服务的端点列表中删除该 Pod 的 IP 地址。 初始延迟之前的就绪态的状态值默认为 `Failure`。 如果容器不提供就绪态探针，则默认状态为 `Success`。
 *  `startupProbe`: 指示容器中的应用是否已经启动。如果提供了启动探针，则所有其他探针都会被 禁用，直到此探针成功为止。如果启动探测失败，`kubelet` 将杀死容器，而容器依其 [重启策略][Link 31]进行重启。 如果容器没有提供启动探测，则默认状态为 `Success`。

如欲了解如何设置存活态、就绪态和启动探针的进一步细节，可以参阅 [配置存活态、就绪态和启动探针][Link 32]。

### 何时该使用存活态探针? ###

**FEATURE STATE:** `Kubernetes v1.0 [stable]`

如果容器中的进程能够在遇到问题或不健康的情况下自行崩溃，则不一定需要存活态探针; `kubelet` 将根据 Pod 的`restartPolicy` 自动执行修复操作。

如果你希望容器在探测失败时被杀死并重新启动，那么请指定一个存活态探针， 并指定`restartPolicy` 为 "`Always`" 或 "`OnFailure`"。

### 何时该使用就绪态探针? ###

**FEATURE STATE:** `Kubernetes v1.0 [stable]`

如果要仅在探测成功时才开始向 Pod 发送请求流量，请指定就绪态探针。 在这种情况下，就绪态探针可能与存活态探针相同，但是规约中的就绪态探针的存在意味着 Pod 将在启动阶段不接收任何数据，并且只有在探针探测成功后才开始接收数据。

如果你的容器需要加载大规模的数据、配置文件或者在启动期间执行迁移操作，可以添加一个 就绪态探针。

如果你希望容器能够自行进入维护状态，也可以指定一个就绪态探针，检查某个特定于 就绪态的因此不同于存活态探测的端点。

> **说明：** 请注意，如果你只是想在 Pod 被删除时能够排空请求，则不一定需要使用就绪态探针； 在删除 Pod 时，Pod 会自动将自身置于未就绪状态，无论就绪态探针是否存在。 等待 Pod 中的容器停止期间，Pod 会一直处于未就绪状态。

### 何时该使用启动探针？ ###

**FEATURE STATE:** `Kubernetes v1.18 [beta]`

对于所包含的容器需要较长时间才能启动就绪的 Pod 而言，启动探针是有用的。 你不再需要配置一个较长的存活态探测时间间隔，只需要设置另一个独立的配置选定， 对启动期间的容器执行探测，从而允许使用远远超出存活态时间间隔所允许的时长。

如果你的容器启动时间通常超出 `initialDelaySeconds + failureThreshold × periodSeconds` 总值，你应该设置一个启动探测，对存活态探针所使用的同一端点执行检查。 `periodSeconds` 的默认值是 10 秒。你应该将其 `failureThreshold` 设置得足够高， 以便容器有充足的时间完成启动，并且避免更改存活态探针所使用的默认值。 这一设置有助于减少死锁状况的发生。

## Pod 的终止 ##

由于 Pod 所代表的是在集群中节点上运行的进程，当不再需要这些进程时允许其体面地 终止是很重要的。一般不应武断地使用 `KILL` 信号终止它们，导致这些进程没有机会 完成清理操作。

设计的目标是令你能够请求删除进程，并且知道进程何时被终止，同时也能够确保删除 操作终将完成。当你请求删除某个 Pod 时，集群会记录并跟踪 Pod 的体面终止周期， 而不是直接强制地杀死 Pod。在存在强制关闭设施的前提下， [kubelet][] 会尝试体面地终止 Pod。

通常情况下，容器运行时会发送一个 TERM 信号到每个容器中的主进程。 很多容器运行时都能够注意到容器镜像中 `STOPSIGNAL` 的值，并发送该信号而不是 TERM。 一旦超出了体面终止限期，容器运行时会向所有剩余进程发送 KILL 信号，之后 Pod 就会被从 [API 服务器][API] 上移除。如果 `kubelet` 或者容器运行时的管理服务在等待进程终止期间被重启， 集群会从头开始重试，赋予 Pod 完整的体面终止限期。

下面是一个例子：

1.  你使用 `kubectl` 工具手动删除某个特定的 Pod，而该 Pod 的体面终止限期是默认值（30 秒）。
2.  API 服务器中的 Pod 对象被更新，记录涵盖体面终止限期在内 Pod 的最终死期，超出所计算时间点则认为 Pod 已死（dead）。 如果你使用 `kubectl describe` 来查验你正在删除的 Pod，该 Pod 会显示为 "Terminating" （正在终止）。 在 Pod 运行所在的节点上：`kubelet` 一旦看到 Pod 被标记为正在终止（已经设置了体面终止限期），`kubelet` 即开始本地的 Pod 关闭过程。
    
    1.  如果 Pod 中的容器之一定义了 `preStop` [回调][Link 33]， `kubelet` 开始在容器内运行该回调逻辑。如果超出体面终止限期时，`preStop` 回调逻辑 仍在运行，`kubelet` 会请求给予该 Pod 的宽限期一次性增加 2 秒钟。
        
        > **说明：** 如果 `preStop` 回调所需要的时间长于默认的体面终止限期，你必须修改 `terminationGracePeriodSeconds` 属性值来使其正常工作。
    2.  `kubelet` 接下来触发容器运行时发送 TERM 信号给每个容器中的进程 1。
        
        > **说明：** Pod 中的容器会在不同时刻收到 TERM 信号，接收顺序也是不确定的。 如果关闭的顺序很重要，可以考虑使用 `preStop` 回调逻辑来协调。

1.  与此同时，`kubelet` 启动体面关闭逻辑，控制面会将 Pod 从对应的端点列表（以及端点切片列表， 如果启用了的话）中移除，过滤条件是 Pod 被对应的 [服务][Service]以某 [选择算符][Link 34]选定。 [ReplicaSets][ReplicaSet]和其他工作负载资源 不再将关闭进程中的 Pod 视为合法的、能够提供服务的副本。关闭动作很慢的 Pod 也无法继续处理请求数据，因为负载均衡器（例如服务代理）已经在终止宽限期开始的时候 将其从端点列表中移除。

1.  超出终止宽限期限时，`kubelet` 会触发强制关闭过程。容器运行时会向 Pod 中所有容器内 仍在运行的进程发送 `SIGKILL` 信号。 `kubelet` 也会清理隐藏的 `pause` 容器，如果容器运行时使用了这种容器的话。
2.  `kubelet` 触发强制从 API 服务器上删除 Pod 对象的逻辑，并将体面终止限期设置为 0 （这意味着马上删除）。
3.  API 服务器删除 Pod 的 API 对象，从任何客户端都无法再看到该对象。

### 强制终止 Pod ###

> **注意：** 对于某些工作负载及其 Pod 而言，强制删除很可能会带来某种破坏。

默认情况下，所有的删除操作都会附有 30 秒钟的宽限期限。 `kubectl delete` 命令支持 `--grace-period=<seconds>` 选项，允许你重载默认值， 设定自己希望的期限值。

将宽限期限强制设置为 `0` 意味着立即从 API 服务器删除 Pod。 如果 Pod 仍然运行于某节点上，强制删除操作会触发 `kubelet` 立即执行清理操作。

> **说明：** 你必须在设置 `--grace-period=0` 的同时额外设置 `--force` 参数才能发起强制删除请求。

执行强制删除操作时，API 服务器不再等待来自 `kubelet` 的、关于 Pod 已经在原来运行的节点上终止执行的确认消息。 API 服务器直接删除 Pod 对象，这样新的与之同名的 Pod 即可以被创建。 在节点侧，被设置为立即终止的 Pod 仍然会在被强行杀死之前获得一点点的宽限时间。

如果你需要强制删除 StatefulSet 的 Pod，请参阅 [从 StatefulSet 中删除 Pod][StatefulSet _ Pod] 的任务文档。

### 失效 Pod 的垃圾收集 ###

对于已失败的 Pod 而言，对应的 API 对象仍然会保留在集群的 API 服务器上，直到 用户或者[控制器][Link 4]进程显式地 将其删除。

控制面组件会在 Pod 个数超出所配置的阈值 （根据 `kube-controller-manager` 的 `terminated-pod-gc-threshold` 设置）时 删除已终止的 Pod（阶段值为 `Succeeded` 或 `Failed`）。 这一行为会避免随着时间演进不断创建和终止 Pod 而引起的资源泄露问题。

## 接下来 ##

*  动手实践[为容器生命周期时间关联处理程序][Link 35]。
 *  动手实践[配置存活态、就绪态和启动探针][Link 32]。
 *  进一步了解[容器生命周期回调][Link 28]。
 *  关于 API 中定义的有关 Pod/容器的详细规范信息， 可参阅 [PodStatus][] 和 [ContainerStatus][]。

# Init 容器 #

本页提供了 Init 容器的概览。Init 容器是一种特殊容器，在 [Pod][Pod 2] 内的应用容器启动之前运行。Init 容器可以包括一些应用镜像中不存在的实用工具和安装脚本。

你可以在 Pod 的规约中与用来描述应用容器的 `containers` 数组平行的位置指定 Init 容器。

## 理解 Init 容器 ##

每个 [Pod][Pod 2] 中可以包含多个容器， 应用运行在这些容器里面，同时 Pod 也可以有一个或多个先于应用容器启动的 Init 容器。

Init 容器与普通的容器非常像，除了如下两点：

*  它们总是运行到完成。
 *  每个都必须在下一个启动之前成功完成。

如果 Pod 的 Init 容器失败，kubelet 会不断地重启该 Init 容器直到该容器成功为止。 然而，如果 Pod 对应的 `restartPolicy` 值为 "Never"，Kubernetes 不会重新启动 Pod。

为 Pod 设置 Init 容器需要在 Pod 的 `spec` 中添加 `initContainers` 字段， 该字段以 [Container][] 类型对象数组的形式组织，和应用的 `containers` 数组同级相邻。 Init 容器的状态在 `status.initContainerStatuses` 字段中以容器状态数组的格式返回 （类似 `status.containerStatuses` 字段）。

### 与普通容器的不同之处 ###

Init 容器支持应用容器的全部字段和特性，包括资源限制、数据卷和安全设置。 然而，Init 容器对资源请求和限制的处理稍有不同，在下面[资源][Link 36]节有说明。

同时 Init 容器不支持 `lifecycle`、`livenessProbe`、`readinessProbe` 和 `startupProbe`， 因为它们必须在 Pod 就绪之前运行完成。

如果为一个 Pod 指定了多个 Init 容器，这些容器会按顺序逐个运行。 每个 Init 容器必须运行成功，下一个才能够运行。当所有的 Init 容器运行完成时， Kubernetes 才会为 Pod 初始化应用容器并像平常一样运行。

## 使用 Init 容器 ##

因为 Init 容器具有与应用容器分离的单独镜像，其启动相关代码具有如下优势：

*  Init 容器可以包含一些安装过程中应用容器中不存在的实用工具或个性化代码。 例如，没有必要仅为了在安装过程中使用类似 `sed`、`awk`、`python` 或 `dig` 这样的工具而去 `FROM` 一个镜像来生成一个新的镜像。
 *  Init 容器可以安全地运行这些工具，避免这些工具导致应用镜像的安全性降低。
 *  应用镜像的创建者和部署者可以各自独立工作，而没有必要联合构建一个单独的应用镜像。
 *  Init 容器能以不同于 Pod 内应用容器的文件系统视图运行。因此，Init 容器可以访问 应用容器不能访问的 [Secret][] 的权限。
 *  由于 Init 容器必须在应用容器启动之前运行完成，因此 Init 容器 提供了一种机制来阻塞或延迟应用容器的启动，直到满足了一组先决条件。 一旦前置条件满足，Pod 内的所有的应用容器会并行启动。

### 示例 ###

下面是一些如何使用 Init 容器的想法：

*  等待一个 Service 完成创建，通过类似如下 shell 命令：
    
        for i in {1..100}; do sleep 1; if dig myservice; then exit 0; fi; exit 1
 *  注册这个 Pod 到远程服务器，通过在命令中调用 API，类似如下：
    
        curl -X POST http://$MANAGEMENT_SERVICE_HOST:$MANAGEMENT_SERVICE_PORT/register \
          -d 'instance=$(<POD_NAME>)&ip=$(<POD_IP>)'
 *  在启动应用容器之前等一段时间，使用类似命令：
    
        sleep 60
 *  克隆 Git 仓库到[卷][Link 16]中。
 *  将配置值放到配置文件中，运行模板工具为主应用容器动态地生成配置文件。 例如，在配置文件中存放 `POD_IP` 值，并使用 Jinja 生成主应用配置文件。

### 使用 Init 容器的情况 ###

下面的例子定义了一个具有 2 个 Init 容器的简单 Pod。 第一个等待 `myservice` 启动， 第二个等待 `mydb` 启动。 一旦这两个 Init容器 都启动完成，Pod 将启动 `spec` 节中的应用容器。

apiVersion: v1
    kind: Pod
    metadata:
      name: myapp-pod
      labels:
        app: myapp
    spec:
      containers:
      - name: myapp-container
        image: busybox:1.28
        command: ['sh', '-c', 'echo The app is running! && sleep 3600']
      initContainers:
      - name: init-myservice
        image: busybox:1.28
        command: ['sh', '-c', "until nslookup myservice.$(cat /var/run/secrets/kubernetes.io/serviceaccount/namespace).svc.cluster.local; do echo waiting for myservice; sleep 2; done"]
      - name: init-mydb
        image: busybox:1.28
        command: ['sh', '-c', "until nslookup mydb.$(cat /var/run/secrets/kubernetes.io/serviceaccount/namespace).svc.cluster.local; do echo waiting for mydb; sleep 2; done"]

你通过运行下面的命令启动 Pod：

kubectl apply -f myapp.yaml

输出类似于：

pod/myapp-pod created

使用下面的命令检查其状态：

kubectl get -f myapp.yaml

输出类似于：

NAME        READY     STATUS     RESTARTS   AGE
    myapp-pod   0/1       Init:0/2   0          6m

或者查看更多详细信息：

kubectl describe -f myapp.yaml

输出类似于：

Name:          myapp-pod
    Namespace:     default
    [...]
    Labels:        app=myapp
    Status:        Pending
    [...]
    Init Containers:
      init-myservice:
    [...]
        State:         Running
    [...]
      init-mydb:
    [...]
        State:         Waiting
          Reason:      PodInitializing
        Ready:         False
    [...]
    Containers:
      myapp-container:
    [...]
        State:         Waiting
          Reason:      PodInitializing
        Ready:         False
    [...]
    Events:
      FirstSeen    LastSeen    Count    From                      SubObjectPath                           Type          Reason        Message
      ---------    --------    -----    ----                      -------------                           --------      ------        -------
      16s          16s         1        {default-scheduler }                                              Normal        Scheduled     Successfully assigned myapp-pod to 172.17.4.201
      16s          16s         1        {kubelet 172.17.4.201}    spec.initContainers{init-myservice}     Normal        Pulling       pulling image "busybox"
      13s          13s         1        {kubelet 172.17.4.201}    spec.initContainers{init-myservice}     Normal        Pulled        Successfully pulled image "busybox"
      13s          13s         1        {kubelet 172.17.4.201}    spec.initContainers{init-myservice}     Normal        Created       Created container with docker id 5ced34a04634; Security:[seccomp=unconfined]
      13s          13s         1        {kubelet 172.17.4.201}    spec.initContainers{init-myservice}     Normal        Started       Started container with docker id 5ced34a04634

如需查看 Pod 内 Init 容器的日志，请执行：

kubectl logs myapp-pod -c init-myservice # 查看第一个 Init 容器
    kubectl logs myapp-pod -c init-mydb      # 查看第二个 Init 容器

在这一刻，Init 容器将会等待至发现名称为 `mydb` 和 `myservice` 的 Service。

如下为创建这些 Service 的配置文件：

---
    apiVersion: v1
    kind: Service
    metadata:
      name: myservice
    spec:
      ports:
      - protocol: TCP
        port: 80
        targetPort: 9376
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: mydb
    spec:
      ports:
      - protocol: TCP
        port: 80
        targetPort: 9377

创建 `mydb` 和 `myservice` 服务的命令：

kubectl create -f services.yaml

输出类似于：

service "myservice" created
    service "mydb" created

这样你将能看到这些 Init 容器执行完毕，随后 `my-app` 的 Pod 进入 `Running` 状态：

kubectl get -f myapp.yaml

输出类似于：

NAME        READY     STATUS    RESTARTS   AGE
    myapp-pod   1/1       Running   0          9m

这个简单例子应该能为你创建自己的 Init 容器提供一些启发。 [接下来][Link 37]节提供了更详细例子的链接。

## 具体行为 ##

在 Pod 启动过程中，每个 Init 容器会在网络和数据卷初始化之后按顺序启动。 kubelet 运行依据 Init 容器在 Pod 规约中的出现顺序依次运行之。

每个 Init 容器成功退出后才会启动下一个 Init 容器。 如果某容器因为容器运行时的原因无法启动，或以错误状态退出，kubelet 会根据 Pod 的 `restartPolicy` 策略进行重试。 然而，如果 Pod 的 `restartPolicy` 设置为 "Always"，Init 容器失败时会使用 `restartPolicy` 的 "OnFailure" 策略。

在所有的 Init 容器没有成功之前，Pod 将不会变成 `Ready` 状态。 Init 容器的端口将不会在 Service 中进行聚集。正在初始化中的 Pod 处于 `Pending` 状态， 但会将状况 `Initializing` 设置为 false。

如果 Pod [重启][Link 38]，所有 Init 容器必须重新执行。

对 Init 容器规约的修改仅限于容器的 `image` 字段。 更改 Init 容器的 `image` 字段，等同于重启该 Pod。

因为 Init 容器可能会被重启、重试或者重新执行，所以 Init 容器的代码应该是幂等的。 特别地，基于 `emptyDirs` 写文件的代码，应该对输出文件可能已经存在做好准备。

Init 容器具有应用容器的所有字段。然而 Kubernetes 禁止使用 `readinessProbe`， 因为 Init 容器不能定义不同于完成态（Completion）的就绪态（Readiness）。 Kubernetes 会在校验时强制执行此检查。

在 Pod 上使用 `activeDeadlineSeconds` 和在容器上使用 `livenessProbe` 可以避免 Init 容器一直重复失败。`activeDeadlineSeconds` 时间包含了 Init 容器启动的时间。

在 Pod 中的每个应用容器和 Init 容器的名称必须唯一； 与任何其它容器共享同一个名称，会在校验时抛出错误。

### 资源 ###

在给定的 Init 容器执行顺序下，资源使用适用于如下规则：

*  所有 Init 容器上定义的任何特定资源的 limit 或 request 的最大值，作为 Pod *有效初始 request/limit*
 *  Pod 对资源的 *有效 limit/request* 是如下两者的较大者：
    
     *  所有应用容器对某个资源的 limit/request 之和
     *  对某个资源的有效初始 limit/request
 *  基于有效 limit/request 完成调度，这意味着 Init 容器能够为初始化过程预留资源， 这些资源在 Pod 生命周期过程中并没有被使用。
 *  Pod 的 *有效 QoS 层* ，与 Init 容器和应用容器的一样。

配额和限制适用于有效 Pod 的请求和限制值。 Pod 级别的 cgroups 是基于有效 Pod 的请求和限制值，和调度器相同。

### Pod 重启的原因 ###

Pod 重启会导致 Init 容器重新执行，主要有如下几个原因：

*  用户更新 Pod 的规约导致 Init 容器镜像发生改变。Init 容器镜像的变更会引起 Pod 重启。 应用容器镜像的变更仅会重启应用容器。
 *  Pod 的基础设施容器 (译者注：如 `pause` 容器) 被重启。这种情况不多见， 必须由具备 root 权限访问节点的人员来完成。
 *  当 `restartPolicy` 设置为 "`Always`"，Pod 中所有容器会终止而强制重启。 由于垃圾收集机制的原因，Init 容器的完成记录将会丢失。

## 接下来 ##

*  阅读[创建包含 Init 容器的 Pod][Init _ Pod]
 *  学习如何[调试 Init 容器][Init 2]

# Pod 拓扑分布约束 #

**FEATURE STATE:** `Kubernetes v1.19 [stable]`

你可以使用 *拓扑分布约束（Topology Spread Constraints）* 来控制 [Pods][Pod 2] 在集群内故障域 之间的分布，例如区域（Region）、可用区（Zone）、节点和其他用户自定义拓扑域。 这样做有助于实现高可用并提升资源利用率。

> **说明：** 在 v1.19 之前的 Kubernetes 版本中，如果要使用 Pod 拓扑扩展约束，你必须在 [API 服务器][API 1] 和[调度器][Link 39] 中启用 `EvenPodsSpread` [特性门控][Link 40]。

## 先决条件 ##

### 节点标签 ###

拓扑分布约束依赖于节点标签来标识每个节点所在的拓扑域。 例如，某节点可能具有标签：`node=node1,zone=us-east-1a,region=us-east-1`

假设你拥有具有以下标签的一个 4 节点集群：

NAME    STATUS   ROLES    AGE     VERSION   LABELS
    node1   Ready    <none>   4m26s   v1.16.0   node=node1,zone=zoneA
    node2   Ready    <none>   3m58s   v1.16.0   node=node2,zone=zoneA
    node3   Ready    <none>   3m17s   v1.16.0   node=node3,zone=zoneB
    node4   Ready    <none>   2m43s   v1.16.0   node=node4,zone=zoneB

然后从逻辑上看集群如下：

![20210429230631632.png][]

你可以复用在大多数集群上自动创建和填充的 [常用标签][Link 41]， 而不是手动添加标签。

## Pod 的分布约束 ##

### API ###

`pod.spec.topologySpreadConstraints` 字段定义如下所示：

apiVersion: v1
    kind: Pod
    metadata:
      name: mypod
    spec:
      topologySpreadConstraints:
        - maxSkew: <integer>
          topologyKey: <string>
          whenUnsatisfiable: <string>
          labelSelector: <object>

你可以定义一个或多个 `topologySpreadConstraint` 来指示 kube-scheduler 如何根据与现有的 Pod 的关联关系将每个传入的 Pod 部署到集群中。字段包括：

*  **maxSkew** 描述 Pod 分布不均的程度。这是给定拓扑类型中任意两个拓扑域中 匹配的 pod 之间的最大允许差值。它必须大于零。取决于 `whenUnsatisfiable` 的 取值，其语义会有不同。
    
     *  当 `whenUnsatisfiable` 等于 "DoNotSchedule" 时，`maxSkew` 是目标拓扑域 中匹配的 Pod 数与全局最小值之间可存在的差异。
     *  当 `whenUnsatisfiable` 等于 "ScheduleAnyway" 时，调度器会更为偏向能够降低 偏差值的拓扑域。
 *  **topologyKey** 是节点标签的键。如果两个节点使用此键标记并且具有相同的标签值， 则调度器会将这两个节点视为处于同一拓扑域中。调度器试图在每个拓扑域中放置数量 均衡的 Pod。
 *  **whenUnsatisfiable** 指示如果 Pod 不满足分布约束时如何处理：
    
     *  `DoNotSchedule`（默认）告诉调度器不要调度。
     *  `ScheduleAnyway` 告诉调度器仍然继续调度，只是根据如何能将偏差最小化来对 节点进行排序。
 *  **labelSelector** 用于查找匹配的 pod。匹配此标签的 Pod 将被统计，以确定相应 拓扑域中 Pod 的数量。 有关详细信息，请参考[标签选择算符][Link 42]。

你可以执行 `kubectl explain Pod.spec.topologySpreadConstraints` 命令以 了解关于 topologySpreadConstraints 的更多信息。

### 例子：单个 TopologySpreadConstraint ###

假设你拥有一个 4 节点集群，其中标记为 `foo:bar` 的 3 个 Pod 分别位于 node1、node2 和 node3 中：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 2][]

如果希望新来的 Pod 均匀分布在现有的可用区域，则可以按如下设置其规约：

[`pods/topology-spread-constraints/one-constraint.yaml`][pods_topology-spread-constraints_one-constraint.yaml]

kind: Pod
    apiVersion: v1
    metadata:
      name: mypod
      labels:
        foo: bar
    spec:
      topologySpreadConstraints:
      - maxSkew: 1
        topologyKey: zone
        whenUnsatisfiable: DoNotSchedule
        labelSelector:
          matchLabels:
            foo: bar
      containers:
      - name: pause
        image: k8s.gcr.io/pause:3.1

`topologyKey: zone` 意味着均匀分布将只应用于存在标签键值对为 "zone:<any value>" 的节点。 `whenUnsatisfiable: DoNotSchedule` 告诉调度器如果新的 Pod 不满足约束， 则让它保持悬决状态。

如果调度器将新的 Pod 放入 "zoneA"，Pods 分布将变为 \[3, 1\]，因此实际的偏差 为 2（3 - 1）。这违反了 `maxSkew: 1` 的约定。此示例中，新 Pod 只能放置在 "zoneB" 上：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 3][]

你可以调整 Pod 规约以满足各种要求：

*  将 `maxSkew` 更改为更大的值，比如 "2"，这样新的 Pod 也可以放在 "zoneA" 上。
 *  将 `topologyKey` 更改为 "node"，以便将 Pod 均匀分布在节点上而不是区域中。 在上面的例子中，如果 `maxSkew` 保持为 "1"，那么传入的 Pod 只能放在 "node4" 上。
 *  将 `whenUnsatisfiable: DoNotSchedule` 更改为 `whenUnsatisfiable: ScheduleAnyway`， 以确保新的 Pod 始终可以被调度（假设满足其他的调度 API）。 但是，最好将其放置在匹配 Pod 数量较少的拓扑域中。 （请注意，这一优先判定会与其他内部调度优先级（如资源使用率等）排序准则一起进行标准化。）

### 例子：多个 TopologySpreadConstraints ###

下面的例子建立在前面例子的基础上。假设你拥有一个 4 节点集群，其中 3 个标记为 `foo:bar` 的 Pod 分别位于 node1、node2 和 node3 上：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 4][]

可以使用 2 个 TopologySpreadConstraint 来控制 Pod 在 区域和节点两个维度上的分布：

[`pods/topology-spread-constraints/two-constraints.yaml`][pods_topology-spread-constraints_two-constraints.yaml]

kind: Pod
    apiVersion: v1
    metadata:
      name: mypod
      labels:
        foo: bar
    spec:
      topologySpreadConstraints:
      - maxSkew: 1
        topologyKey: zone
        whenUnsatisfiable: DoNotSchedule
        labelSelector:
          matchLabels:
            foo: bar
      - maxSkew: 1
        topologyKey: node
        whenUnsatisfiable: DoNotSchedule
        labelSelector:
          matchLabels:
            foo: bar
      containers:
      - name: pause
        image: k8s.gcr.io/pause:3.1

在这种情况下，为了匹配第一个约束，新的 Pod 只能放置在 "zoneB" 中；而在第二个约束中， 新的 Pod 只能放置在 "node4" 上。最后两个约束的结果加在一起，唯一可行的选择是放置 在 "node4" 上。

多个约束之间可能存在冲突。假设有一个跨越 2 个区域的 3 节点集群：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 5][]

如果对集群应用 "two-constraints.yaml"，会发现 "mypod" 处于 `Pending` 状态。 这是因为：为了满足第一个约束，"mypod" 只能放在 "zoneB" 中，而第二个约束要求 "mypod" 只能放在 "node2" 上。Pod 调度无法满足两种约束。

为了克服这种情况，你可以增加 `maxSkew` 或修改其中一个约束，让其使用 `whenUnsatisfiable: ScheduleAnyway`。

### 约定 ###

这里有一些值得注意的隐式约定：

*  只有与新的 Pod 具有相同命名空间的 Pod 才能作为匹配候选者。
 *  没有 `topologySpreadConstraints[*].topologyKey` 的节点将被忽略。这意味着：
    
    1.  位于这些节点上的 Pod 不影响 `maxSkew` 的计算。 在上面的例子中，假设 "node1" 没有标签 "zone"，那么 2 个 Pod 将被忽略， 因此传入的 Pod 将被调度到 "zoneA" 中。
    2.  新的 Pod 没有机会被调度到这类节点上。 在上面的例子中，假设一个带有标签 `{zone-typo: zoneC}` 的 "node5" 加入到集群， 它将由于没有标签键 "zone" 而被忽略。

*  注意，如果新 Pod 的 `topologySpreadConstraints[*].labelSelector` 与自身的 标签不匹配，将会发生什么。 在上面的例子中，如果移除新 Pod 上的标签，Pod 仍然可以调度到 "zoneB"，因为约束仍然满足。 然而，在调度之后，集群的不平衡程度保持不变。zoneA 仍然有 2 个带有 \{foo:bar\} 标签的 Pod， zoneB 有 1 个带有 \{foo:bar\} 标签的 Pod。 因此，如果这不是你所期望的，建议工作负载的 `topologySpreadConstraints[*].labelSelector` 与其自身的标签匹配。

*  如果新 Pod 定义了 `spec.nodeSelector` 或 `spec.affinity.nodeAffinity`，则 不匹配的节点会被忽略。
    
    假设你有一个跨越 zoneA 到 zoneC 的 5 节点集群：
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 6][]
    
    而且你知道 "zoneC" 必须被排除在外。在这种情况下，可以按如下方式编写 yaml， 以便将 "mypod" 放置在 "zoneB" 上，而不是 "zoneC" 上。同样，`spec.nodeSelector` 也要一样处理。
    
    [`pods/topology-spread-constraints/one-constraint-with-nodeaffinity.yaml`][pods_topology-spread-constraints_one-constraint-with-nodeaffinity.yaml] 
    
        kind: Pod
        apiVersion: v1
        metadata:
          name: mypod
          labels:
            foo: bar
        spec:
          topologySpreadConstraints:
          - maxSkew: 1
            topologyKey: zone
            whenUnsatisfiable: DoNotSchedule
            labelSelector:
              matchLabels:
                foo: bar
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  - key: zone
                    operator: NotIn
                    values:
                    - zoneC
          containers:
          - name: pause
            image: k8s.gcr.io/pause:3.1

### 集群级别的默认约束 ###

为集群设置默认的拓扑分布约束也是可能的。默认拓扑分布约束在且仅在以下条件满足 时才会应用到 Pod 上：

*  Pod 没有在其 `.spec.topologySpreadConstraints` 设置任何约束；
 *  Pod 隶属于某个服务、副本控制器、ReplicaSet 或 StatefulSet。

你可以在 [调度方案（Schedulingg Profile）][Schedulingg Profile] 中将默认约束作为 `PodTopologySpread` 插件参数的一部分来设置。 约束的设置采用[如前所述的 API][API 2]，只是 `labelSelector` 必须为空。 选择算符是根据 Pod 所属的服务、副本控制器、ReplicaSet 或 StatefulSet 来设置的。

配置的示例可能看起来像下面这个样子：

apiVersion: kubescheduler.config.k8s.io/v1beta1
    kind: KubeSchedulerConfiguration
    
    profiles:
      - pluginConfig:
          - name: PodTopologySpread
            args:
              defaultConstraints:
                - maxSkew: 1
                  topologyKey: topology.kubernetes.io/zone
                  whenUnsatisfiable: ScheduleAnyway
              defaultingType: List

> **说明：**
> 
> 默认调度约束所生成的评分可能与 [`SelectorSpread` 插件][SelectorSpread]. 所生成的评分有冲突。 建议你在为 `PodTopologySpread` 设置默认约束是禁用调度方案中的该插件。

内部默认约束

**FEATURE STATE:** `Kubernetes v1.20 [beta]`

当你使用了默认启用的 `DefaultPodTopologySpread` 特性门控时，原来的 `SelectorSpread` 插件会被禁用。 kube-scheduler 会使用下面的默认拓扑约束作为 `PodTopologySpread` 插件的 配置：

defaultConstraints:
      - maxSkew: 3
        topologyKey: "kubernetes.io/hostname"
        whenUnsatisfiable: ScheduleAnyway
      - maxSkew: 5
        topologyKey: "topology.kubernetes.io/zone"
        whenUnsatisfiable: ScheduleAnyway

此外，原来用于提供等同行为的 `SelectorSpread` 插件也会被禁用。

> **说明：**
> 
> 如果你的节点不会 **同时** 设置 `kubernetes.io/hostname` 和 `topology.kubernetes.io/zone` 标签，你应该定义自己的约束而不是使用 Kubernetes 的默认约束。
> 
> 插件 `PodTopologySpread` 不会为未设置分布约束中所给拓扑键的节点评分。

如果你不想为集群使用默认的 Pod 分布约束，你可以通过设置 `defaultingType` 参数为 `List` 和 将 `PodTopologySpread` 插件配置中的 `defaultConstraints` 参数置空来禁用默认 Pod 分布约束。

apiVersion: kubescheduler.config.k8s.io/v1beta1
    kind: KubeSchedulerConfiguration
    
    profiles:
      - pluginConfig:
          - name: PodTopologySpread
            args:
              defaultConstraints: []
              defaultingType: List

## 与 PodAffinity/PodAntiAffinity 相比较 ##

在 Kubernetes 中，与“亲和性”相关的指令控制 Pod 的调度方式（更密集或更分散）。

*  对于 `PodAffinity`，你可以尝试将任意数量的 Pod 集中到符合条件的拓扑域中。
 *  对于 `PodAntiAffinity`，只能将一个 Pod 调度到某个拓扑域中。

要实现更细粒度的控制，你可以设置拓扑分布约束来将 Pod 分布到不同的拓扑域下， 从而实现高可用性或节省成本。这也有助于工作负载的滚动更新和平稳地扩展副本规模。 有关详细信息，请参考 [动机][Link 43]文档。

## 已知局限性 ##

*  Deployment 缩容操作可能导致 Pod 分布不平衡。
 *  具有污点的节点上的 Pods 也会被统计。 参考 [Issue 80921][]。

## 接下来 ##

*  [博客: PodTopologySpread介绍][PodTopologySpread] 详细解释了 `maxSkew`，并给出了一些高级的使用示例。

# 干扰（Disruptions） #

本指南针对的是希望构建高可用性应用程序的应用所有者，他们有必要了解可能发生在 Pod 上的干扰类型。

文档同样适用于想要执行自动化集群操作（例如升级和自动扩展集群）的集群管理员。

## 自愿干扰和非自愿干扰 ##

Pod 不会消失，除非有人（用户或控制器）将其销毁，或者出现了不可避免的硬件或软件系统错误。

我们把这些不可避免的情况称为应用的*非自愿干扰（Involuntary Disruptions）*。例如：

*  节点下层物理机的硬件故障
 *  集群管理员错误地删除虚拟机（实例）
 *  云提供商或虚拟机管理程序中的故障导致的虚拟机消失
 *  内核错误
 *  节点由于集群网络隔离从集群中消失
 *  由于节点[资源不足][Link 44]导致 pod 被驱逐。

除了资源不足的情况，大多数用户应该都熟悉这些情况；它们不是特定于 Kubernetes 的。

我们称其他情况为*自愿干扰（Voluntary Disruptions）*。 包括由应用程序所有者发起的操作和由集群管理员发起的操作。典型的应用程序所有者的操 作包括：

*  删除 Deployment 或其他管理 Pod 的控制器
 *  更新了 Deployment 的 Pod 模板导致 Pod 重启
 *  直接删除 Pod（例如，因为误操作）

集群管理员操作包括：

*  [排空（drain）节点][drain]进行修复或升级。
 *  从集群中排空节点以缩小集群（了解[集群自动扩缩][Link 45]）。
 *  从节点中移除一个 Pod，以允许其他 Pod 使用该节点。

这些操作可能由集群管理员直接执行，也可能由集群管理员所使用的自动化工具执行，或者由集群托管提供商自动执行。

咨询集群管理员或联系云提供商，或者查询发布文档，以确定是否为集群启用了任何资源干扰源。 如果没有启用，可以不用创建 Pod Disruption Budgets（Pod 干扰预算）

> **注意：** 并非所有的自愿干扰都会受到 Pod 干扰预算的限制。 例如，删除 Deployment 或 Pod 的删除操作就会跳过 Pod 干扰预算检查。

## 处理干扰 ##

以下是减轻非自愿干扰的一些方法：

*  确保 Pod 在请求中给出[所需资源][Link 46]。
 *  如果需要更高的可用性，请复制应用程序。 （了解有关运行多副本的[无状态][Deployment 1] 和[有状态][Link 7]应用程序的信息。）
 *  为了在运行复制应用程序时获得更高的可用性，请跨机架（使用 [反亲和性][Link 47]）或跨区域 （如果使用[多区域集群][Link 48]）扩展应用程序。

自愿干扰的频率各不相同。在一个基本的 Kubernetes 集群中，根本没有自愿干扰。然而，集群管理 或托管提供商可能运行一些可能导致自愿干扰的额外服务。例如，节点软 更新可能导致自愿干扰。另外，集群（节点）自动缩放的某些 实现可能导致碎片整理和紧缩节点的自愿干扰。集群 管理员或托管提供商应该已经记录了各级别的自愿干扰（如果有的话）。

Kubernetes 提供特性来满足在出现频繁自愿干扰的同时运行高可用的应用程序。我们称这些特性为 *干扰预算（Disruption Budget）*。

## 干扰预算 ##

**FEATURE STATE:** `Kubernetes v1.5 [beta]`

即使你会经常引入自愿性干扰，Kubernetes 也能够支持你运行高度可用的应用。

应用程序所有者可以为每个应用程序创建 `PodDisruptionBudget` 对象（PDB）。 PDB 将限制在同一时间因自愿干扰导致的复制应用程序中宕机的 pod 数量。 例如，基于票选机制的应用程序希望确保运行的副本数永远不会低于仲裁所需的数量。 Web 前端可能希望确保提供负载的副本数量永远不会低于总数的某个百分比。

集群管理员和托管提供商应该使用遵循 Pod Disruption Budgets 的接口 （通过调用[Eviction API][]）， 而不是直接删除 Pod 或 Deployment。

例如，`kubectl drain` 命令可以用来标记某个节点即将停止服务。 运行 `kubectl drain` 命令时，工具会尝试驱逐机器上的所有 Pod。 `kubectl` 所提交的驱逐请求可能会暂时被拒绝，所以该工具会定时重试失败的请求， 直到所有的 Pod 都被终止，或者达到配置的超时时间。

PDB 指定应用程序可以容忍的副本数量（相当于应该有多少副本）。 例如，具有 `.spec.replicas: 5` 的 Deployment 在任何时间都应该有 5 个 Pod。 如果 PDB 允许其在某一时刻有 4 个副本，那么驱逐 API 将允许同一时刻仅有一个而不是两个 Pod 自愿干扰。

使用标签选择器来指定构成应用程序的一组 Pod，这与应用程序的控制器（Deployment，StatefulSet 等） 选择 Pod 的逻辑一样。

Pod 控制器的 `.spec.replicas` 计算“预期的” Pod 数量。 根据 Pod 对象的 `.metadata.ownerReferences` 字段来发现控制器。

PDB 不能阻止[非自愿干扰][Link 49]的发生，但是确实会计入 预算。

由于应用程序的滚动升级而被删除或不可用的 Pod 确实会计入干扰预算， 但是控制器（如 Deployment 和 StatefulSet）在进行滚动升级时不受 PDB 的限制。应用程序更新期间的故障处理方式是在对应的工作负载资源的 `spec` 中配置的。

当使用驱逐 API 驱逐 Pod 时，Pod 会被体面地 [终止][Link 26]，期间会 参考 [PodSpec][] 中的 `terminationGracePeriodSeconds` 配置值。

## PDB 例子 ##

假设集群有 3 个节点，`node-1` 到 `node-3`。集群上运行了一些应用。 其中一个应用有 3 个副本，分别是 `pod-a`，`pod-b` 和 `pod-c`。 另外，还有一个不带 PDB 的无关 pod `pod-x` 也同样显示出来。 最初，所有的 Pod 分布如下：

<table> 
 <thead> 
  <tr> 
   <th>node-1</th> 
   <th>node-2</th> 
   <th>node-3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>pod-a&nbsp;<em>available</em></td> 
   <td>pod-b&nbsp;<em>available</em></td> 
   <td>pod-c&nbsp;<em>available</em></td> 
  </tr> 
  <tr> 
   <td>pod-x&nbsp;<em>available</em></td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

3 个 Pod 都是 deployment 的一部分，并且共同拥有同一个 PDB，要求 3 个 Pod 中至少有 2 个 Pod 始终处于可用状态。

例如，假设集群管理员想要重启系统，升级内核版本来修复内核中的权限。 集群管理员首先使用 `kubectl drain` 命令尝试排空 `node-1` 节点。 命令尝试驱逐 `pod-a` 和 `pod-x`。操作立即就成功了。 两个 Pod 同时进入 `terminating` 状态。这时的集群处于下面的状态：

<table> 
 <thead> 
  <tr> 
   <th>node-1&nbsp;<em>draining</em></th> 
   <th>node-2</th> 
   <th>node-3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>pod-a&nbsp;<em>terminating</em></td> 
   <td>pod-b&nbsp;<em>available</em></td> 
   <td>pod-c&nbsp;<em>available</em></td> 
  </tr> 
  <tr> 
   <td>pod-x&nbsp;<em>terminating</em></td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

Deployment 控制器观察到其中一个 Pod 正在终止，因此它创建了一个替代 Pod `pod-d`。 由于 `node-1` 被封锁（cordon），`pod-d` 落在另一个节点上。 同样其他控制器也创建了 `pod-y` 作为 `pod-x` 的替代品。

（注意：对于 StatefulSet 来说，`pod-a`（也称为 `pod-0`）需要在替换 Pod 创建之前完全终止， 替代它的也称为 `pod-0`，但是具有不同的 UID。除此之外，此示例也适用于 StatefulSet。）

当前集群的状态如下：

<table> 
 <thead> 
  <tr> 
   <th>node-1&nbsp;<em>draining</em></th> 
   <th>node-2</th> 
   <th>node-3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>pod-a&nbsp;<em>terminating</em></td> 
   <td>pod-b&nbsp;<em>available</em></td> 
   <td>pod-c&nbsp;<em>available</em></td> 
  </tr> 
  <tr> 
   <td>pod-x&nbsp;<em>terminating</em></td> 
   <td>pod-d&nbsp;<em>starting</em></td> 
   <td>pod-y</td> 
  </tr> 
 </tbody> 
</table>

在某一时刻，Pod 被终止，集群如下所示：

<table> 
 <thead> 
  <tr> 
   <th>node-1&nbsp;<em>drained</em></th> 
   <th>node-2</th> 
   <th>node-3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td>pod-b&nbsp;<em>available</em></td> 
   <td>pod-c&nbsp;<em>available</em></td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>pod-d&nbsp;<em>starting</em></td> 
   <td>pod-y</td> 
  </tr> 
 </tbody> 
</table>

此时，如果一个急躁的集群管理员试图排空（drain）`node-2` 或 `node-3`，drain 命令将被阻塞， 因为对于 Deployment 来说只有 2 个可用的 Pod，并且它的 PDB 至少需要 2 个。 经过一段时间，`pod-d` 变得可用。

集群状态如下所示：

<table> 
 <thead> 
  <tr> 
   <th>node-1&nbsp;<em>drained</em></th> 
   <th>node-2</th> 
   <th>node-3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td>pod-b&nbsp;<em>available</em></td> 
   <td>pod-c&nbsp;<em>available</em></td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>pod-d&nbsp;<em>available</em></td> 
   <td>pod-y</td> 
  </tr> 
 </tbody> 
</table>

现在，集群管理员试图排空（drain）`node-2`。 drain 命令将尝试按照某种顺序驱逐两个 Pod，假设先是 `pod-b`，然后是 `pod-d`。 命令成功驱逐 `pod-b`，但是当它尝试驱逐 `pod-d`时将被拒绝，因为对于 Deployment 来说只剩一个可用的 Pod 了。

Deployment 创建 `pod-b` 的替代 Pod `pod-e`。 因为集群中没有足够的资源来调度 `pod-e`，drain 命令再次阻塞。集群最终将是下面这种状态：

<table> 
 <thead> 
  <tr> 
   <th>node-1&nbsp;<em>drained</em></th> 
   <th>node-2</th> 
   <th>node-3</th> 
   <th><em>no node</em></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td>pod-b&nbsp;<em>available</em></td> 
   <td>pod-c&nbsp;<em>available</em></td> 
   <td>pod-e&nbsp;<em>pending</em></td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>pod-d&nbsp;<em>available</em></td> 
   <td>pod-y</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

此时，集群管理员需要增加一个节点到集群中以继续升级操作。

可以看到 Kubernetes 如何改变干扰发生的速率，根据：

*  应用程序需要多少个副本
 *  优雅关闭应用实例需要多长时间
 *  启动应用新实例需要多长时间
 *  控制器的类型
 *  集群的资源能力

## 分离集群所有者和应用所有者角色 ##

通常，将集群管理者和应用所有者视为彼此了解有限的独立角色是很有用的。这种责任分离在下面这些场景下是有意义的：

*  当有许多应用程序团队共用一个 Kubernetes 集群，并且有自然的专业角色
 *  当第三方工具或服务用于集群自动化管理

Pod 干扰预算通过在角色之间提供接口来支持这种分离。

如果你的组织中没有这样的责任分离，则可能不需要使用 Pod 干扰预算。

## 如何在集群上执行干扰性操作 ##

如果你是集群管理员，并且需要对集群中的所有节点执行干扰操作，例如节点或系统软件升级，则可以使用以下选项

*  接受升级期间的停机时间。
 *  故障转移到另一个完整的副本集群。
    
     *  没有停机时间，但是对于重复的节点和人工协调成本可能是昂贵的。
 *  编写可容忍干扰的应用程序和使用 PDB。
    
     *  不停机。
     *  最小的资源重复。
     *  允许更多的集群管理自动化。
     *  编写可容忍干扰的应用程序是棘手的，但对于支持容忍自愿干扰所做的工作，和支持自动扩缩和容忍非 自愿干扰所做工作相比，有大量的重叠

## 接下来 ##

*  参考[配置 Pod 干扰预算][Pod 3]中的方法来保护你的应用。
 *  进一步了解[排空节点][drain]的信息。
 *  了解[更新 Deployment][Deployment 2] 的过程，包括如何在其进程中维持应用的可用性

# 临时容器 #

**FEATURE STATE:** `Kubernetes v1.16 [alpha]`

本页面概述了临时容器：一种特殊的容器，该容器在现有 [Pod][Pod 2] 中临时运行，以便完成用户发起的操作，例如故障排查。 你会使用临时容器来检查服务，而不是用它来构建应用程序。

> **警告：** 临时容器处于早期的 alpha 阶段，不适用于生产环境集群。 应该预料到临时容器在某些情况下不起作用，例如在定位容器的命名空间时。 根据 [Kubernetes 弃用政策][Kubernetes 1]， 此 alpha 功能将来可能发生重大变化或被完全删除。

## 了解临时容器 ##

[Pod][Pod 2] 是 Kubernetes 应用程序的基本构建块。 由于 Pod 是一次性且可替换的，因此一旦 Pod 创建，就无法将容器加入到 Pod 中。 取而代之的是，通常使用 [Deployment][] 以受控的方式来删除并替换 Pod。

有时有必要检查现有 Pod 的状态。例如，对于难以复现的故障进行排查。 在这些场景中，可以在现有 Pod 中运行临时容器来检查其状态并运行任意命令。

### 什么是临时容器？ ###

临时容器与其他容器的不同之处在于，它们缺少对资源或执行的保证，并且永远不会自动重启， 因此不适用于构建应用程序。 临时容器使用与常规容器相同的 `ContainerSpec` 节来描述，但许多字段是不兼容和不允许的。

*  临时容器没有端口配置，因此像 `ports`，`livenessProbe`，`readinessProbe` 这样的字段是不允许的。
 *  Pod 资源分配是不可变的，因此 `resources` 配置是不允许的。
 *  有关允许字段的完整列表，请参见 [EphemeralContainer 参考文档][EphemeralContainer]。

临时容器是使用 API 中的一种特殊的 `ephemeralcontainers` 处理器进行创建的， 而不是直接添加到 `pod.spec` 段，因此无法使用 `kubectl edit` 来添加一个临时容器。

与常规容器一样，将临时容器添加到 Pod 后，将不能更改或删除临时容器。

## 临时容器的用途 ##

当由于容器崩溃或容器镜像不包含调试工具而导致 `kubectl exec` 无用时， 临时容器对于交互式故障排查很有用。

尤其是，[distroless 镜像][distroless] 允许用户部署最小的容器镜像，从而减少攻击面并减少故障和漏洞的暴露。 由于 distroless 镜像不包含 Shell 或任何的调试工具，因此很难单独使用 `kubectl exec` 命令进行故障排查。

使用临时容器时，启用[进程名字空间共享][Link 50] 很有帮助，可以查看其他容器中的进程。

### 示例 ###

> **说明：** 本节中的示例要求启用 `EphemeralContainers` [特性门控][Link 40]， 并且 kubernetes 客户端和服务端版本要求为 v1.16 或更高版本。

本节中的示例演示了临时容器如何出现在 API 中。 通常，你会使用 `kubectl debug` 或别的 `kubectl` [插件][Link 51] 自动执行这些步骤，而不是直接调用API。

临时容器是使用 Pod 的 `ephemeralcontainers` 子资源创建的，可以使用 `kubectl --raw` 命令进行显示。 首先描述临时容器被添加为一个 `EphemeralContainers` 列表：

{
        "apiVersion": "v1",
        "kind": "EphemeralContainers",
        "metadata": {
                "name": "example-pod"
        },
        "ephemeralContainers": [{
            "command": [
                "sh"
            ],
            "image": "busybox",
            "imagePullPolicy": "IfNotPresent",
            "name": "debugger",
            "stdin": true,
            "tty": true,
            "terminationMessagePolicy": "File"
        }]
    }

使用如下命令更新已运行的临时容器 `example-pod`：

kubectl replace --raw /api/v1/namespaces/default/pods/example-pod/ephemeralcontainers  -f ec.json

这将返回临时容器的新列表：

{
       "kind":"EphemeralContainers",
       "apiVersion":"v1",
       "metadata":{
          "name":"example-pod",
          "namespace":"default",
          "selfLink":"/api/v1/namespaces/default/pods/example-pod/ephemeralcontainers",
          "uid":"a14a6d9b-62f2-4119-9d8e-e2ed6bc3a47c",
          "resourceVersion":"15886",
          "creationTimestamp":"2019-08-29T06:41:42Z"
       },
       "ephemeralContainers":[
          {
             "name":"debugger",
             "image":"busybox",
             "command":[
                "sh"
             ],
             "resources":{
    
             },
             "terminationMessagePolicy":"File",
             "imagePullPolicy":"IfNotPresent",
             "stdin":true,
             "tty":true
          }
       ]
    }

可以使用以下命令查看新创建的临时容器的状态：

kubectl describe pod example-pod

输出为：

...
    Ephemeral Containers:
      debugger:
        Container ID:  docker://cf81908f149e7e9213d3c3644eda55c72efaff67652a2685c1146f0ce151e80f
        Image:         busybox
        Image ID:      docker-pullable://busybox@sha256:9f1003c480699be56815db0f8146ad2e22efea85129b5b5983d0e0fb52d9ab70
        Port:          <none>
        Host Port:     <none>
        Command:
          sh
        State:          Running
          Started:      Thu, 29 Aug 2019 06:42:21 +0000
        Ready:          False
        Restart Count:  0
        Environment:    <none>
        Mounts:         <none>
    ...

可以使用以下命令连接到新的临时容器：

kubectl attach -it example-pod -c debugger

如果启用了进程命名空间共享，则可以查看该 Pod 所有容器中的进程。 例如，运行上述 `attach` 操作后，在调试器容器中运行 `ps` 操作：

# 在 "debugger" 临时容器内中运行此 shell 命令
    ps auxww

运行命令后，输出类似于：

PID   USER     TIME  COMMAND
        1 root      0:00 /pause
        6 root      0:00 nginx: master process nginx -g daemon off;
       11 101       0:00 nginx: worker process
       12 101       0:00 nginx: worker process
       13 101       0:00 nginx: worker process
       14 101       0:00 nginx: worker process
       15 101       0:00 nginx: worker process
       16 101       0:00 nginx: worker process
       17 101       0:00 nginx: worker process
       18 101       0:00 nginx: worker process
       19 root      0:00 /pause
       24 root      0:00 sh
       29 root      0:00 ps auxww

[https_kubernetes.io_zh_docs_concepts_workloads]: https://kubernetes.io/zh/docs/concepts/workloads/
[Pods]: https://kubernetes.io/zh/docs/concepts/workloads/pods
[Link 1]: https://kubernetes.io/zh/docs/concepts/overview/what-is-kubernetes/#why-containers
[Link 2]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/
[Link 3]: https://kubernetes.io/zh/docs/concepts/architecture/nodes/
[Link 4]: https://kubernetes.io/zh/docs/concepts/architecture/controller/
[Deployment]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/deployment/
[ReplicaSet]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/replicaset/
[ReplicationController]: https://kubernetes.io/zh/docs/reference/glossary/?all=true#term-replication-controller
[StatefulSet]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/statefulset/
[PersistentVolume]: https://kubernetes.io/zh/docs/concepts/storage/persistent-volumes/
[DaemonSet]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/daemonset/
[Link 5]: https://kubernetes.io/zh/docs/concepts/cluster-administration/addons/
[Job]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/job/
[CronJob]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/cron-jobs/
[CRD]: https://kubernetes.io/zh/docs/concepts/extend-kubernetes/api-extension/custom-resources/
[Deployment 1]: https://kubernetes.io/zh/docs/tasks/run-application/run-stateless-application-deployment/
[Link 6]: https://kubernetes.io/zh/docs/tasks/run-application/run-single-instance-stateful-application/
[Link 7]: https://kubernetes.io/zh/docs/tasks/run-application/run-replicated-stateful-application/
[CronJob 1]: https://kubernetes.io/zh/docs/tasks/job/automated-tasks-with-cron-jobs/
[Link 8]: https://kubernetes.io/zh/docs/concepts/configuration/
[Link 9]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/garbage-collection/
[Time-to-Live]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/ttlafterfinished/
[Service]: https://kubernetes.io/zh/docs/concepts/services-networking/service/
[Ingress]: https://kubernetes.io/zh/docs/concepts/services-networking/ingress
[Pods 1]: https://kubernetes.io/zh/docs/concepts/workloads/pods/
[Link 10]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/
[Init]: https://kubernetes.io/zh/docs/concepts/workloads/pods/init-containers/
[Link 11]: https://kubernetes.io/zh/docs/concepts/workloads/pods/ephemeral-containers/
[Link 12]: https://kubernetes.io/zh/docs/setup/production-environment/container-runtimes
[Docker]: https://www.docker.com/
[Pod]: https://kubernetes.io/zh/docs/concepts/workloads/pods/#pods-and-controllers
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70]: /images/20221021/2601f278014d467ab2e460bec8627a72.png
[Init 1]: https://kubernetes.io/zh/docs/reference/glossary/?all=true#term-init-container
[Link 13]: https://kubernetes.io/zh/docs/reference/glossary/?all=true#term-app-container
[Link 14]: https://kubernetes.io/zh/docs/concepts/workloads/pods/#pod-networking
[Link 15]: https://kubernetes.io/zh/docs/concepts/workloads/pods/#pod-storage
[DNS]: https://kubernetes.io/zh/docs/concepts/overview/working-with-objects/names#dns-subdomain-names
[kubelet]: https://kubernetes.io/docs/reference/generated/kubelet
[patch]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#patch-pod-v1-core
[replace]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#replace-pod-v1-core
[Link 16]: https://kubernetes.io/zh/docs/concepts/storage/volumes/
[Link 17]: https://kubernetes.io/zh/docs/concepts/storage/
[Link 18]: https://kubernetes.io/zh/docs/concepts/policy/pod-security-policy/
[Link 19]: https://kubernetes.io/zh/docs/concepts/cluster-administration/networking/
[Link 20]: https://kubernetes.io/zh/docs/tasks/configure-pod-container/security-context/
[API]: https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-apiserver/
[Link 21]: https://kubernetes.io/zh/docs/concepts/overview/components/#control-plane-components
[Pod 1]: https://kubernetes.io/zh/docs/reference/glossary/?all=true#term-mirror-pod
[Aurora]: https://aurora.apache.org/documentation/latest/reference/configuration/#job-schema
[Borg]: https://research.google.com/pubs/pub43438.html
[Marathon]: https://mesosphere.github.io/marathon/docs/rest-api.html
[Omega]: https://research.google/pubs/pub41684/
[Tupperware]: https://engineering.fb.com/data-center-engineering/tupperware/
[Link 22]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/#pod-phase
[Link 23]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/#container-states
[Pod _Conditions]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/#pod-conditions
[Link 24]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/#pod-readiness-gate
[Link 25]: https://kubernetes.io/zh/docs/concepts/scheduling-eviction/
[Link 26]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/#pod-termination
[UID]: https://kubernetes.io/zh/docs/concepts/overview/working-with-objects/names/#uids
[Link 27]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/#pod-garbage-collection
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 1]: /images/20221021/5435d1b21bef4bb1b337fe83ded502f2.png
[PodStatus]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#podstatus-v1-core
[Link 28]: https://kubernetes.io/zh/docs/concepts/containers/container-lifecycle-hooks/
[Link 29]: https://kubernetes.io/docs/reference/generated/kube-scheduler/
[Secret]: https://kubernetes.io/zh/docs/concepts/configuration/secret/
[PodConditions]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#podcondition-v1-core
[Link 30]: https://kubernetes.io/zh/docs/concepts/overview/working-with-objects/labels/#syntax-and-character-set
[Operators]: https://kubernetes.io/zh/docs/concepts/extend-kubernetes/operator/
[Kubernetes]: https://kubernetes.io/zh/docs/reference/using-api/client-libraries/
[Probe]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#probe-v1-core
[kubelet 1]: https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kubelet/
[Handler]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#handler-v1-core
[ExecAction]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#execaction-v1-core
[TCPSocketAction]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#tcpsocketaction-v1-core
[HTTPGetAction]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#httpgetaction-v1-core
[Link 31]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/#restart-policy
[Link 32]: https://kubernetes.io/zh/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/
[Link 33]: https://kubernetes.io/zh/docs/concepts/containers/container-lifecycle-hooks/#hook-details
[Link 34]: https://kubernetes.io/zh/docs/concepts/overview/working-with-objects/labels/
[StatefulSet _ Pod]: https://kubernetes.io/zh/docs/tasks/run-application/force-delete-stateful-set-pod/
[Link 35]: https://kubernetes.io/zh/docs/tasks/configure-pod-container/attach-handler-lifecycle-event/
[ContainerStatus]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#containerstatus-v1-core
[Pod 2]: https://kubernetes.io/docs/concepts/workloads/pods/pod-overview/
[Container]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#container-v1-core
[Link 36]: https://kubernetes.io/zh/docs/concepts/workloads/pods/init-containers/#resources
[Link 37]: https://kubernetes.io/zh/docs/concepts/workloads/pods/init-containers/#whats-next
[Link 38]: https://kubernetes.io/zh/docs/concepts/workloads/pods/init-containers/#pod-restart-reasons
[Init _ Pod]: https://kubernetes.io/zh/docs/tasks/configure-pod-container/configure-pod-initialization/#create-a-pod-that-has-an-init-container
[Init 2]: https://kubernetes.io/zh/docs/tasks/debug-application-cluster/debug-init-containers/
[API 1]: https://kubernetes.io/zh/docs/concepts/overview/components/#kube-apiserver
[Link 39]: https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-scheduler/
[Link 40]: https://kubernetes.io/zh/docs/reference/command-line-tools-reference/feature-gates/
[20210429230631632.png]: /images/20221021/563cb815c1724f8482571f3f13eca1b0.png
[Link 41]: https://kubernetes.io/zh/docs/reference/kubernetes-api/labels-annotations-taints/
[Link 42]: https://kubernetes.io/zh/docs/concepts/overview/working-with-objects/labels/#label-selectors
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 2]: /images/20221021/81aec7ad211a41cb973ed243570a7b00.png
[pods_topology-spread-constraints_one-constraint.yaml]: https://raw.githubusercontent.com/kubernetes/website/master/content/zh/examples/pods/topology-spread-constraints/one-constraint.yaml
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 3]: /images/20221021/2b99f59ffb224922a1a1610acb064416.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 4]: /images/20221021/5dc6d2fc7af04756bdd91a12c749d4ea.png
[pods_topology-spread-constraints_two-constraints.yaml]: https://raw.githubusercontent.com/kubernetes/website/master/content/zh/examples/pods/topology-spread-constraints/two-constraints.yaml
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 5]: /images/20221021/396eb021f8b64ef7ad6bd02e491e57a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 6]: /images/20221021/fae3638f21f6478b8b2c373a8baadda6.png
[pods_topology-spread-constraints_one-constraint-with-nodeaffinity.yaml]: https://raw.githubusercontent.com/kubernetes/website/master/content/zh/examples/pods/topology-spread-constraints/one-constraint-with-nodeaffinity.yaml
[Schedulingg Profile]: https://kubernetes.io/zh/docs/reference/scheduling/config/#profiles
[API 2]: https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-topology-spread-constraints/#api
[SelectorSpread]: https://kubernetes.io/zh/docs/reference/scheduling/config/#scheduling-plugins
[Link 43]: https://github.com/kubernetes/enhancements/blob/master/keps/sig-scheduling/20190221-pod-topology-spread.md#motivation
[Issue 80921]: https://github.com/kubernetes/kubernetes/issues/80921
[PodTopologySpread]: https://kubernetes.io/blog/2020/05/introducing-podtopologyspread/
[Link 44]: https://kubernetes.io/zh/docs/tasks/administer-cluster/out-of-resource/
[drain]: https://kubernetes.io/zh/docs/tasks/administer-cluster/safely-drain-node/
[Link 45]: https://github.com/kubernetes/autoscaler/#readme
[Link 46]: https://kubernetes.io/zh/docs/tasks/configure-pod-container/assign-memory-resource/
[Link 47]: https://kubernetes.io/zh/docs/concepts/scheduling-eviction/assign-pod-node/
[Link 48]: https://kubernetes.io/zh/docs/setup/best-practices/multiple-zones/
[Eviction API]: https://kubernetes.io/zh/docs/tasks/administer-cluster/safely-drain-node/#the-eviction-api
[Link 49]: https://kubernetes.io/zh/docs/concepts/workloads/pods/disruptions/#voluntary-and-involuntary-disruptions
[PodSpec]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#podspec-v1-core
[Pod 3]: https://kubernetes.io/zh/docs/tasks/run-application/configure-pdb/
[Deployment 2]: https://kubernetes.io/zh/docs/concepts/workloads/controllers/deployment/#updating-a-deployment
[Kubernetes 1]: https://kubernetes.io/zh/docs/reference/using-api/deprecation-policy/
[EphemeralContainer]: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.21/#ephemeralcontainer-v1-core
[distroless]: https://github.com/GoogleContainerTools/distroless
[Link 50]: https://kubernetes.io/zh/docs/tasks/configure-pod-container/share-process-namespace/
[Link 51]: https://kubernetes.io/zh/docs/tasks/extend-kubectl/kubectl-plugins/