k8s核心组成的部分以及控制原理

不念不忘少年蓝@ 2022-12-19 08:57 28阅读 0赞

阿里云K8S集群网络目前有两种方案，一致是flannel方案，另一种也是基于calico和弹性网卡eni的terway方案。Terway和flannel类似，不同的地方在于，terway支持pod弹性网卡，以及NetworkPolicy功能。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center]  
类似的图，大家可能在很多文章中都看过，但是因为其中相关配置过于复杂，  
比较难理解。这里我们可以把这些配置，分三种情况来理解：集群配置，节点配置  
以及Pod配置。与这三种情况对应的，其实是对集群网络IP段的三次划分：首先  
是集群 CIDR，接着为每个节点分配 podCIDR（即集群 CIDR 的子网段），最后在  
podCIDR 里为每个 Pod 分配自己的 IP。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 1]  
集群网络搭建  
初始阶段  
集群的创建，基于云资源VPC和ECS，在创建完VPC和ECS之后，我  
们基本上可以得到如下图的资源配置。我们得到一个VPC，这个VPC的网段是  
192.168.0.0/16，我们得到若干 ECS，他们从 VPC 网段里分配到 IP 地址。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 2]  
集群阶段  
在以上出初始资源的基础上，我们利用集群创建控制台得到集群CIDR。这  
个值会以参数的形式传给集群节点provision脚本，并被脚本传给集群节点配置工  
具 kubeadm。kubeadm 最后把这个参数写入集群控制器静态 Pod 的 yaml 文件  
kube-controller-manager.yaml。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 3]  
集群控制器有了这个参数，在节点kubelet注册节点到集群的时候，集群控制  
器会为每个注册节点，划分一个子网出来，即为每个节点分配podCIDR。如上图，  
Node B 的子网是 172.16.8.1/25，而 Node A 的子网是 172.16.0.128/25。这个配  
置会记录到集群 node 的 podCIDR 数据项里。  
节点阶段  
经过以上集群阶段，K8S有了集群CIDR，以及为每个节点划分的podCIDR。  
在此基础上，集群会下发flanneld到每个阶段上，进一步搭建节点上，可以给  
Pod使用的网络框架。这里主要有两个操作，第一个是集群通过Cloud Controller  
Manager给VPC配置路由表项。路由表项对每个节点有一条。每一条的意思是，  
如果 VPC 路由收到目的地址是某一个节点 podCIDR 的 IP 地址，那么路由会把这个  
网络包转发到对应的ECS上。第二个是创建虚拟网桥cni0，以及与cni0相关的路  
由。这些配置的作用是，从阶段外部进来的网络包，如果目的 IP 是 podCIDR，则会  
被节点转发到 cni0 虚拟局域网里。

注意：实际实现上，cni0 的创建，是在第一个使用 Pod 网络的 Pod 被调度到节  
点上的时候，由下一节中 flannal cni 创建的，但是从逻辑上来说，cni0 属于节点网  
络，不属于 Pod 网络，所以在此描述。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 4]  
Pod 阶段  
在前边的三个阶段，集群实际上已经为 Pod 之间搭建了网络通信的干道。这个  
时候，如果集群把一个 Pod 调度到节点上，kubelet 会通过 flannel cni 为这个 Pod  
本身创建网络命名空间和 veth 设备，然后，把其中一个 veth 设备加入到 cni0 虚拟  
网桥里，并为 Pod 内的 veth 设备配置 ip 地址。这样 Pod 就和网络通信的干道连接  
在了一起。这里需要强调的是，前一节的 flanneld 和这一节的 flannel cni 完全是两  
个组件。flanneld 是一个 daemonset 下发到每个节点的 pod，它的作用是搭建网络  
（干道），而 flannel cni 是节点创建的时候，通过 kubernetes-cni 这个 rpm 包安装  
的 cni 插件，其被 kubelet 调用，用来为具体的 pod 创建网络（分枝）。

> 集群网络详解  
> 理解这两者的区别，有助于我们理解 flanneld 和 flannel cni 相关的配置文件的  
> 用途。比如 /run/flannel/subnet.env，是 flanneld 创建的，为 flannel cni 提供输入  
> 的一个环境变量文件；又比如 /etc/cni/net.d/10-flannel.conf，也是 flanneld pod  
> （准确的说，是 pod 里的脚本 install-cni）从 pod 里拷贝到节点目录，给 flannel cni  
> 使用的子网配置文件。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 5]  
> 通信  
> 以上完成Pod网络环境搭建。基于以上的网络环境，Pod可以完成四种通信：  
> 本地通信，同节点 Pod 通信，跨节点 Pod 通信，以及 Pod 和 Pod 网络之外的实体  
> 通信。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 6]  
> 其中本地通信，说的是 Pod 内部，不同容器之前通信。因为 Pod 内网容器之间  
> 共享一个网络协议栈，所以他们之间的通信，可以通过 loopback 设备完成。  
> 同节点 Pod 之间的通信，是 cni0 虚拟网桥内部的通信，这相当于一个二层局域  
> 网内部设备通信。  
> 跨节点 Pod 通信略微复杂一点，但也很直观，发送端数据包，通过 cni0 网桥的  
> 网关，流转到节点上，然后经过节点eth0发送给VPC路由。这里不会经过任何封  
> 包操作。当 VPC 路由收到数据包时，它通过查询路由表，确认数据包目的地，并把  
> 数据包发送给对应的 ECS 节点。而进去节点之后，因为 flanneld 在节点上创建了真  
> 的 cni0 的路由，所以数据包会被发送到目的地的 cni0 局域网，再到目的地 Pod。  
> 最后一种情况，Pod 与非 Pod 网络的实体通信，需要经过节点上 iptables 规则  
> 做 snat，而此规则就是 flanneld 依据命令行 --ip-masq 选项做的配置。  
> 　>　集群网络详解  
> 总结  
> 以上是阿里云 K8S 集群网络的搭建和通信原理。我们主要通过网络搭建和通信  
> 两个角度去分析 K8S 集群网络。其中网络搭建包括初始阶段，集群阶段，节点阶段  
> 以及 Pod 阶段，这么分类有助于我们理解这些复杂的配置。而理解了各个配置，集  
> 群通信原理就比较容易理解了。  
> 简介： 阿里云 K8S 集群的一个重要特性，是集群的节点可以动态的增加或减少。  
> 有了这个特性，集群才能在计算资源不足的情况下扩容新的节点，同时也可以在资源  
> 利用率降低的时候，释放节点以节省费用。 这篇文章，我们讨论阿里云 K8S 集群扩  
> 容与缩容的实现原理。  
> 阿里云 K8S 集群的一个重要特性，是集群的节点可以动态的增加或减少。有了  
> 这个特性，集群才能在计算资源不足的情况下扩容新的节点，同时也可以在资源利用  
> 率降低的时候，释放节点以节省费用。  
> 这篇文章，我们讨论阿里云K8S集群扩容与缩容的实现原理。理解实现原理，  
> 在遇到问题的时候，我们就可以高效地排查并定位原因。我们的讨论基于当前的  
> 1.12.6 版本。  
> 节点增加原理  
> 阿里云 K8S 集群可以给集群增加节点的方式有，添加已有节点，集群扩容，和  
> 自动伸缩。其中，添加已有节点又可分为手动添加已有节点和自动添加已有节点。节  
> 点的增加涉及到的组件有，节点准备，弹性伸缩（ESS），管控，Cluster Autoscaler  
> 以及调度器。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 7]  
> 节点减少原理  
> 与增加节点不同，集群减少节点的操作只有一个移除节点的入口。但对于用不同  
> 方法加入的节点，其各自移除方式略有不同。  
> 首先，通过添加已有节点加入的节点，需要三步去移除：管控通过 ECS API 清  
> 楚 ECS userdata；管控通过 K8S API 从集群中删除节点；管控通过 ECS Invoke  
> Command 在 ECS 上执行 kubeadm reset 命令清理节点。  
> 其次，通过集群扩容加入的节点，则在上边的基础上，增加了断开 ESS 和 ECS  
> 关系的操作。此操作由管控调用 ESS API 完成。  
> 总结  
> 总体上来说，K8S 集群节点的增加与减少，主要涉及四个组件，分别是 Cluster  
> Autoscaler，ESS，管控以及节点本身（准备或清理）。根据场景不同，我们需要排  
> 查不同的组件。其中 Cluster Autoscaler 是一个普通的 Pod，其日志的获取和其他  
> Pod 无异；ESS 弹性伸缩有其专门的控制台，我们可以在控制台排查其伸缩配置、  
> 伸缩规则等相关子实例日志和状态；而管控的日志，可以通过查看日志功能来查看；  
> 最后，对于节点的准备与清理，其实就是排查对应的脚本的执行过程。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/9db4a44bff624406b0fca8254981f44e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201106143609793.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201106143656369.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20201106143720943.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/202011061438118.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20201106143850463.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20201106143923120.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20201106144025852.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d4MjUwNTE=,size_16,color_FFFFFF,t_70#pic_center