Flannel原理

小灰灰 2022-09-25 06:19 186阅读 0赞

<table style="word-wrap:break-word; empty-cells:show; border-collapse:collapse; table-layout:fixed; width:757.6px; color:rgb(51,51,51); font-family:Arial,SimSun,&quot;Hiragino Sans GB&quot;,tahoma,sans-serif; font-size:12px; line-height:18px; background-color:rgb(252,252,252)"> 
 <tbody style="word-wrap:break-word"> 
 <tr style="word-wrap:break-word"> 
 <td style="word-wrap:break-word; font-size:14px"> Flannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，其目的在于帮助每一个使用 Kuberentes 的 CoreOS 主机拥有一个完整的子网。这次的分享内容将从Flannel的介绍、工作原理及安装和配置三方面来介绍这个工具的使用方法。&nbsp; 一、Flannel介绍 Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的<a href="http://udn.yyuap.com/portal.php?mod=topic&amp;topicid=5" style="word-wrap:break-word; color:rgb(51,102,153); text-decoration:none; border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:blue" rel="nofollow">Docker</a>容器都具有全集群唯一的虚拟IP地址。&nbsp; 在Kubernetes的网络模型中，假设了每个物理节点应该具备一段“属于同一个内网IP段内”的“专用的子网IP”。例如：&nbsp; 节点A：10.0.1.0/24节点B：10.0.2.0/24节点C：10.0.3.0/24 但在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。&nbsp; Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。&nbsp; 二、Flannel的工作原理 Flannel实质上是一种“覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。&nbsp; 默认的节点间数据通信方式是UDP转发，在Flannel的GitHub页面有如下的一张原理图：&nbsp; <a href="http://dockerone.com/uploads/article/20150826/5bf473d89214a5d1e84f67ad231dd263.png" style="word-wrap:break-word; color:rgb(51,102,153); text-decoration:none" rel="nofollow"><img height="476" src="http://static.open-open.com/news/uploadImg/20150827/20150827103402_615.png" alt="" style="word-wrap:break-word; border:none"></a> 这张图的信息量很全，下面简单的解读一下。&nbsp; 数据从源容器中发出后，经由所在主机的Docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。&nbsp; Flannel通过Etcd服务维护了一张节点间的路由。&nbsp; 源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直 接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的Docker0虚拟网卡，最后就像本机容器通信一下的有Docker0路由到达目标容 器。&nbsp; 这样整个数据包的传递就完成了，这里需要解释三个问题。&nbsp; 第一个问题，UDP封装是怎么一回事？&nbsp; 我们来看下面这个图，这是在其中一个通信节点上抓取到的ping命令通信数据包。可以看到在UDP的数据内容部分其实是另一个ICMP（也就是ping命令）的数据包。&nbsp; <a href="http://dockerone.com/uploads/article/20150826/34a015d0cacd9d2cae593db6470b5604.png" style="word-wrap:break-word; color:rgb(51,102,153); text-decoration:none" rel="nofollow"><img height="544" src="http://static.open-open.com/news/uploadImg/20150827/20150827103403_831.png" alt="" style="word-wrap:break-word; border:none"></a> 原始数据是在起始节点的Flannel服务上进行UDP封装的，投递到目的节点后就被另一端的Flannel服务还原成了原始的数据包，两边的Docker服务都感觉不到这个过程的存在。&nbsp; 第二个问题，为什么每个节点上的Docker会使用不同的IP地址段？&nbsp; 这个事情看起来很诡异，但真相十分简单。其实只是单纯的因为Flannel通过Etcd分配了每个节点可用的IP地址段后，偷偷的修改了Docker的启动参数，见下图。&nbsp; <a href="http://dockerone.com/uploads/article/20150826/be59f9111549c92e95a37e97b58ed5ca.png" style="word-wrap:break-word; color:rgb(51,102,153); text-decoration:none" rel="nofollow"><img height="26" src="http://static.open-open.com/news/uploadImg/20150827/20150827103403_140.png" alt="" style="word-wrap:break-word; border:none"></a> 这个是在运行了Flannel服务的节点上查看到的Docker服务进程运行参数。&nbsp; 注意其中的“--bip=172.17.18.1/24”这个参数，它限制了所在节点容器获得的IP范围。&nbsp; 这个IP范围是由Flannel自动分配的，由Flannel通过保存在Etcd服务中的记录确保它们不会重复。&nbsp; 第三个问题，为什么在发送节点上的数据会从Docker0路由到flannel0虚拟网卡，在目的节点会从flannel0路由到Docker0虚拟网卡？&nbsp; 我们来看一眼安装了Flannel的节点上的路由表。下面是数据发送节点的路由表：&nbsp; <a href="http://dockerone.com/uploads/article/20150826/b9a215d3c747186837ffe036fe4dbaa7.png" style="word-wrap:break-word; color:rgb(51,102,153); text-decoration:none" rel="nofollow"><img height="200" src="http://static.open-open.com/news/uploadImg/20150827/20150827103403_212.png" alt="" style="word-wrap:break-word; border:none"></a> 这个是数据接收节点的路由表：&nbsp; <a href="http://dockerone.com/uploads/article/20150826/15205e85a59b0c7a97aa84ddce6b538a.png" style="word-wrap:break-word; color:rgb(51,102,153); text-decoration:none" rel="nofollow"><img height="193" src="http://static.open-open.com/news/uploadImg/20150827/20150827103404_582.png" alt="" style="word-wrap:break-word; border:none"></a> 例如现在有一个数据包要从IP为172.17.18.2的容器发到IP为172.17.46.2的容器。根据数据发送节点的路由表，它只与 172.17.0.0/16匹配这条记录匹配，因此数据从Docker0出来以后就被投递到了flannel0。同理在目标节点，由于投递的地址是一个容 器，因此目的地址一定会落在Docker0对于的172.17.46.0/24这个记录上，自然的被投递到了Docker0网卡。</td> 
 </tr> 
 </tbody> 
</table>

转载地址：http://udn.yyuap.com/thread-91725-1-1.html