【kubernetes/k8s概念】kube-ovn-controller 源码分析之一

系统管理员 2022-09-01 07:58 47阅读 0赞

kube-ovn-controller 逻辑职责是翻译 kubernetes 网络概念到 OVN，可以理解为 kube-ovn 的控制面功能，通过 kube-apiserver watch 所有网络相关事件，包括 **Pod** creation/deletion, **Service/Endpoint** modification, **Networkpolicy** changes 等等。然后翻译转为 OVN 逻辑网络的修改。也 watch kube-ovn 添加的 CRD，比如 VPC Subnet Vlan IP 等

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70][]

启动脚本为 start-controller.sh，实质是获取南向数据库和北向数据库地址，kube-ovn-controler 启动命令为：

> kube-ovn-controller
> 
>      --ovn-nb-addr=tcp:\[172.16.236.238\]:6641
> 
>      --ovn-sb-addr=tcp:\[172.16.236.238\]:6642
> 
>      --default-cidr=10.16.0.0/16
> 
>      --default-gateway=10.16.0.1
> 
>      --default-exclude-ips=
> 
>      --node-switch-cidr=100.64.0.0/16
> 
>      --network-type=geneve
> 
>      --default-interface-name=
> 
>      --default-vlan-id=100
> 
>      --pod-nic-type=veth-pair

# 1. CmdMain 函数 #

分析命令行，实例化 Configuration 结构体，文件为 pkg/controller/config.go

config, err := controller.ParseFlags()
    if err != nil {
    	klog.Fatalf("parse config failed %v", err)
    }

###    1.1 NewController 实例化 Controller 结构体 ###

定义为 pkg/controller/controller.go 文件，关注的资源包括，**vpc vpc-nat-gateway subnet ips vlans provider-networks pod namespace node service endpoint networkpolicy config**

ctl := controller.NewController(config)

###    1.2 Run 方法 ###

1.2.1 InitDefaultVpc 方法初始化 ovn-cluster vpc，这个对应逻辑网络 router，更新状态信息

> status:  
>   default: true  
>   defaultLogicalSwitch: ovn-default  
>   router: ovn-cluster  
>   standby: true  
>   subnets:  
>   - join  
>   - ovn-default  
>   tcpLoadBalancer: cluster-tcp-loadbalancer  
>   tcpSessionLoadBalancer: cluster-tcp-session-loadbalancer  
>   udpLoadBalancer: cluster-udp-loadbalancer  
>   udpSessionLoadBalancer: cluster-udp-session-loadbalancer

**   1.2.2 InitOVN 方法**

initClusterRouter 调用北向数据接口命令 "**ovn-nbctl --format=csv --data=bare --no-heading --columns=name find logical\_router**"，如果不存在 ovn-cluster logical\_router，在创建 “**ovn-nbctl --may-exist lr-add ovn-cluster -- set Logical\_router ovn-cluster external\_ids:vendor=kube-ovn**”

initLoadBalancer 初始化默认的 tcp 和 upd loadbalancer，调用命令查找 ovn-nbctl --data=bare --no-heading --columns=\_uuid find load\_balancer name=cluster-tcp-loadbalancer，如果不存在则创建，还包括 cluster-tcp-session-loadbalancer cluster-udp-loadbalancer cluster-udp-session-loadbalancer

initDefaultVlan 函数如果网络类型不是 vlan 不处理，initDefaultProviderNetwork 创建默认的 provider ProviderNetwork 资源，vlan ID 范围 0 < vlanID < 4096

> apiVersion: kubeovn.io/v1  
> kind: ProviderNetwork  
> metadata:  
>   creationTimestamp: "2021-07-28T06:45:00Z"  
>   generation: 4  
>   name: provider  
>   resourceVersion: "765904"  
>   uid: 449c48b1-1421-4b4b-b36f-56e50f311e11  
> spec:  
>   defaultInterface: eth0

initNodeSwitch 函数查 subnet join，如果不存在则创建，这个主要是打通 pods 由 node 网络通信

> spec:  
>   cidrBlock: 100.64.0.0/16  
>   default: false  
>   disableInterConnection: true  
>   excludeIps:  
>   - 100.64.0.1  
>   gateway: 100.64.0.1  
>   gatewayNode: ""  
>   gatewayType: distributed  
>   natOutgoing: false  
>   private: false  
>   protocol: IPv4  
>   provider: ovn  
>   underlayGateway: false  
>   vpc: ovn-cluster

initDefaultLogicalSwitch 函数查  ovn-default 子网，如果不存在则创建，如果未指定子网，默认创建的 pod 网络属于该子网

> spec:  
>   cidrBlock: 10.16.0.0/16  
>   default: true  
>   disableInterConnection: false  
>   excludeIps:  
>   - 10.16.0.1  
>   gateway: 10.16.0.1  
>   gatewayNode: ""  
>   gatewayType: distributed  
>   natOutgoing: true  
>   private: false  
>   protocol: IPv4  
>   provider: ovn  
>   underlayGateway: false  
>   vpc: ovn-cluster

1.2.3 InitIPAM 函数遍历所有子网，更新 ipam map，对 alive pod 注解地址处理，node 注解处理，先不详细分析

1.2.4 主要逻辑在 startWorkers，异步处理各种资源

# 2. VPC 处理 #

###   2.1 函数 runAddVpcWorker ###

主要逻辑函数是 handleAddOrUpdateVpc 添加或者更新 VPC，对应逻辑网络 router

createVpcRouter 调用命令 “**ovn-nbctl --format=csv --data=bare --no-heading --columns=name find logical\_router**" 查询已存在的 routers，ovnClient.CreateLogicalRouter 创建逻辑 router

如果不是默认 ovn-cluster router 的处理，可以配置静态路由，调用 ovn-nbclt lr-router-list xxx。

ovn-nbctl lr-route-del router cide 删除路由，ovn-nbctl lr-route-add router cidr gw 添加路由

> switch a07eb43f-fc52-4874-8b0e-840eb2493d7b (join)  
>     port node-node1  
>         addresses: \["00:00:00:FB:59:C5 100.64.0.2"\]  
>     port join-ovn-cluster  
>         type: router  
>         addresses: \["00:00:00:BF:CD:B0"\]  
>         router-port: ovn-cluster-join  
> router ca02f48e-4459-4db5-8cae-9ef125ed0ee1 (test-vpc-2)  
> router a7cb924e-300e-4183-a1c9-4676cbfc3765 (test-vpc-1)

# 3. Node 处理 #

包括 runAddNodeWorker，runUpdateNodeWorker，runDeleteNodeWorker

###    3.1 handleAddNode  ###

对 node 删除注解 Chassis，如果设置注解，则调用 ipam.GetStaticAddress 处理，subnet 更新 map MacToPod 和 PodToMac

subnet IP 处理，先从 subnet.V4ReservedIPList，subnet.V4FreeIPList 重新更新，更新 V4PodToIP V4IPToPod

如果未指定注解，则调用 ipam.GetRandomAddress 从 freeList 取，有其他逻辑处理

ovnClient.CreatePort 在 join 逻辑 switch 创建 logical\_switch\_port

ovnClient.AddStaticRoute 在 ovn-cluster router 创建静态路由

更新 node 注解，添加 IPS

# 4. Namespace 处理 #

###    4.1 runAddNamespaceWorker 函数 ###

从所有子网 subnet.spec.namespaces 是否包含该 namespace，如果不包含，则在从所有 vpc.spec.namespaces 是否包含该 namespace，如果不包含则使用默认 vpc ovn-cluster，更新 namespace 配置注解

>    metadata:  
>     annotations:  
>       ovn.kubernetes.io/cidr: 30.0.1.0/24  
>       ovn.kubernetes.io/exclude\_ips: 30.0.1.1  
>       ovn.kubernetes.io/logical\_switch: net1

# 5. Pod 处理  #

包括 runAddPodWorker，runDeletePodWorker，runUpdatePodWorker

###    5.1 handleAddPod 函数 ###

如果 pods 注解则调用 ValidatePodNetwork 进行合法性检查

acquireAddress 可以是调用 ipam.GetRandomAddress 随机分配，调用 acquireStaticAddress 静态配置，还有 ip\_pool 地址池分配。对于 地址池 ip\_pool 分配分为 statefulset 和无状态的，对于无状态的则调用 ipam.IsIPAssignedToPod 查找子网 subnet 的 map V4IPToPod，不存在则调用acquireStaticAddress 将 subnet 的 map 占用上

onvClient.CreatePort 调用 **ovn-nbtcl --may-exist lsp-add $\{switch\} $\{port\} -- lsp-set-addresses $\{port\} $\{mac\} $\{ip\}** 创建 logical switch port

> switch e80b5a4f-9a8a-4ca6-88f4-581d9e6f793c (net2)  
>     port net2-test-vpc-2  
>         type: router  
>         addresses: \["00:00:00:8E:D9:0A"\]  
>         router-port: test-vpc-2-net2  
>     port starter-backend-6f6dfcb8d6-5t9ph.ns2  
>         addresses: \["00:00:00:5F:84:16 10.0.1.3"\]  
>     port starter-backend-6f6dfcb8d6-hl7nv.ns2  
>         addresses: \["00:00:00:93:5D:95 10.0.1.2"\]

### 总结： ###

subnet 对应 logical switch，默认的 subnet 为 ovn-default，node 设置为 join

pod 创建时会创建对应的 logical switch port

router 对应 kube-ovn 里的 vpc，默认的 vpc 为 ovn-cluster

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70]: /images/20220829/1fbfd45993124c009f892f0843433c39.png