kube-scheduler调度扩展

以你之姓@ 2022-01-07 06:11 260阅读 0赞

## 正文 ##

Kubernetes 自带了一个默认调度器kube-scheduler，其内置了很多节点预选和优选的调度算法，一般调度场景下可以满足要求。但是在一些特殊场景下，默认调度器不能满足我们复杂的调度需求。我们就需要对调度器进行扩展，以达到调度适合业务场景的目的。

## 背景 ##

中间件redis容器化后，需要两主不能在同一个节点上，一对主从不能在同一节点上；elasticsearch容器化后，两个data实例不能在同一节点上。在这类场景下，默认调度器内置的预选、优选算法不能满足需求，我们有以下三种选择：

*  将新的调度算法添加到默认调度程序中，并重新编译镜像，最终该镜像运行的实例作为kubernetes集群调度器；
 *  参考kube-scheduler实现满足自己业务场景的调度程序，并编译镜像，将该程序作为独立的调度器运行到kubernetes集群内，需要用该调度器调度的pod实例，在spec.schedulerName里指定该调度器；
    
    ![image][]
 *  实现“调度扩展程序“：默认调度器kube-scheduler在进行预选时会调用该扩展程序进行过滤节点；在优选时会调用该扩展程序进行给节点打分，或者在bind操作时，调用该扩展器进行bind操作。

**对上述三种方式进行评估：**

第一种：将自己的调度算法添加到默认调度器kube-scheduler中，对原生代码侵入性较高，而且随着kubernetes版本升级，维护成本也较高；

第二种：默认调度器里内置了很多优秀调度算法，如：检查节点资源是否充足；端口是否占用；volume是否被其他pod挂载；亲和性；均衡节点资源利用等，如果完全使用自己开发的调度器程序，可能在达到了实际场景调度需求同时，失去更佳的调度方案，除非集成默认调度器中的算法到自己独立调度程序中，但这无疑是不现实的；

第三种：通过启动参数的policy配置，选用某些默认调度器中的预选、优选调度算法的同时，也可以调用外部扩展调度程序的算法，计算得到最优的调度节点，无需修改kube-scheduler代码，只需要在启动参数中增加配置文件即可将默认调度程序和扩展调度程序相互关联。

可以参考：

[https://github.com/kubernetes/community/blob/master/contributors/design-proposals/scheduling/scheduler\_extender.md][https_github.com_kubernetes_community_blob_master_contributors_design-proposals_scheduling_scheduler_extender.md]

故采用第三种：实现扩展调度程序的方案。

## 整体架构 ##

![image][image 1]

kube-scheduler在调度pod实例时，首先获取到Node1、Node2、Node3三个节点信息，进行默认的预选阶段，筛选满足要求的节点，其次再调用扩展程序中的预选算法，选出剩下的节点，假设预选阶段Node3上资源不足被过滤掉，预选结束后只剩Node1和Node2；Node1和Node2进入kube-scheduler默认的优选阶段进行节点打分，其次再调用扩展调度程序中的优选算法进行打分，kube-scheduler会将所有算法的打分结果进行加权求和，获得分数最高的节点作为pod最终bind节点，然后kube-scheduler调用apiserver进行bind操作。

## 实现步骤 ##

### 实现扩展调度程序代码 ###

编写扩展调度器程序代码，根据实际业务调度场景编写预选逻辑、优选逻辑：

![image][image 2]

实现预选接口，入参为schedulerapi.ExtenderArgs，出参为schedulerapi.ExtenderFilterResult：

![image][image 3]

实现优选接口，入参为schedulerapi.ExtenderArgs，出参为schedulerapi.HostPriorityList：

![image][image 4]

暴露http接口：

![image][image 5]

**参考：**

[https://github.com/ll837448792/k8s-scheduler-extender-example][https_github.com_ll837448792_k8s-scheduler-extender-example]

### 默认调度器部署 ###

由于kubernetes集群内已经有了一个名为default-scheduler的默认调度器，为了不影响集群正常调度功能，下面会创建一个名为my-kube-scheduler的调度器，这个调度器和default-scheduler除了启动参数不一样外，镜像无差别。

1、创建一个名为my-scheduler-config的configmaps，data下的config.yaml文件指定了调度器的一些参数，包括leader选举，调度算法策略的选择（指定另一个configmaps），以及指定调度器的名称为my-kube-scheduler。

相应的创建一个my-scheduler-policy的configmaps，里面指定了选择哪些预选、优选策略，以及外部扩展调度程序的urlPrefix、扩展预选URI、扩展优选URI、扩展pod优先级抢占URI、扩展bind URI、扩展优选算法的权重等。

以保证my-kube-scheduler和扩展调度程序的通信。

apiVersion: v1
    kind: ConfigMap
    metadata:
      name: my-scheduler-config
      namespace: kube-system
    data:
      config.yaml: | apiVersion: kubescheduler.config.k8s.io/v1alpha1 kind: KubeSchedulerConfiguration schedulerName: my-kube-scheduler algorithmSource: policy: configMap: namespace: kube-system name: my-scheduler-policy leaderElection: leaderElect: false lockObjectName: my-kube-scheduler lockObjectNamespace: kube-system
    ---
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: my-scheduler-policy
      namespace: kube-system
    data:
     policy.cfg : | { "kind" : "Policy", "apiVersion" : "v1", "predicates" : [ {"name" : "PodFitsHostPorts"}, {"name" : "PodFitsResources"}, {"name" : "NoDiskConflict"}, {"name" : "MatchNodeSelector"}, {"name" : "HostName"} ], "priorities" : [ {"name" : "LeastRequestedPriority", "weight" : 1}, {"name" : "BalancedResourceAllocation", "weight" : 1}, {"name" : "ServiceSpreadingPriority", "weight" : 1}, {"name" : "EqualPriority", "weight" : 1} ], "extenders" : [{ "urlPrefix": "http://10.168.107.12:80/scheduler", "filterVerb": "predicates/always_true", "prioritizeVerb": "priorities/zero_score", "preemptVerb": "preemption", "bindVerb": "", "weight": 1, "enableHttps": false, "nodeCacheCapable": false }], "hardPodAffinitySymmetricWeight" : 10 }

2、在my-kube-scheduler yaml文件中将configmaps：my-scheduler-config以文件的形式挂载到容器内/my-scheduler目录下，并在启动参数中指定–config=/my-scheduler/config.yaml，使用和默认调度器一样的镜像。

![image][image 6]

增加挂载：

![image][image 7]

![image][image 8]

### 扩展调度器镜像制作和部署 ###

1、编译扩展调度程序my-scheduler-extender镜像，以下为Dockerfile：

![image][image 9]

推送my-scheduler-extender镜像到harbor：

![image][image 10]

2、创建外部扩展程序my-scheduler-extender的deployment，如下为yaml描述：

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: my-scheduler-extender
      namespace: kube-system
      labels:
        app: my-scheduler-extender
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: my-scheduler-extender
      template:
        metadata:
          labels:
            app: my-scheduler-extender
        spec:
          containers:
          - name: my-scheduler-extender
            image: 192.168.26.46/k8s-deploy/my-scheduler-extender:v1.0
            imagePullPolicy: Always
            livenessProbe:
              httpGet:
                path: /version
                port: 80
            readinessProbe:
              httpGet:
                path: /version
                port: 80
            ports:
              - containerPort: 80

### 验证 ###

查看my-kube-scheduler pod日志，加载到了policy里的extender信息，获取到了扩展调度器的接口地址：

![image][image 11]

创建一个nginx的pod，指定schedulerName为my-kube-scheduler：

![image][image 12]

查看扩展调度器pod日志，发现默认调度器会调用extender扩展调度器，如下为extender日志打印的入参、出参：

![image][image 13]

从而可以通过编写扩展调度程序，对默认调度器的预选和优选算法进行扩展。

**参考**  
[https://github.com/kubernetes/community/blob/master/contributors/design-proposals/scheduling/scheduler\_extender.md][https_github.com_kubernetes_community_blob_master_contributors_design-proposals_scheduling_scheduler_extender.md]

[https://github.com/ll837448792/k8s-scheduler-extender-example][https_github.com_ll837448792_k8s-scheduler-extender-example]

--------------------

# 作者简洁 #

> 作者：小碗汤，一位热爱、认真写作的小伙，目前维护原创公众号：『我的小碗汤』，专注于写golang、docker、kubernetes等知识等提升硬实力的文章，期待你的关注。 转载说明：务必注明来源（注明：来源于公众号：我的小碗汤， 作者：小碗汤）

[image]: /images/20211227/916a3dae855b441e8481e726f66db637.png
[https_github.com_kubernetes_community_blob_master_contributors_design-proposals_scheduling_scheduler_extender.md]: https://github.com/kubernetes/community/blob/master/contributors/design-proposals/scheduling/scheduler_extender.md
[image 1]: /images/20211227/af42ebfa1aa34daeac401df10b5eadb8.png
[image 2]: /images/20211227/3e3c67cfaa76477d984edc13caa938c7.png
[image 3]: /images/20211227/d9c59635bb424142b4ab38f3db2ba500.png
[image 4]: /images/20211227/6b69b075c21e490dae523570f6b1287f.png
[image 5]: /images/20211227/05941b001d3f4d9080641b2b23cd6047.png
[https_github.com_ll837448792_k8s-scheduler-extender-example]: https://github.com/ll837448792/k8s-scheduler-extender-example
[image 6]: /images/20211227/66101543c66b444999ea8e57599764a0.png
[image 7]: /images/20211227/9a2e9234be6543dcb82dcf9e62e7911b.png
[image 8]: /images/20211227/6a42b60473db412d80d9dc7f08499e0b.png
[image 9]: /images/20211227/8c7de87e2542463d84d9db2501dc00f7.png
[image 10]: /images/20211227/0cd79077c9904473beca7b23242f9483.png
[image 11]: /images/20211227/e3df8adae6204f64a0ad66c1079d586b.png
[image 12]: /images/20211227/3a9c4fcd34ea46c1a66a22a6279f6952.png
[image 13]: /images/20211227/1b3d259401c04ec18c0eaa50401eae71.png