k8s (二十一) --- kubernetes HPA简介及实例

阳光穿透心脏的1/2处 2023-03-13 05:12 23阅读 0赞

### kubernetes HPA简介及实例 ###

*  一、HPA简介
 *  二、HPA实例
 *   *  第一步：运行 php-apache 服务器并暴露服务
     *  创建 Horizontal Pod Autoscaler
     *  增加负载
     *  停止负载
 *  三、HPA的伸缩过程
 *   *  HPA伸缩过程
     *  HPA进行伸缩算法
 *  四、引入其他度量指标

# 一、HPA简介 #

Horizontal Pod Autoscaler 可以根据CPU利用率自动伸缩 replication controller、deployment 或者 replica set 中的Pod数量 （也可以基于其他应用程序提供的度量指标，目前这一功能处于 beta 版本）。

官方文档：[https://kubernetes.io/zh/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/][https_kubernetes.io_zh_docs_tasks_run-application_horizontal-pod-autoscale-walkthrough]

本文示例需要一个1.2或者更高版本的可运行的 Kubernetes 集群以及 kubectl。 `metrics-server` 也需要部署到集群中， 它可以通过 resource metrics API 对外提供度量数据，Horizontal Pod Autoscaler 正是根据此 API 来获取度量数据，部署方法请参考 [https://blog.csdn.net/qq\_35887546/article/details/106016712][https_blog.csdn.net_qq_35887546_article_details_106016712] 。

# 二、HPA实例 #

## 第一步：运行 php-apache 服务器并暴露服务 ##

为了演示 Horizontal Pod Autoscaler，我们将使用一个基于 php-apache 镜像的定制 Docker 镜像。 Dockerfile 内容如下：

FROM php:5-apache
    ADD index.php /var/www/html/index.php
    RUN chmod a+rx index.php

它定义一个 index.php 页面来执行一些 CPU 密集型计算：

<?php
      $x = 0.0001;
      for ($i = 0; $i <= 1000000; $i++) { 
        $x += sqrt($x);
      }
      echo "OK!";
    ?>

首先，我们先启动一个 deployment 来运行这个镜像并暴露一个服务:

[root@server1 hpa]# vim php-apache.yaml 
    [root@server1 hpa]# cat php-apache.yaml 
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: php-apache
    spec:
      selector:
        matchLabels:
          run: php-apache
      replicas: 1
      template:
        metadata:
          labels:
            run: php-apache
        spec:
          containers:
          - name: php-apache
            image: hpa-example
            ports:
            - containerPort: 80
            resources:
              limits:
                cpu: 500m
              requests:
                cpu: 200m
    
    ---
    
    apiVersion: v1
    kind: Service
    metadata:
      name: php-apache
      labels:
        run: php-apache
    spec:
      ports:
      - port: 80
      selector:
        run: php-apache

其中需要的镜像`hpa-example`可以在docker hub拉取，先在运行这个部署文件：

[root@server1 hpa]# kubectl apply -f php-apache.yaml 
    deployment.apps/php-apache created
    service/php-apache created

查看状态，可以看出该部署文件创建了一个由deployment控制器维护的pod，以及一个service：

[root@server1 hpa]# kubectl get all
    NAME                                          READY   STATUS    RESTARTS   AGE
    pod/nfs-client-provisioner-6b66ddf664-rxw77   1/1     Running   0          15m
    pod/php-apache-dfb6d784b-jvntc                1/1     Running   0          2m7s
    
    NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
    service/kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP   23d
    service/php-apache   ClusterIP   10.99.210.255   <none>        80/TCP    2m7s
    
    NAME                                     READY   UP-TO-DATE   AVAILABLE   AGE
    deployment.apps/nfs-client-provisioner   1/1     1            1           4d1h
    deployment.apps/php-apache               1/1     1            1           2m8s
    
    NAME                                                DESIRED   CURRENT   READY   AGE
    replicaset.apps/nfs-client-provisioner-6b66ddf664   1         1         1       4d1h
    replicaset.apps/php-apache-dfb6d784b                1         1         1       2m8s
    
    NAME                   READY   AGE
    statefulset.apps/web   0/0     4d

## 创建 Horizontal Pod Autoscaler ##

现在，php-apache服务器已经运行，我们将通过 kubectl autoscale 命令创建 Horizontal Pod Autoscaler。 以下命令将创建一个 Horizontal Pod Autoscaler 用于控制我们上一步骤中创建的 deployment，使 Pod 的副本数量在维持在1到10之间。 大致来说，HPA 将通过增加或者减少 Pod 副本的数量（通过 Deployment ）以保持所有 Pod 的平均CPU利用率在50%以内 （由于每个 Pod 通过 yaml文件 申请了200 milli-cores CPU，所以50%的 CPU 利用率意味着平均 CPU 利用率为100 milli-cores）。

[root@server1 hpa]# kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
    horizontalpodautoscaler.autoscaling/php-apache autoscaled
    horizontalpodautoscaler.autoscaling/php-apache autoscaled

我们可以通过以下命令查看 autoscaler 的状态：

[root@server1 hpa]# kubectl get hpa
    NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   0%/50%    1         10        1          19s
    kubectl get hpa

请注意在上面的命令输出中，当前的CPU利用率是0%，这是由于我们尚未发送任何请求到服务器 （CURRENT 列显示了相应 deployment 所控制的所有 Pod 的平均 CPU 利用率）。

## 增加负载 ##

现在，我们将看到 autoscaler 如何对增加负载作出反应。 我们将启动一个容器，并通过一个循环向 php-apache 服务器发送无限的查询请求：

[root@server1 hpa]# kubectl get svc
    NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
    kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP   23d
    php-apache   ClusterIP   10.99.210.255   <none>        80/TCP    4m32s
    [root@server1 hpa]# kubectl run test --image=busybox -it --rm --restart=Never
    If you don't see a command prompt, try pressing enter.
    / # while true; do wget -q -O- http://10.99.210.255; done

注意需要访问的是svc的ip地址：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70]在几分钟时间内，通过以下命令，我们可以看到CPU负载升高了（在另一个终端查看）：

[root@server1 ~]# kubectl get hpa
    NAME         REFERENCE               TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   250%/50%   1         10        1          4m22s

这时，由于请求增多，CPU利用率已经升至250%。 可以看到，deployment 的副本数量已经增长到了5：

[root@server1 ~]# kubectl get hpa
    NAME         REFERENCE               TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   250%/50%   1         10        5          5m1s

查看pod的资源使用情况：

[root@server1 ~]# kubectl top pod
    NAME                                      CPU(cores)   MEMORY(bytes)   
    nfs-client-provisioner-6b66ddf664-rxw77   1m           3Mi             
    php-apache-dfb6d784b-jvntc                500m         14Mi            
    test                                      5m           1Mi             
    [root@server1 ~]# kubectl top pod
    NAME                                      CPU(cores)   MEMORY(bytes)   
    nfs-client-provisioner-6b66ddf664-rxw77   1m           7Mi             
    php-apache-dfb6d784b-jvntc                147m         21Mi            
    php-apache-dfb6d784b-lsfgp                150m         12Mi            
    php-apache-dfb6d784b-vx8rn                134m         11Mi            
    test                                      4m           1Mi             
    [root@server1 ~]# kubectl top pod
    NAME                                      CPU(cores)   MEMORY(bytes)   
    nfs-client-provisioner-6b66ddf664-rxw77   1m           7Mi             
    php-apache-dfb6d784b-7zb9t                0m           0Mi             
    php-apache-dfb6d784b-jvntc                147m         21Mi            
    php-apache-dfb6d784b-lsfgp                150m         12Mi            
    php-apache-dfb6d784b-pprhd                0m           0Mi             
    php-apache-dfb6d784b-vx8rn                134m         11Mi            
    test                                      4m           1Mi

注意： 有时最终副本的数量可能需要几分钟才能稳定下来。 由于环境的差异，不同环境中最终的副本数量可能与本示例中的数量不同。

## 停止负载 ##

我们将通过停止负载来结束我们的示例。

在我们创建 busybox 容器的终端中，输入`<Ctrl> + C`来终止负载的产生。

然后我们可以再次查看负载状态（等待几分钟时间）：

[root@server1 ~]# kubectl get hpa
    NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   0%/50%    1         10        1          13m

这时，CPU利用率已经降到0，所以 HPA 将自动缩减副本数量至1。

注意： 自动伸缩完成副本数量的改变可能需要几分钟的时间。

# 三、HPA的伸缩过程 #

## HPA伸缩过程 ##

1.  收集HPA控制下所有Pod最近的cpu使用情况（CPU utilization）
2.  对比在扩容条件里记录的cpu限额（CPUUtilization）
3.  调整实例数（必须要满足不超过最大/最小实例数）
4.  每隔30s做一次自动扩容的判断

CPU utilization的计算方法是用cpu usage（最近一分钟的平均值，通过metrics可以直接获取到）除以cpu request（这里cpu request就是我们在创建容器时制定的cpu使用核心数）得到一个平均值，这个平均值可以理解为：平均每个Pod CPU核心的使用占比。

我们计算在上例中的计算方法：

上例中我们的cpu request为200m（在部署文件中定义），在负载开始时我们的cpu usage为500m，因此上例的`CPU utilization`为`500/200=2.5`.

## HPA进行伸缩算法 ##

目标pod数量计算公式：`TargetNumOfPods = ceil(sum(CurrentPodsCPUUtilization) / Target)`

ceil()表示取大于或等于某数的最近一个整数。

*  为了保持集群的稳定，每次扩容后冷却3分钟才能再次进行扩容，而缩容则要等5分钟后。
 *  当前Pod Cpu使用率与目标使用率接近时，不会触发扩容或缩容：
 *  触发条件：`avg(CurrentPodsConsumption) / Target` >1.1 或 <0.9

上例中的target我们定义的是50%，因此`TargetNumOfPods = ceil(2.5 /0.5)=5`

因此目标pod数量应该为5,最后的结果也验证了我们的计算。

上例中在扩展pod数量时中间还有一个过程：

[root@server1 ~]# kubectl top pod
    NAME                                      CPU(cores)   MEMORY(bytes)   
    nfs-client-provisioner-6b66ddf664-rxw77   1m           7Mi             
    php-apache-dfb6d784b-jvntc                147m         21Mi            
    php-apache-dfb6d784b-lsfgp                150m         12Mi            
    php-apache-dfb6d784b-vx8rn                134m         11Mi            
    test                                      4m           1Mi

可以看出此时有三个pod，cpu利用率为147，150，134

这时`avg(CurrentPodsConsumption)=（（147+150+134）/3）/200=0.718`，触发条件为`0.718/0.5=1.43 > 1.1`,因此还会触发扩容，扩容的目标pod数量为`（（147+150+134）/200）/0.5=4.31`，取整为5，因此我们再次查看时副本数变成了5个。

# 四、引入其他度量指标 #

利用`autoscaling/v2beta2API`版本，您可以在自动伸缩 php-apache 这个 Deployment 时引入其他度量指标。

[root@server1 hpa]# vim hpav2.yaml 
    [root@server1 hpa]# cat hpav2.yaml 
    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
      name: php-apache
    spec:
      maxReplicas: 10
      minReplicas: 1
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      metrics:
      - type: Resource
        resource:
          name: cpu
          target:
            averageUtilization: 60
            type: Utilization
      - type: Resource
        resource:
          name: memory
          target:
            averageValue: 50Mi
            type: AverageValue
    
    [root@server1 hpa]# kubectl apply -f hpav2.yaml 
    Warning: kubectl apply should be used on resource created by either kubectl create --save-config or kubectl apply
    horizontalpodautoscaler.autoscaling/php-apache configured
    
    [root@server1 hpa]# kubectl get hpa
    NAME         REFERENCE               TARGETS                 MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   13824512/50Mi, 0%/60%   1         10        8          26m

查看hpa时可以看出已经有了cpu的指标，单位时字节。

这里就不进行演示。

实验后删除：

[root@server1 hpa]# kubectl delete -f php-apache.yaml 
    deployment.apps "php-apache" deleted
    service "php-apache" deleted
    [root@server1 hpa]# kubectl delete -f hpav2.yaml
    horizontalpodautoscaler.autoscaling "php-apache" deleted

[https_kubernetes.io_zh_docs_tasks_run-application_horizontal-pod-autoscale-walkthrough]: https://kubernetes.io/zh/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/
[https_blog.csdn.net_qq_35887546_article_details_106016712]: https://blog.csdn.net/qq_35887546/article/details/106016712
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70]: /images/20230312/6e4668c03d314645a2489dc21df2bd02.png