AWS学习笔记-EKS创建and升级集群笔记

ゝ一纸荒年。 2022-09-06 00:14 257阅读 0赞

## 前置条件 ##

相关文档

*  [aws官网文档][aws]
 *  [eksctl使用文档][eksctl]

**当然你需要先申请一个aws账号（必备：信用卡）**

#### 提前认识<<计算节点组概念>> ####

概念点解释：  
nodegroup：节点组，是eks的node组合概念，分为自管理节点组，托管节点组，用来配置多台资源配置的节点资源方式，相关参数有：最大，最小节点数量、系统基础配额、可用区等信息，后续用来快速kuo平滑升级时，也能发挥大作用

*  EKS托管节点组`会在web页面显示`创建方式-web页面创建、命令行创建、yaml配置文件使用`managedNodeGroups`定义nodegroup类型  
    优点：适合运维能力较弱的公司团队使用，可在web页面升级，使用简单，但是自定义程度低，功能简单
 *  自管理节点组`web不显示`创建方式-命令行创建时使用`--managed=false`参数、yaml配置文件使用`nodeGroups`定义nodegroup类型

yaml模板文件

apiVersion: eksctl.io/v1alpha5
    kind: ClusterConfig
    
    metadata:
      name: test-eks01-1-16
      region: ap-northeast-1
      version: "1.17" #指定版本 默认为最新
    
    vpc: #加入vpc
      id: "vpc-0c5772731331faf1c"
      subnets:
        private:
          ap-northeast-1d:
            id: "subnet-09593b4fc19416371"
          ap-northeast-1a:
            id: "subnet-0e2ec95462826a769"
          ap-northeast-1c:
            id: "subnet-06d1ea445c2d75506"
      # ap-northeast-1c:
      # id: "subnet-07b057c0481f60720"
      # ap-northeast-1d:
      # id: "subnet-09ff2d8c908309b97"
      # ap-northeast-1d:
      # id: "subnet-049ee3fe1eed8bf97"
      clusterEndpoints: ##公网和内网访问master
        publicAccess: true
        privateAccess: true
    
    
    nodeGroups: #节点组类型
      - name: test-eks01-nodegroup-1-17-2
        privateNetworking: true #node节点只有内网地址 nat网关模式上网 false 即分配公网ip 
        instanceType: t3.medium #实例类型
        minSize: 1
        maxSize: 3
        desiredCapacity: 1
        kubeletExtraConfig: #节点压力驱逐配置
          kubeReserved: #kubenernetes组件 预留配置
            cpu: "300m"
            memory: "300Mi"
            ephemeral-storage: "1Gi"
          kubeReservedCgroup: "/kube-reserved"
          systemReserved: #系统组件预留配置
            cpu: "300m"
            memory: "300Mi"
            ephemeral-storage: "1Gi"
          evictionHard: #硬驱逐条件
            memory.available:  "200Mi"
            nodefs.available: "10%"
          featureGates: 
            RotateKubeletServerCertificate: true #固定打开 或者不生效
        volumeSize: 50
        ssh: # import default public key (~/.ssh/id_rsa.pub)
          allow: true
        labels: { role: k8s-worker}
        #taints: #污点
        # feaster: "true:NoSchedule"
        tags: #节点标签
          nodegroup-role: worker-test
        preBootstrapCommands: 
          # node节点创建后执行的命令
          - "echo 'the is node1.17' >> /usr/local/testcmd.txt "

### 创建集群方式选择 ###

`推荐使用的第二种命令行创建方式`

#### 1.AWS-Web页面创建方式(简单方便，自定义程度低，默认节点组为托管节点组) ####

`iam权限管理很头大，我也还没玩明白，所以最后还是选择了使用命令行方式创建，集群创建需要一个，创建节点组时也需要一个`

##### 1.提前创建好一个iam for eks 集群角色，用来代替你执行AWS相关资源调用的集群角色 #####

[iam账号创建文档][iam]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70]  
注意选择eks集群管理的权限，否则下一步创建集群时会无可用iam角色

##### 2.开始创建eks集群加入托管节点组（[官网链接][Link 1]） #####

第一页：基础信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 2]  
第二页，集群配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 3]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 4]  
第三页：附加组件选择  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 5]  
第4页，总览全部配置，下一步完成创建集群  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 6]  
这样一个还没加入计算节点的eks集群就创建完成了，下面开始配置node节点  
第一页：基础配置和node标签污点添加  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 8]  
node基础配置，缩放配置等  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 9]  
网络相关  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 10][]  
总览全部配置，完成创建

##### 3.升级集群和node节点 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 11]  
web操作即可  
分为两步  
1.先升级master（10分钟左右）  
2.再升级nodegroup即可（根据pod数量变化）

4.升级默认插件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 12]  
我这里自管理集群没有资源，web方式的话 自己点升级就行

#### 2.eksctl命令行方式创建，首先需要安装aws-cli及eksctl，然后需要配置好账号信息，使用命令创建集群等资源 ####

*  第一步：[aws-cli安装方法][aws-cli] （配置账密信息）  
    `相关配置文件`

命令行配置user-config信息 
    aws configure

vim ~/.aws/credentials #静态修改
    vim ~/.aws/config #静态修改

*  第二步：[eksctl安装方法][eksctl 1] （eks命令行管理命令）  
    `注意：eksctl默认使用aws账号创建相关资源，敲每一个命令时，谨慎严行！！`

##### 1.[创建一个简单集群步骤][Link 2] #####

相关命令

##创建集群命令行方式 
    # eksctl create cluster \
    --region ap-northeast-1 \
    --name test-eks \
    --nodegroup-name eks-workers \
    --node-type m6.large \
    --nodes 2 \
    --nodes-min 1 \
    --nodes-max 3 \
    --node-volume-size=50 \
    --alb-ingress-access \
    --ssh-access \
    --node-private-networking \
    --vpc-cidr 172.0.0.0/16
    
    ##yaml配置文件方式创建
    # eksctl create cluster -f cluster.yaml
    
    ##创建集群跳过创建节点组
    # eksctl create cluster --config-file=<path>|--name=<k8s-name> --without-nodegroup
    
    ##查看你的集群
    # eksctl get cluster

`删除集群`格式化，创建集群时所有资源一键清空！！！！！！！！

eksctl delete cluster -f cluster.yaml

##### 2.创建一个节点组 #####

##命令行方式创建
    eksctl create nodegroup \
      --cluster <my-cluster> \
      --name <al-nodes> \
      --node-type <t3.medium> \
      --nodes <3> \
      --nodes-min <1> \
      --nodes-max <4> \
      --ssh-access \
      --ssh-public-key <my-key>
    
    ##yaml文件方式部署节点组（自动部署到集群中）
    eksctl create nodegroup --config-file=<path>
    
    ##查看所有节点组
    eksctl get nodegroup --cluster=<k8s-name> 
    
    ##从节点中删除节点组
    eksctl delete nodegroup --cluster=<k8s-name> --name=<nodegroup-name>
    
    ##缩放管理节点组（max~min之间）
    eksctl scale nodegroup --cluster=<k8s-name> --nodes=3 <nodegroup-name>
    
    ##缩放节点组并改变max\min大小
    eksctl scale nodegroup --cluster=test-eks01-1-16 --nodes=4 --name=test-eks01-nodegroup-1-17 [ --nodes-min=2 ] [ --nodes-max=6 ]

实例yaml文件

apiVersion: eksctl.io/v1alpha5
    kind: ClusterConfig
    
    metadata:
      name: test-eks01-1-16
      region: ap-northeast-1
      version: "1.17" #指定版本 默认为最新 注意：全局参数 创建nodegroup时也会使用这配置
    
    vpc: #加入vpc
      id: "vpc-0c5772731331faf1c"
      subnets:
        private:
          ap-northeast-1d:
            id: "subnet-09593b4fc19416371"
          ap-northeast-1a:
            id: "subnet-0e2ec95462826a769"
          ap-northeast-1c:
            id: "subnet-06d1ea445c2d75506"
      # ap-northeast-1c:
      # id: "subnet-07b057c0481f60720"
      # ap-northeast-1d:
      # id: "subnet-09ff2d8c908309b97"
      # ap-northeast-1d:
      # id: "subnet-049ee3fe1eed8bf97"
      clusterEndpoints: ##公网和内网访问master
        publicAccess: true
        privateAccess: true
    
    
    nodeGroups:
      - name: test-eks01-nodegroup-1-17-2
        privateNetworking: true #node节点只有内网地址 nat网关模式上网 
        instanceType: t3.medium
        minSize: 1
        maxSize: 3
        desiredCapacity: 1 #默认数量
        kubeletExtraConfig: #节点压力驱逐配置
          kubeReserved: #kubenernetes组件 预留配置
            cpu: "300m"
            memory: "300Mi"
            ephemeral-storage: "1Gi"
          kubeReservedCgroup: "/kube-reserved"
          systemReserved: #系统组件预留配置
            cpu: "300m"
            memory: "300Mi"
            ephemeral-storage: "1Gi"
          evictionHard: #硬驱逐条件
            memory.available:  "200Mi"
            nodefs.available: "10%"
          featureGates: 
            TaintBasedEvictions: true 
            RotateKubeletServerCertificate: true #固定打开 或者不生效
        volumeSize: 50
        ssh: # import default public key (~/.ssh/id_rsa.pub)
          allow: true
        labels: { role: k8s-worker} #节点标签
        #taints: #污点
        # feaster: "true:NoSchedule"
        tags: 
          nodegroup-role: worker-test
        preBootstrapCommands: 
          # node节点创建后执行的命令
          - "echo 'the is node1.17' >> /usr/local/testcmd.txt "

查看相关资源![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 13]

##### 3.升级集群和node节点 #####

参考[官方文档][Link 3]  
[eksctl文档][eksctl 2]

*  升级集群

eksctl upgrade cluster --name <my-cluster> --approve

或者点击web页面升级`参考web部署方式升级`

*  升级节点组

升级托管节点组
    eksctl upgrade nodegroup --name=managed-ng-1 --cluster=<k8s-name> --kubernetes-version=1.17

自管理节点组  
**人为方式升级**  
`思路: 1.升级master节点 2.修改yaml的version字段 3.部署新的节点组 4.修改就调度组不可调度 5.修改pod的yaml差异和兼容性api-version等 6.驱逐旧调度上pod到新建节点组 7.删除旧节点组`

详细部署命令

###### 1.升级master节点 ######

# eksctl upgrade cluster --name <my-cluster> --approve

###### 2.修改yaml的version字段后 部署 ######

# cat new-nodegroup.yaml |grep version
      version: "1.16" #指定版本 默认为最新

###### 3.部署新的节点组 ######

# eksctl create nodegroup --config-file=<path>

###### 4.修改旧节点不可调度 ######

不可调度不影响当前pod
    # kubectl cordon <node-name>
    
    取消不可调度
    # kubectl uncordon <node-name>

###### 5.修改yaml的version字段 ######

略…

参考k8s官网更新日志和社区文档 yaml 格式，镜像，api-version

###### 6.驱逐旧调度上pod到新建节点组 ######

# kubectl drain --ignore-daemonsets <node-name1>
    # kubectl drain --ignore-daemonsets <node-name2>

###### 7.删除旧节点组\` ######

# eksctl delete nodegroup --cluster=<k8s-name> --name=<nodegroup-name> --approve

##### 4.自带集群插件升级 #####

`自行选择升级，其实底层为更换image版本，建议停机维护时升级，方便事故回退！！`

要更新kube-proxy，请运行：
    
    
    eksctl utils update-kube-proxy --cluster=<clusterName>
    要更新aws-node，请运行：
    
    
    eksctl utils update-aws-node --cluster=<clusterName>
    要更新coredns，请运行：
    
    
    eksctl utils update-coredns --cluster=<clusterName>
    升级后，请务必运行kubectl get pods -n kube-system并检查所有插件 pod 是否处于就绪状态，您应该看到如下内容：
    
    
    NAME                       READY   STATUS    RESTARTS   AGE
    aws-node-g5ghn             1/1     Running   0          2m
    aws-node-zfc9s             1/1     Running   0          2m
    coredns-7bcbfc4774-g6gg8   1/1     Running   0          1m
    coredns-7bcbfc4774-hftng   1/1     Running   0          1m
    kube-proxy-djkp7           1/1     Running   0          3m
    kube-proxy-mpdsp           1/1     Running   0          3m

[aws]: https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli-chap-welcome.html
[eksctl]: https://eksctl.io/introduction/
[iam]: https://docs.aws.amazon.com/zh_cn/eks/latest/userguide/service_IAM_role.html#create-service-role
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70]: /images/20220829/98fecd541c5a4480b6ad9a3da206aeda.png
[Link 1]: https://ap-northeast-1.console.aws.amazon.com/eks/home?region=ap-northeast-1#/clusters
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 1]: /images/20220829/31abde4a9fde40988d261121c77eefaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 2]: /images/20220829/4ee8a0e0fed6454aacce250f578f241d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 3]: /images/20220829/1d64ac3a59df492faf68fdd983efc853.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 4]: /images/20220829/23bfda9676424ec5af58c7344f16d3f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 5]: /images/20220829/7b6ce9308c2047a1863baf5ef4e2ecbe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 6]: /images/20220829/4a1f592544a14ad086d629e364fde3bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 7]: /images/20220829/6d7e1bfb045d46cfa9824eb0cee7e2aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 8]: /images/20220829/3b3d4127d29046ec8d08688ba372e659.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 9]: /images/20220829/5492862cb78349f989d0762fd38616e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 10]: /images/20220829/781f891b4df34ba7b813cf390243f71e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 11]: /images/20220829/cdc438f9dcb549e58ad9eeecbee2f035.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 12]: /images/20220829/f6812078927a475cb6a7385110306c38.png
[aws-cli]: https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/install-cliv2.html
[eksctl 1]: https://docs.aws.amazon.com/zh_cn/emr/latest/EMR-on-EKS-DevelopmentGuide/setting-up-eksctl.html
[Link 2]: https://www.cnblogs.com/syavingcs/p/13597099.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h0OTk5OWk_size_16_color_FFFFFF_t_70 13]: /images/20220829/802800b73ed743649425be456f5b8f0b.png
[Link 3]: https://docs.aws.amazon.com/zh_cn/eks/latest/userguide/worker.html
[eksctl 2]: https://eksctl.io/usage/nodegroup-upgrade/