基于Jenkins和k8s构建企业级DevOps容器云平台

青旅半醒 2022-09-02 11:47 268阅读 0赞

## ![53b06208b6481e8cab8eb9e2bc18b111.gif][] ##

## 1.1 什么是DevOps？ ##

DevOps中的Dev是Devlopment（开发），Ops是Operation（运维），用一句话来说 DevOps 就是打通开发运维的壁垒，实现开发运维一体化。DevOps整个流程包括敏捷开发->持续集成->持续交付->持续部署。

![f60fae53e7ad75806019f27f25d261d3.png][]

### 1.1.1 敏捷开发 ###

提高开发效率，及时跟进用户需求，缩短开发周期。

敏捷开发包括编写代码和构建代码两个阶段，可以使用git或者svn来管理代码，用maven对代码进行构建

### 1.1.2 持续集成（CI） ###

持续集成强调开发人员提交了新代码之后，立刻自动的进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果，对可能出现的一些问题进行预警，以保障最终合并的代码没有问题。

常见的持续集成工具：

1. Jenkins

Jenkins是用Java语言编写的，是目前使用最多和最受欢迎的持续集成工具，使用Jenkins，可以自动监测到git或者svn存储库代码的更新，基于最新的代码进行构建，把构建好的源码或者镜像发布到生产环境。Jenkins还有个非常好的功能：它可以在多台机器上进行分布式地构建和负载测试

2. TeamCity

3.  Travis CI

4.   GoCD

5.  Bamboo

6.   GitLab CI

7.  Codeship

![f3ae60b93f36f80b6a6c0862315b244b.png][]

它的好处主要有以下几点：

1）较早的发现错误：每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，哪个环节出现问题都可以较早的发现。

2）快速的发现错误：每完成一部分代码的更新，就会把代码集成到主干中，这样就可以快速的发现错误，比较容易的定位错误。

3）提升团队绩效：持续集成中代码更新速度快，能及时发现小问题并进行修改，使团队能创造出更好的产品。

4）防止分支过多的偏离主干：经常持续集成，会使分支代码经常向主干更新，当单元测试失败或者出现bug，如果开发者需要在没有调试的情况下恢复仓库的代码到没有bug的状态，只有很小部分的代码会丢失。

持续集成的目的是提高代码质量，让产品快速的更新迭代。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。

Martin Fowler说过，"持续集成并不能消除Bug，而是让它们非常容易发现和改正。"

互动：Martin Fowler是谁？

马丁·福勒

![00db40f8c58b65924b7e3d763b52f37f.png][]

马丁·福勒是一个软件开发方面的著作者和国际知名演说家，专注于面向对象分析与设计，统一建模语言，领域建模，以及敏捷软件开发方法，包括极限编程。

与持续集成相关的还有持续交付和持续部署。

### 1.1.3 持续交付 ###

持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。交付给质量团队或者用户，以供评审。如果评审通过，代码就进入生产阶段。如果所有的代码完成之后一起交付，会导致很多问题爆发出来，解决起来很麻烦，所以持续集成，也就是每更新一次代码，都向下交付一次，这样可以及时发现问题，及时解决，防止问题大量堆积。

### 1.1.4 持续部署 ###

持续部署是指当交付的代码通过评审之后，自动部署到生产环境中。持续部署是持续交付的最高阶段。Puppet，SaltStack和Ansible是这个阶段使用的流行工具。容器化工具在部署阶段也发挥着重要作用。Docker和k8s是流行的工具，有助于在开发，测试和生产环境中实现一致性。除此之外，k8s还可以实现自动扩容缩容等功能。

## 1.2  k8s在DevOps中可实现的功能 ##

### 1.2.1 自动化 ###

敏捷开发->持续集成->持续交付->持续部署。

### 1.2.2 多集群管理 ###

可以根据客户需求对开发，测试，生产环境部署多套kubernetes集群，每个环境使用独立的物理资源，相互之间避免影响。

### 1.2.3 多环境一致性 ###

Kubernetes是基于docker的容器编排工具，因为容器的镜像是不可变的，所以镜像把OS、业务代码、运行环境、程序库、目录结构都包含在内，镜像保存在我们的私有仓库，只要用户从我们提供的私有仓库拉取镜像，就能保证环境的一致性。

### 1.2.4 实时反馈和智能化报表 ###

每次集成或交付，都会第一时间将结果通过多途径的方式反馈给你，也可以定制适合企业专用的报表平台。

![eb76fb53ba77b60dfa9fbcbe6126539b.png][]

## 1.3  Jenkins+K8S+harbor+git+sonarqube+nexus构建DevOps容器云平台流程 ##

Jenkins是开源的CI&CD工具， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要。完整的DevOps流程：

开发提交代码到代码仓库gitlab-àjenkins检测到代码更新-à调用k8s api在k8s中创建jenkins slave pod：

d拉取代码---à通过maven把拉取的代码进行构建成war包或者jar包--->上传代码到Sonarqube，进行静态代码扫描- -->基于war包构建docker image-->把镜像上传到harbor镜像仓库-->基于镜像部署应用到开发环境-->部署应用到测试环境--->部署应用到生产环境。

![503df4e38bfa0b8981b976d8cea86f9a.png][]

实战1：基于Jenkins+k8s+Git等技术链构建企业级DevOps自动化容器云平台
    1、安装Jenkins
    可用如下两种方法
    1）通过docker直接下载jenkins镜像，基于镜像启动服务
    2）在k8s中部署Jenkins服务
    2、安装nfs服务
    #选择自己的任意一台机器，我选择k8s的控制节点master1
    1）、在master1上安装nfs，作为服务端
    [root@master1 ~]# yum install nfs-utils -y
    [root@master1 ~]# systemctl start nfs
    [root@master1 ~]# systemctl enable nfs
    2）、在node2和node1上安装nfs，作为客户端
    yum install nfs-utils -y
    systemctl start nfs
    systemctl enable nfs
    3）、在master1上创建一个nfs共享目录
    [root@master1 ~]# mkdir /data/v1  -p
    [root@master1 ~]# cat /etc/exports
    /data/v1       192.168.40.0/24(rw,no_root_squash)
    #使配置文件生效
    [root@master1 ~]# exportfs -arv  
    [root@master1 ~]# systemctl restart nfs 
    3、在kubernetes中部署jenkins
    （1）创建名称空间
    [root@master1 ~]# kubectl create namespace jenkins-k8s
    （2）创建pv
    [root@master1 ~]# cat pv.yaml 
    #跟新资源清单文件
    [root@master1 ~]# kubectl apply -f pv.yaml
    （3）创建pvc
    [root@master1 ~]# cat pvc.yaml 
    #更新资源清单文件
    [root@master1 ~]# kubectl apply -f pvc.yaml
    #查看pvc和pv绑定是否成功
    [root@master1 ~]# kubectl get pvc -n jenkins-k8s
    NAME      STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS 
    jenkins-k8s-pvc   Bound    jenkins-k8s-pv   10Gi       RWX                           
    （4）创建一个sa账号
    [root@master1 ~]# kubectl create sa jenkins-k8s-sa -n jenkins-k8s
    （5）把上面的sa账号做rbac授权
    [root@master1 ~]# kubectl create clusterrolebinding jenkins-k8s-sa-cluster -n jenkins-k8s  --clusterrole=cluster-admin --serviceaccount=jenkins-k8s:jenkins-k8s-sa
    （6）通过deployment部署jenkins
    注：下面实验用到的镜像是jenkins.tar.gz和jenkins-jnlp.tar.gz，把这两个压缩包上传到k8s的node1和node2节点，用如下方法手动解压：
    docker load -i jenkins.tar.gz
    docker load -i jenkins-jnlp.tar.gz
    [root@master1 ~]# cat jenkins-deployment.yaml 
    #更新资源清单文件
    kubectl apply -f jenkins-deployment.yaml
    [root@master1 ~]# kubectl get pods -n jenkins-k8s
    NAME                       READY   STATUS             RESTARTS   AGE
    jenkins-74b4c59549-qvmrt   0/1     CrashLoopBackOff   1          15s
    #上面可以看到CrashLoopBackOff，解决方法如下：
    #查看jenkins-74b4c59549-qvmrt日志
    [root@master1 ~]# kubectl logs jenkins-74b4c59549-qvmrt -n jenkins-k8s
    touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
    #上面问题是因为/data/v1目录权限问题，按如下方法解决：
    [root@master1 ~]# chown -R 1000.1000 /data/v1/
    [root@master1 ~]# kubectl delete -f jenkins-deployment.yaml
    [root@master1 ~]# kubectl apply -f jenkins-deployment.yaml
    [root@master1 ~]# kubectl get pods -n jenkins-k8s
    NAME                       READY   STATUS    RESTARTS   AGE
    jenkins-74b4c59549-gp95l   1/1     Running   0          16s
    （7）把jenkins前端加上service，提供外部网络访问
    [root@master1 ~]# cat jenkins-service.yaml 
    #更新资源清单文件
    [root@master1 ~]# kubectl apply -f jenkins-service.yaml
    [root@master1 ~]# kubectl get svc -n jenkins-k8s
    NAME              TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                          
    jenkins-service   NodePort   10.110.34.67   <none>        8080:30002/TCP,50000:32331/TCP   
    4、配置Jenkins
    在浏览器访问jenkins的web界面：
    http://192.168.40.130:30002/login?from=%2F

![905beb7335d6760540e83b67fbbf2bb0.png][]

1）获取管理员密码
    在nfs服务端，也就是我们的master1节点获取密码：
    [root@master1 ~]# cat  /data/v1/jenkins-home/secrets/initialAdminPassword
    f9b0b4400c4a4d6eaec6762616db6d63
    把获取到的密码拷贝到上面管理员密码下的方框里
    点击继续，出现如下界面

![f13e4929325e753e06a6fe7d12ff6c4a.png][]

2）安装插件

安装推荐的插件

![b2d73326290fce1eac4a66820a53f9e5.png][]

插件安装好之后显示如下

![0a3d96bc5329a24912ca627a95699a23.png][]

3）创建第一个管理员用户

![c0dec239274f08dae3e1a9401c38821c.png][]

用户名和密码都设置成admin，线上环境需要设置成复杂的密码

修改好之后点击保存并完成，出现如下界面

点击保存并完成，出现如下界面

![1a1962a01c2021043dca81149f6e9e3f.png][]

点击保存并完成，出现如下界面

![ced37bf3156089834e8256944a11975b.png][]

点击开始使用Jenkins

### 5、测试jenkins的CI/CD ###

\#在Jenkins中安装kubernetes插件

（1）在jenkins中安装k8s插件

ManageJnekins------>插件管理------>可选插件------>搜索kubernetes------>出现如下

![75d3e3989c238205d24d54ea9aa8755d.png][]

选中kubernetes之后------>点击下面的直接安装------>安装之后选择重新启动jenkins---> http://192.168.40.130:30002/restart-->重启之后登陆jenkins即可

\#配置jenkins连接到我们存在的k8s集群

（1）访问http://192.168.40.130:30002/configureClouds/

新增一个云,在下拉菜单中选择kubernets并添加

![f0c746800cfb9adb00313b050b8a50eb.png][]

（2）填写云kubernetes配置内容

![dcc60e6f3e71227e79f61b4f56428957.png][]

kubernetes

https://192.168.40.130:6443

（3）测试jenkins和k8s是否可以通信

![c59fc243aa19d142f72f3cb0371fe4b6.png][]

点击连接测试，如果显示Connection test successful或者显示Connected to Kubernetes 1.20

说明测试成功，Jenkins可以和k8s进行通信

![189b5fb3278ff59e95fffc6e362ea5cb.png][]

配置k8s集群的时候jenkins地址需要写上面域名的形式，配置之后执行如下：

http://jenkins-service.jenkins-k8s.svc.cluster.local:8080

应用------>保存

（1）配置pod template

访问http://192.168.40.130:30002/configureClouds/

添加Pod模板------>KubernetesPod Template--->按如下配置

![6a35fdc928f092512b5c5edcb4bc958f.png][]

（2）在上面的podtemplate下添加容器

添加容器------>Container Template------>按如下配置------>

![3c23ca2713b79c8670ae6d26162493a1.png][]

Docker镜像：使用jenkins-jnlp.tar.gz解压出来的镜像，把这个镜像上传到k8s的各node节点，手动解压：docker load -ijenkins-jnlp.tar.gz

解压出来的镜像是xianchao/jenkins-jnlp:v1

在每一个pod template右下脚都有一个Advanced，点击Advanced，出现如下

![875d929f9b57a6b27c8bc97c418199e5.png][]

在ServiceAccount处输入jenkins-k8s-sa，这个sa就是我们最开始安装jenkins时的sa

（3）给上面的podtemplate添加卷

添加卷------>选择Host Path  Volume

![daa7e0a4b84b6c236e107f59d6d077aa.png][]

/var/run/docker.sock

/root/.kube

/home/jenkins/.kube

上面配置好之后，应用------>保存

\#添加dockerhub凭据

注意：下面需要用到dockerhub存放镜像，大家如果没有dockerhub可以自己申请一个

首页------>系统管理----à管理凭据--à全局--à添加凭据

![868bd0459656675f92598c6e3e68cc0c.png][]

![8f1591a0189c4e3baaaa47de32bd7d6c.png][]

username：xianchao
    password：1989*****
    ID：dockerhub
    描述：这个地方随便写
    上面修改好之后选择确定即可
    
    
    #测试通过Jenkins发布代码到k8s开发环境、测试环境、生产环境
    在k8s的控制节点创建名称空间：
    [root@master1 ~]# kubectl create ns devlopment
    namespace/devlopment created
    [root@master1 ~]# kubectl create ns production
    namespace/production created
    [root@master1 ~]# kubectl create ns qatest
    namespace/qatest created
    
    
    回到首页：
    新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy------>流水线------>确定------>在Pipeline script处输入如下内容
    node('testhan') {
        stage('Clone') {
            echo "1.Clone Stage"
            git url: "https://github.com/luckylucky421/jenkins-sample.git"
            script {
                build_tag = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()
            }
        }
        stage('Test') {
          echo "2.Test Stage"
    
    
        }
        stage('Build') {
            echo "3.Build Docker Image Stage"
            sh "docker build -t xianchao/jenkins-demo:${build_tag} ."
        }
        stage('Push') {
            echo "4.Push Docker Image Stage"
            withCredentials([usernamePassword(credentialsId: 'dockerhub', passwordVariable: 'dockerHubPassword', usernameVariable: 'dockerHubUser')]) {
                sh "docker login -u ${dockerHubUser} -p ${dockerHubPassword}"
                sh "docker push xianchao/jenkins-demo:${build_tag}"
            }
        }
        stage('Deploy to dev') {
            echo "5. Deploy DEV"
        sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-dev.yaml"
            sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-dev.yaml"
    //        sh "bash running-devlopment.sh"
            sh "kubectl apply -f k8s-dev.yaml  --validate=false"
      }  
      stage('Promote to qa') {  
        def userInput = input(
                id: 'userInput',
    
    
                message: 'Promote to qa?',
                parameters: [
                    [
                        $class: 'ChoiceParameterDefinition',
                        choices: "YES\nNO",
                        name: 'Env'
                    ]
                ]
            )
            echo "This is a deploy step to ${userInput}"
            if (userInput == "YES") {
                sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-qa.yaml"
                sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-qa.yaml"
    //            sh "bash running-qa.sh"
                sh "kubectl apply -f k8s-qa.yaml --validate=false"
                sh "sleep 6"
                sh "kubectl get pods -n qatest"
            } else {
                //exit
            }
        }
      stage('Promote to pro') {  
        def userInput = input(
    
    
                id: 'userInput',
                message: 'Promote to pro?',
                parameters: [
                    [
                        $class: 'ChoiceParameterDefinition',
                        choices: "YES\nNO",
                        name: 'Env'
                    ]
                ]
            )
            echo "This is a deploy step to ${userInput}"
            if (userInput == "YES") {
                sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-prod.yaml"
                sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-prod.yaml"
    //            sh "bash running-production.sh"
                sh "cat k8s-prod.yaml"
                sh "kubectl apply -f k8s-prod.yaml --record --validate=false"
            }
        }
    }
    
    
    应用------>保存------>立即构建
    在左侧可以看到构建任务，如下所示：

![13cd9cc238a279021d6f1a6dee4c93fa.png][]

![087d16f9132ee3ddd43919efcb55cc5c.png][]

![10c6b76ef0c09334fda751b14e3ddc85.png][]

点击Input request，部署应用到预生产环境

![06dd9bca346d15209b68e76c5da0b028.png][]

点击Input request，部署应用到生产环境

![f4ec37c3705960a7a0ec22393f41462e.png][]

![014c096fb5b258f0774b9f2d144127ca.png][]

看到Finished：SUCCESS,，说明pipeline构建任务完成
    
    
    6、验证开发、预生产、生产环境部署的应用是否正常运行
    [root@master1 ~]# kubectl get pods -n devlopment
    NAME                            READY   STATUS    RESTARTS   AGE
    jenkins-demo-784885d9c9-b4jkg   1/1     Running   0          6m18s
    [root@master1 ~]# kubectl get pods -n qatest
    NAME                            READY   STATUS    RESTARTS   AGE
    jenkins-demo-784885d9c9-59tsm   1/1     Running   0          5m19s
    [root@master1 ~]# kubectl get pods -n production
    NAME                              READY   STATUS              RESTARTS   AGE
    jenkins-demo-784885d9c9-42hz4   1/1       running             0          5m38s

实战2：Jenkins管理插件BlueOcean配置和使用
    # BlueOcean是什么？
    为了适应Jenkins Pipeline和 Freestyle jobs任务，Jenkins推出了BlueOcean UI，其目的就是让程序员执行任务时，降低工作流程的复杂度和提升工作流程的清晰度，它具有如下特征：
    1、清晰的可视化：对CI/CD pipelines, 可以快速直观的观察项目pipeline状态。
    2、pipeline可编辑：引导用户通过直观的、可视化的过程来创建Pipeline，从而使Pipeline的创建变得平易近人。
    3、pipeline精确度：通过UI直接介入pipeline的中间问题。
    #安装BlueOcean插件
    主页—>系统管理插件管理可选插件—>过滤BlueOcean直接安装

![8d5159a596505b2da23e1effa4c3629a.png][]

![de1c36443c66e3ea709c3a3cfa23d1b6.png][]

安装完成后，重启jenkins
    http://192.168.40.130:30002/restart

![be4c5e5638ba8d862a5dbfbc876959ba.png][]

重启进入jenkins之后，在主页左侧可以看到打开Blue Ocean

![c7369a8c5caa9f5709f8fb2057254b4b.png][]

![cc62bf9168374dd19cd73e72162b6a01.png][]

![d825aa638e46c3020562806f9ea4078e.png][]

![5e71ce6e9f46d018f1e1aaf369535b74.png][]

![c5ed2746ac2d0faa9f980f518d8fd0f2.png][]

![72b12ab7e3ae2d960274de2b0d8b923e.png][]

![5a1c565130226371294d198a8c5469e3.png][]

![8b739d59857ee90058f90d2f7512d0e1.png][]

![9619c8a0f26129a136b3677665be2c5f.png][]

![e526a71b01fdee5d260a5cb1f8ca8bd4.png][]

![96d84a21eb88bece01cdefb778c50713.png][]

![3597f2eb78147b323f9d50eb69aded3b.png][]

![00b4916b3bbabe185e62a99bdb64d98b.png][]

![6847d3d13b50504fc37a0ed514445503.png][]

实战3：Jenkins实现k8s应用按照指定版本回滚
    回到首页：
    新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy-rollout------>流水线------>确定------>在Pipeline script处输入如下内容
    
    
    
    
    node('testhan') {
      stage('git clone') {
        git url: "https://github.com/luckylucky421/jenkins-rollout"
        sh "ls -al"
        sh "pwd"
    }
      stage('select env') {
        def envInput = input(
          id: 'envInput',
          message: 'Choose a deploy environment',
          parameters: [
             [
                 $class: 'ChoiceParameterDefinition',
                 choices: "devlopment\nqatest\nproduction",
                 name: 'Env'
             ]
         ]
    )
    echo "This is a deploy step to ${envInput}"
    sh "sed -i 's/<namespace>/${envInput}/' getVersion.sh"
    sh "sed -i 's/<namespace>/${envInput}/' rollout.sh"
    sh "bash getVersion.sh"
    // env.WORKSPACE = pwd()
    // def version = readFile "${env.WORKSPACE}/version.csv"
    // println version
    }
      stage('select version') {
         env.WORKSPACE = pwd()
      def version = readFile "${env.WORKSPACE}/version.csv"
      println version
          def userInput = input(id: 'userInput',
                                            message: '选择回滚版本',
                                            parameters: [
                [
                     $class: 'ChoiceParameterDefinition',
                     choices: "$version\n",
                     name: 'Version'
           ]
          ]
    )
           sh "sed -i 's/<version>/${userInput}/' rollout.sh"
    }
      stage('rollout deploy') {
          sh "bash rollout.sh"
    }
    }

点击应用->保存-立即构建

![27d11320e1ca41591a2031774a1c9028.png][]

![456abc1d3ea49889926c64f1d942d5b5.png][]

![966bd0730bc7327f07031f9415a57638.png][]

END

精彩文章推荐

[从0开始轻松玩转k8s，助力企业实现智能化转型+世界500强实战项目汇总][0_k8s_500]

[Nginx如何限流？][Nginx]

[使用 root 用户执行Docker、K8s命令？No!][root _Docker_K8s_No]

[GitLab 持续集成][GitLab]

[使用k3s部署轻量Kubernetes集群快速教程][k3s_Kubernetes]

[K8S 常见面试题总结  
][K8S _]

[K8s 超详细总结！][K8s]

[两大容器管理平台，Kubernetes与OpenShift有什么区别？][Kubernetes_OpenShift]

[从0开始轻松玩转k8s，助力企业实现智能化转型+世界500强实战项目汇总][0_k8s_500]

[容器运行时Containerd基础][Containerd]

Docker+k8s+DevOps+CKA+k8s故障排查训练营

![56f5b61045f90371c7c989d47726bc79.png][]

## 技术交流 ##

为了大家更快速的学习知识，掌握技术，随时沟通交流问题，特组建了技术交流群，大家在群里可以分享自己的技术栈，抛出日常问题，群里会有很多大佬及时解答的，这样我们就会结识很多志同道合的人，长按或者扫描下图二维码可加我微信，备注运维或者k8s或者devops即可进群，让我们共同的努力，向着美好的未来出发吧~~，**想要****免费获取****linux、k8s、DevOps、Openstack、Openshift、运维、开发、测试、架构师、Python、Go、面试文档、容器、岗位内推等资料也可进群获取****哈~~**

![0d2fc8b5787ec5cddb9a3bfbd7a20746.png][]

**微信：** luckylucky421302

![25c987a5862601ae7dcab5c47be036b8.gif][] 点击**阅读****原****文** | 即刻学习

## 微信公众号    ##

![f1d032c1c1300a9b3a9887f443e92314.png][]

点亮，服务器10年不宕机![9e23ab83fb2d6be9baa46f728f63f7cd.gif][]

点击阅读原文即可了解更多信息

![点击查看源网页][3b393b3a7b765fa00eb35038d2505958.png]

[53b06208b6481e8cab8eb9e2bc18b111.gif]: /images/20220829/cff92c1691074fb3916ab88dcafde80a.png
[f60fae53e7ad75806019f27f25d261d3.png]: /images/20220829/7ab9415c45934312b51c1e86553cd820.png
[f3ae60b93f36f80b6a6c0862315b244b.png]: /images/20220829/0725d1a8ee83430eaf72a4cdb32de2ed.png
[00db40f8c58b65924b7e3d763b52f37f.png]: /images/20220829/fbe0b48c35654bb8a40e65bab2951077.png
[eb76fb53ba77b60dfa9fbcbe6126539b.png]: /images/20220829/6e16c5aea6724a70bd9336d8261a5fc4.png
[503df4e38bfa0b8981b976d8cea86f9a.png]: /images/20220829/f99dd878ae8a44d386b30471c5f4ef43.png
[905beb7335d6760540e83b67fbbf2bb0.png]: /images/20220829/044b24d554a4475fb7a82d47d69c2292.png
[f13e4929325e753e06a6fe7d12ff6c4a.png]: /images/20220829/3aef047a55ea4ca2aa7a19bc2d254b96.png
[b2d73326290fce1eac4a66820a53f9e5.png]: /images/20220829/f84edddc15064e5bbb2ccf452e548f4f.png
[0a3d96bc5329a24912ca627a95699a23.png]: /images/20220829/0897a4f092f545199118094822b1c4ac.png
[c0dec239274f08dae3e1a9401c38821c.png]: /images/20220829/0b315b3af3284386ab6c286c5ecb815c.png
[1a1962a01c2021043dca81149f6e9e3f.png]: /images/20220829/3810de5f54d54b0f9a997606fcdb01b8.png
[ced37bf3156089834e8256944a11975b.png]: /images/20220829/6e668e0ca86346cbaff4873d52b5e648.png
[75d3e3989c238205d24d54ea9aa8755d.png]: /images/20220829/ccb8c2da78584b5da6e5f094761268ca.png
[f0c746800cfb9adb00313b050b8a50eb.png]: /images/20220829/cde26f7e635d4feba8bb8d74d1861ec8.png
[dcc60e6f3e71227e79f61b4f56428957.png]: /images/20220829/f7b2cda363714f57a472fc0fb2a74a7c.png
[c59fc243aa19d142f72f3cb0371fe4b6.png]: /images/20220829/ae143c2775d24bd4ad1130d9c0c327d4.png
[189b5fb3278ff59e95fffc6e362ea5cb.png]: /images/20220829/153108278b444a7f99543608aa9d2219.png
[6a35fdc928f092512b5c5edcb4bc958f.png]: /images/20220829/8895c282dcc6456ea2f7f581683d294a.png
[3c23ca2713b79c8670ae6d26162493a1.png]: /images/20220829/0631c01c43dd4adf9c655e79337ba334.png
[875d929f9b57a6b27c8bc97c418199e5.png]: /images/20220829/405ffa17ffad4e9990d38c5986b8af7c.png
[daa7e0a4b84b6c236e107f59d6d077aa.png]: /images/20220829/a3c0532f09b04ac6b02da92c6e877829.png
[868bd0459656675f92598c6e3e68cc0c.png]: /images/20220829/6d6aac380c694e0c9537474612eae2df.png
[8f1591a0189c4e3baaaa47de32bd7d6c.png]: /images/20220829/7542ed9fb11547928e8e2f84174decb5.png
[13cd9cc238a279021d6f1a6dee4c93fa.png]: /images/20220829/eef1deb4c1104db4ad29b02208a3b107.png
[087d16f9132ee3ddd43919efcb55cc5c.png]: /images/20220829/3936487a036a434994cb119c06de83ba.png
[10c6b76ef0c09334fda751b14e3ddc85.png]: /images/20220829/227d59635ecf4c60a398647501ad9d1a.png
[06dd9bca346d15209b68e76c5da0b028.png]: /images/20220829/b1c1b0d576724c2e915d8a9af5d437b6.png
[f4ec37c3705960a7a0ec22393f41462e.png]: /images/20220829/e7d36b17dd8940df939f9848cc44e072.png
[014c096fb5b258f0774b9f2d144127ca.png]: /images/20220829/3d5bc98410be467ea9cf2a695123ce4e.png
[8d5159a596505b2da23e1effa4c3629a.png]: /images/20220829/66efbe85000d4c96ba52ea4323b99b9b.png
[de1c36443c66e3ea709c3a3cfa23d1b6.png]: /images/20220829/d4e6aed6666b49e989b7a1365e103812.png
[be4c5e5638ba8d862a5dbfbc876959ba.png]: /images/20220829/9d867f9098a34d7aa5cf1c447f29ba67.png
[c7369a8c5caa9f5709f8fb2057254b4b.png]: /images/20220829/f2bf764179f94fb5be0c0a77e3a556e2.png
[cc62bf9168374dd19cd73e72162b6a01.png]: /images/20220829/a9d4f5cd58fd423ca106390e426f8527.png
[d825aa638e46c3020562806f9ea4078e.png]: /images/20220829/11e11df894134528a6c65b2628beb636.png
[5e71ce6e9f46d018f1e1aaf369535b74.png]: /images/20220829/a8c9153b9e684ec0b59c3cab656ff617.png
[c5ed2746ac2d0faa9f980f518d8fd0f2.png]: /images/20220829/f592bff7a13c4fbeb71718885ace73f8.png
[72b12ab7e3ae2d960274de2b0d8b923e.png]: /images/20220829/6b8e5d08aaa742e5bb34330bd3623715.png
[5a1c565130226371294d198a8c5469e3.png]: /images/20220829/a6106112ef4b4766801a54bd029f7dac.png
[8b739d59857ee90058f90d2f7512d0e1.png]: /images/20220829/91da9d2199cc476b8a5d26370bbad473.png
[9619c8a0f26129a136b3677665be2c5f.png]: /images/20220829/48abf4b9948f413b98f2209acdd41398.png
[e526a71b01fdee5d260a5cb1f8ca8bd4.png]: /images/20220829/560fdab789ed41bab2b31f27ce17acc9.png
[96d84a21eb88bece01cdefb778c50713.png]: /images/20220829/31e88e4324da44d19d59631563fca011.png
[3597f2eb78147b323f9d50eb69aded3b.png]: /images/20220829/7bc804a4f0fd48e1ba47936435459dfc.png
[00b4916b3bbabe185e62a99bdb64d98b.png]: /images/20220829/cb1af082914e417180e00366a6d72c0c.png
[6847d3d13b50504fc37a0ed514445503.png]: /images/20220829/2907ee49d5cd4298972e19bc2a974d66.png
[27d11320e1ca41591a2031774a1c9028.png]: /images/20220829/4ec97551bea7427293d2c58b359b18b9.png
[456abc1d3ea49889926c64f1d942d5b5.png]: /images/20220829/d64fad14ee97485d821ddc4a1309797c.png
[966bd0730bc7327f07031f9415a57638.png]: /images/20220829/423c03d917094a47bed4428d92d8e26b.png
[0_k8s_500]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6397f7cc141ee1f81d8393991e2a3d023280a52263b868b00b13a008934a9de8a4ee90e3ef&idx=1&mid=2247489762&scene=21&sn=dad10a59ae65f36179466d3b6c5aab52#wechat_redirect
[Nginx]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6398f4cc1411e2c532496da14fb64ce1f9847c1d6f295802686453b783119d4e5b604201bc&idx=2&mid=2247489505&scene=21&sn=a94e69e3bd93163f5e47783bd15a72c0#wechat_redirect
[root _Docker_K8s_No]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6398c4cc1411d22d16263ebce9d77775ab6a26455b3a9298cf621955cd54d79d4c9276046c&idx=2&mid=2247489489&scene=21&sn=db512312d25d183cefec1292285fceac#wechat_redirect
[GitLab]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639733cc141e25d556870782bf4f062f98a9eaeec1304503707973957b9eeb3db88639e80e&idx=2&mid=2247489574&scene=21&sn=3a2adab82877eb1ab95c629d74a2ba6a#wechat_redirect
[k3s_Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63975bcc141e4dffe36433c774ce4baa00b0ed551062cc302fbd1aa40b6ec097d2979ec095&idx=1&mid=2247489614&scene=21&sn=1134326567a55bc81d6c46bac17d1ab5#wechat_redirect
[K8S _]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63975dcc141e4b71bc75d4ae50ee5b18d59c10bc60b382d7dc4539b2480a1378388805de98&idx=2&mid=2247489608&scene=21&sn=2ebcf492dc0196a94739abfad31308e9#wechat_redirect
[K8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639769cc141e7fbaf3a009cb148d31c5ea01952e934d1f85cb07b7dcfd14c0223deeb7334d&idx=2&mid=2247489660&scene=21&sn=90b834697b9cb8138c78d7a44627271d#wechat_redirect
[Kubernetes_OpenShift]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63979bcc141e8d848165581e1bcd34772a7d4470346b21bca08ec2aab4c39d6406bbd33db2&idx=2&mid=2247489678&scene=21&sn=2f48bd49fa2f2dea1da2cd475f44d232#wechat_redirect
[Containerd]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6397dacc141eccbfe81e6e0aba506ef934bc004eef21b2e16d2beae55b90a66ebc5180100a&idx=2&mid=2247489743&scene=21&sn=23b58f4e98df39d45a6bee3dcaad95ea#wechat_redirect
[56f5b61045f90371c7c989d47726bc79.png]: /images/20220829/9112c663dd0e4dbfbaa442d1925befe0.png
[0d2fc8b5787ec5cddb9a3bfbd7a20746.png]: /images/20220829/81da5d45f58c4866935de91c9ae3561e.png
[25c987a5862601ae7dcab5c47be036b8.gif]: /images/20220829/6e4c17160e804b8a96ad3e57131ea114.png
[f1d032c1c1300a9b3a9887f443e92314.png]: /images/20220829/0f7bc795813f48cf9f6d5f3e7f1ece18.png
[9e23ab83fb2d6be9baa46f728f63f7cd.gif]: /images/20220829/83fcbaf608974c0e87054ed390d1ebde.png
[3b393b3a7b765fa00eb35038d2505958.png]: /images/20220829/2e79448e89fb4034809772ca8f4da9da.png