Jenkins in Kubernetes 在Kubernetes上动态运行Jenkins build agent

àì夳堔傛蜴生んèń 2022-01-29 06:25 546阅读 0赞

### 文章目录 ###

*  Jenkins in Kubernetes 在Kubernetes上动态运行Jenkins build agent
 *   *  前言
     *  参考文档
     *  开启JNLP访问
     *  安装Kubernetes插件
     *  创建专有Namespace
     *  创建专有Service Account
     *  生成Kubernetes server certificate key
     *  生成Kubernetes Client P12 Certificate File
     *  在Jenkins上配置Kubernetes Credential
     *  在Jenkins上配置Kubernetes Cloud
     *  测试Jenkins Pipeline
     *  Troubleshooting

# Jenkins in Kubernetes 在Kubernetes上动态运行Jenkins build agent #

## 前言 ##

采用Jenkins in Kubernetes方式，可以在Kubernetes集群上动态运行Jenkins build agent。这样可以使得Jenkins build agent相互隔离，并实现自动扩容。

本文中的Jenkins Master部署在Kubernetes集群外，如果Jenkins Master部署在Kubernetes集群内，配置方法会稍有不同。

## 参考文档 ##

官方文档：

*  [https://github.com/jenkinsci/kubernetes-plugin][https_github.com_jenkinsci_kubernetes-plugin]
 *  [https://github.com/jenkinsci/kubernetes-plugin/blob/master/README.md][https_github.com_jenkinsci_kubernetes-plugin_blob_master_README.md]

参考文档：

*  [基于 Kubernetes 的 Jenkins 构建集群实践][Kubernetes _ Jenkins]

*  [Configuring Certificates for Jenkins Kubernetes Plugin 0.12][]
 *  [Set Up a Jenkins CI/CD Pipeline with Kubernetes][Set Up a Jenkins CI_CD Pipeline with Kubernetes]
 *  [初试 Jenkins 使用 Kubernetes Plugin 完成持续构建与发布][Jenkins _ Kubernetes Plugin]

## 开启JNLP访问 ##

在Jenkins上，打开Manage Jenkins / Configure Global Security

找到Agents，在TCP port for JNLP agents选项选择Random （如果需要打开防火墙，则建议选择一个固定的端口）

点开Agent protocols，确保勾选了 Java Web Start Agent Protocol/4

> 如果不开启JNLP访问，Jenkins无法和Kubernetes交互

## 安装Kubernetes插件 ##

检查并安装[Kubernetes插件][Kubernetes]

Kubernetes插件的详细说明参见：

[https://github.com/jenkinsci/kubernetes-plugin][https_github.com_jenkinsci_kubernetes-plugin]

## 创建专有Namespace ##

在Kubernetes上为Jenkins构建创建专有Namespace：

kubectl create namespace devops

也可以使用默认的`default` namespace。

## 创建专有Service Account ##

在Kubernetes上为Jenkins构建创建有Cluster Admin权限的Service Account `jenkins`：

kubectl create clusterrolebinding jenkins --clusterrole cluster-admin --serviceaccount=devops:jenkins

或者根据YAML文件创建`jenkins` Service Account:

wget https://raw.githubusercontent.com/cookcodeblog/OneDayDevOps/master/devops_in_k8s/jenkins/jenkins-slave-service-account.yml
    kubectl apply -f jenkins-slave-service-account.yml

指定了Namespace为`devops`的`jenkins-slave-service-account.yml`内容：

---
    apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: jenkins
      namespace: devops
    
    ---
    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRoleBinding
    metadata:
      name: jenkins
    roleRef:
      apiGroup: rbac.authorization.k8s.io
      kind: ClusterRole
      name: cluster-admin
    subjects:
    - kind: ServiceAccount
      name: jenkins
      namespace: devops

## 生成Kubernetes server certificate key ##

> 如果Jenkins Master运行在Kubernetes上可跳过此步

在Kubernetes Master上，打开`~/.kube/config`文件，复制`certificate-authority-data`的内容，运行以下命令生成Kubernetes server certificate key，并保存在`ca.crt`文件中：

echo "<certificate-authority-data>" | base64 -d > ca.crt

## 生成Kubernetes Client P12 Certificate File ##

> 如果Jenkins Master运行在Kubernetes上可跳过此步

在Kubernetes Master上，打开`~/.kube/config`文件：

# 复制client-certificate-data的内容，运行以下命令生成client.crt
    echo "<client-certificate-data>" | base64 -d > client.crt
    
    # 复制client-key-data的内容，运行以下命令生成client.key
    echo "<client-key-data>" | base64 -d > client.key
    
    # 根据前面步骤生成的ca.crt, client.crt和client.key来生成PKCS12格式的cert.pfx
    # 以下命令运行时，需要输入4位以上的密码
    openssl pkcs12 -export -out cert.pfx -inkey client.key -in client.crt -certfile ca.crt

将生成的Kubernetes Client P12 Certificate File`cert.pfx`复制到Jenkins Master服务器上，比如复制到`/var/lib/jenkins/kubernetes_cert/cert.pfx`。

## 在Jenkins上配置Kubernetes Credential ##

> 如果Jenkins Master运行在Kubernetes上可跳过此步

在Jenkins上增加一个Global的Credential，选择类型为Certificate

选择“From a PKCS\#12 file on Jenkins master”，输入上面生成的`cert.pfx`文件在Jenkins Master服务器上的路径，比如`/var/lib/jenkins/kubernetes_cert/cert.pfx`。

输入生成`cert.pfx`文件时输入的密码

输入一个有意义的ID，比如`kubernetes-cluster`

输入有意义的Description

## 在Jenkins上配置Kubernetes Cloud ##

在Jenkins上，打开Manage Jenkins ／ Configure System

找到Cloud ，点击Add a new cloud

选择 `Kubernetes`

输入一个有意义的Name，比如`kubernetes`

输入Kubernetes URL：

*  如果Jenkins Master部署在Kubernetes之外，则输入Kubernetes Master API Server URL，可运行`kubectl cluster-info`获得Kubernetes Master API Server URL
 *  如果Jenkins Master部署在Kubernetes上，则输入Kubernetes域名方式，格式`https://<service>.<namespace>.svc.<domain>` ，比如`https://kubernetes.default.svc.cluster.local`，或短名称`https://kubernetes.default`

复制上面步骤生成的`ca.crt`文件内容到Kubernetes server certificate key （如果Jenkins Master运行在Kubernetes上可跳过此步）

输入上一步创建的Kubernetes Namespace，比如`devops`

选择上一步配置好的Kubernetes Credential （如果Jenkins Master运行在Kubernetes上可跳过此步）

点击“Test Connection"按钮测试Jenkins是否可以成功连接Kubernetes。

输入Jenkins URL：

*  如果Jenkins Master部署在Kubernetes之外，则输入Jenkins URL
 *  如果Jenkins Master部署在Kubernetes上，则输入Node Port的方式

确保Pod Retention选择了Never，这样每次Jenkins构建结束后（无论成功和失败）都会销毁Pod，达到动态创建和运行Jenkins Build Agent的目的。

## 测试Jenkins Pipeline ##

创建一个Jenkins Pipeline来测试Jenkins是否可以动态地在Kubernetes上创建和运行Build Agent。

一个使用了Maven、Docker和Kubectl的Jenkins Pipeline示例：

def label = "k8s-slave-${UUID.randomUUID().toString()}"
    podTemplate(label: label, containers: [
            containerTemplate(
                    name: 'jnlp',
                    image: 'jenkins/jnlp-slave:3.27-1-alpine',
                    alwaysPullImage: false,
                    privileged: true,
                    args: '${computer.jnlpmac} ${computer.name}'),
            containerTemplate(name: 'maven', image: 'maven:3.6-jdk-8-alpine', command: 'cat', ttyEnabled: true,  privileged: true),
            containerTemplate(name: 'docker', image: 'docker:18.06', command: 'cat', ttyEnabled: true,  privileged: true),
            containerTemplate(name: 'kubectl', image: 'lachlanevenson/k8s-kubectl:v1.8.15', command: 'cat', ttyEnabled: true, privileged: true),
    ],
            namespace: 'devops',serviceAccount: 'jenkins',automountServiceAccountToken: 'true',
            volumes: [
                    hostPathVolume(hostPath: '/var/run/docker.sock', mountPath: '/var/run/docker.sock'),
                    hostPathVolume(hostPath: '/root/.m2', mountPath: '/root/.m2')
            ]) { 
        node(label) { 
            stage('Test Docker') { 
                container('docker') { 
                    sh 'docker version'
                }
            }
            stage('Test Maven') { 
                container('maven') { 
                    sh 'mvn -v'
                }
            }
            stage('Test Kubernetes') { 
                container('kubectl') { 
                    sh 'kubectl get pods --all-namespaces'
                }
            }
        }
    }

参见：  
[https://raw.githubusercontent.com/cookcodeblog/OneDayDevOps/master/devops\_in\_k8s/jenkins/pipeline/maven\_docker\_k8s.groovy][https_raw.githubusercontent.com_cookcodeblog_OneDayDevOps_master_devops_in_k8s_jenkins_pipeline_maven_docker_k8s.groovy]

说明：

*  定义了一个随机生成名称的Pod Template来运行Jenkins build agent，其中包含`jnlp`、`maven`、`docker`和`k8s-kubectl` Container Template
 *  其实Kubernetes Jenkins插件缺省提供了`jnlp` Container Template，但是这里还是用一个明确定义的`jnlp` Container Template去覆盖缺省的`jnlp` Container Template （这样可以指定`jnlp`镜像的版本和镜像仓库的地址），因此须要命名为`jnlp`，并带上`args: '${computer.jnlpmac} ${computer.name}'`
 *  Jenkins build agent用`jnlp`容器用来和Jenkins Master通讯，用`maven`容器来运行Maven构建，用`docker`容器来运行Docker镜像打包和推送镜像，用`k8s-kubectl`容器来部署Kubernetes应用
 *  指定了Namespace为上面创建的`devops`，使用了`devops` Namespace下有Cluster Admin权限的Service Account `jenkins`
 *  挂载了`/var/run/docker.sock` 使得可以运行Docker，挂载了`/root/.m2`来做Maven本地缓存
 *  除了`jnlp`容器，其它容器须使用`command: 'cat', ttyEnabled: true`来保证容器一直保持运行状态

## Troubleshooting ##

Q: kubectl not found  
A: 检查Pod Template中是否包含了`k8s-kubectl`的Container Template，再检查`kubectl`命令是否在`kubectl`容器下执行的。

Q: Error from server (Forbidden): pods is forbidden: User “system:serviceaccount:devops:jenkins” cannot list pods at the cluster scope  
A: 一般是Kubernetes RBAC权限问题；先检查是否使用了正确的Namespace，再检查是否使用了正确的Service Account，再检查该Service Account是否有Cluster Admin权限。

Q: 运行Docker命令失败  
A: 检查是否挂载了`/var/run/docker.sock`

Q: 运行Maven构建时每次都要重新拉jar包，导致构建很慢  
A: 检查是否挂载了`/root/.m2`Maven本地缓存

**Troubleshooting参考：**

*  [https://issues.jenkins-ci.org/browse/JENKINS-33419][https_issues.jenkins-ci.org_browse_JENKINS-33419]
 *  [https://stackoverflow.com/questions/48827345/kubernetes-jenkins-integration][https_stackoverflow.com_questions_48827345_kubernetes-jenkins-integration]
 *  [https://jenkins.io/blog/2018/09/14/kubernetes-and-secret-agents/][https_jenkins.io_blog_2018_09_14_kubernetes-and-secret-agents]
 *  [https://stackoverflow.com/questions/52202159/jenkins-kubenetes-how-to-use-kubectl-in-kubernetes-plugin][https_stackoverflow.com_questions_52202159_jenkins-kubenetes-how-to-use-kubectl-in-kubernetes-plugin]
 *  [https://devopscube.com/kubernetes-api-access-service-account/][https_devopscube.com_kubernetes-api-access-service-account]

[https_github.com_jenkinsci_kubernetes-plugin]: https://github.com/jenkinsci/kubernetes-plugin
[https_github.com_jenkinsci_kubernetes-plugin_blob_master_README.md]: https://github.com/jenkinsci/kubernetes-plugin/blob/master/README.md
[Kubernetes _ Jenkins]: https://www.kubernetes.org.cn/2995.html
[Configuring Certificates for Jenkins Kubernetes Plugin 0.12]: https://illya-chekrygin.com/2017/08/26/configuring-certificates-for-jenkins-kubernetes-plugin-0-12/
[Set Up a Jenkins CI_CD Pipeline with Kubernetes]: https://akomljen.com/set-up-a-jenkins-ci-cd-pipeline-with-kubernetes/
[Jenkins _ Kubernetes Plugin]: https://blog.csdn.net/aixiaoyang168/article/details/79767649
[Kubernetes]: https://plugins.jenkins.io/kubernetes
[https_raw.githubusercontent.com_cookcodeblog_OneDayDevOps_master_devops_in_k8s_jenkins_pipeline_maven_docker_k8s.groovy]: https://raw.githubusercontent.com/cookcodeblog/OneDayDevOps/master/devops_in_k8s/jenkins/pipeline/maven_docker_k8s.groovy
[https_issues.jenkins-ci.org_browse_JENKINS-33419]: https://issues.jenkins-ci.org/browse/JENKINS-33419
[https_stackoverflow.com_questions_48827345_kubernetes-jenkins-integration]: https://stackoverflow.com/questions/48827345/kubernetes-jenkins-integration
[https_jenkins.io_blog_2018_09_14_kubernetes-and-secret-agents]: https://jenkins.io/blog/2018/09/14/kubernetes-and-secret-agents/
[https_stackoverflow.com_questions_52202159_jenkins-kubenetes-how-to-use-kubectl-in-kubernetes-plugin]: https://stackoverflow.com/questions/52202159/jenkins-kubenetes-how-to-use-kubectl-in-kubernetes-plugin
[https_devopscube.com_kubernetes-api-access-service-account]: https://devopscube.com/kubernetes-api-access-service-account/