使用 k8s 搭建 confluence 6.10.x 版本

青旅半醒 2022-12-20 01:26 132阅读 0赞

> ### 推荐阅读 ###
> 
> ##### Helm3（K8S 资源对象管理工具）视频教程：[https://edu.csdn.net/course/detail/32506][https_edu.csdn.net_course_detail_32506] #####
> 
> ##### Helm3（K8S 资源对象管理工具）博客专栏：[https://blog.csdn.net/xzk9381/category\_10895812.html][https_blog.csdn.net_xzk9381_category_10895812.html] #####

> [本文原文链接：https://blog.csdn.net/xzk9381/article/details/109570960，转载请注明出处。如有发现文章中的任何问题，欢迎评论区留言。][https_blog.csdn.net_xzk9381_article_details_109570960]

将公司中已有的 confluence 服务迁移到 k8s 集群中，需要保留当前已有的数据。整体需要分为如下几个步骤：

1.  备份 mysql 数据
2.  备份 confluence 安装目录
3.  备份 confluence 数据目录
4.  制作 mysql 镜像并导入数据
5.  制作 confluence 镜像

### 一、MySQL 服务 ###

#### 1. 制作 MySQL 镜像 ####

由于公司环境中的 confluence 服务使用的数据库版本是 5.6，所以首先下载官方 mysql 镜像：

docker pull mysql:5.6

将下载好的镜像修改 tag 并推送到内部镜像仓库：

docker tag mysql:5.6 harbor.inner.com/ops/mysql:5.6
    docker push harbor.inner.com/ops/mysql:5.6

#### 2. 创建命名空间 ####

首先创建一个 MySQL 和 Confluence 服务共用的命名空间 ns-wiki，yaml 文件内容如下：

---
    apiVersion: v1
    kind: Namespace
    metadata:
      name: ns-wiki
      labels:
        name: ns-wiki

#### 3. 创建 PV ####

首先创建如下目录：

mkdir -p /opt/ops_ceph_data/mysql_for_confluence

为了实现 MySQL 数据的持久化存储，需要使用到 pv 和 pvc，yaml 文件内容如下：

---
    kind: StorageClass
    apiVersion: storage.k8s.io/v1
    metadata:
      name: ceph-mysql-storage
    provisioner: kubernetes.io/no-provisioner
    volumeBindingMode: WaitForFirstConsumer
    
    ---
    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: ceph-mysql-pv
    spec:
      accessModes:
      - ReadWriteOnce
      capacity:
        storage: 500Gi
      local:
        path: /opt/ops_ceph_data/mysql_for_confluence
      nodeAffinity:
        required:
          nodeSelectorTerms:
          - matchExpressions:
            - key: mysql-for-confluence
              operator: In
              values:
              - "true"
      persistentVolumeReclaimPolicy: Retain
      storageClassName: ceph-mysql-storage
    ---
    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: ceph-mysql-pvc
      namespace: ns-wiki
    spec:
      accessModes:
        - ReadWriteOnce
      storageClassName: ceph-mysql-storage
      resources:
        requests:
          storage: 500Gi

在 k8s 的 node 节点上创建用于绑定 pv 的 label：

for i in 1 2 3 4 5
    do
    	kubectl label nodes k8s-node${i} mysql-for-confluence=true
    done

#### 4. 创建 Service ####

创建用于映射 3306 端口的 Service，yaml 文件内容如下：

---
    kind: Service
    apiVersion: v1
    metadata:
      labels:
        app: mysql
      name: mysql-port
      namespace: ns-wiki
    spec:
      type: NodePort
      ports:
      - port: 3306
        protocol: TCP
        targetPort: 3306
        nodePort: 32306
      selector:
        app: mysql

#### 5. 创建 configmap ####

为了可以动态的修改 MySQL 的配置文件，需要在创建 pod 时将配置进行挂载，用 k8s 提供的 configmap 可以实现该功能。

创建 configmap 有两种方式，一种是从已有的配置文件中进行导入：

kubectl create configmap mysql-config --from-file=my.cnf -n ns-wiki

导入完成后可以通过 describe 命令查看：

[@k8s-master2 /opt/k8s/mysql]# kubectl describe configmap mysql-config -n ns-wiki
    Name:         mysql-config
    Namespace:    ns-wiki
    Labels:       <none>
    Annotations:  <none>
    
    Data
    ====
    my.cnf:
    ----
    [mysqld]
    datadir=/var/lib/mysql
    symbolic-links=0
    max_allowed_packet=256M
    max_connections=1000
    innodb_log_file_size=2GB
    transaction-isolation=READ-COMMITTED
    binlog_format=row
    
    [mysqld_safe]
    log-error=/var/log/mysqld.log
    pid-file=/var/run/mysqld/mysqld.pid
    
    Events:  <none>

还有一种方式是编写 yaml 文件创建，文件内容如下：

apiVersion: v1
    kind: ConfigMap
    metadata:
      name: mysql-config
      namespace: ns-wiki
    data:
      my.cnf: | [mysqld] datadir=/var/lib/mysql symbolic-links=0 max_allowed_packet=256M max_connections=1000 innodb_log_file_size=2GB transaction-isolation=READ-COMMITTED binlog_format=row [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid

#### 6. 创建 secret ####

在启动 MySQL 的 Pod 时，需要给系统传递一个参数用于初始化数据库 root 用户的密码，通常情况下可以直接在 pod 的 yaml 文件中按照如下格式编写：

containers:
    - name: mysql
      image: harbor.inner.com/ops/mysql:5.6
      imagePullPolicy: IfNotPresent
      env:
        - name: MYSQL_ROOT_PASSWORD
          value: "123456"

另一种方式是使用 secret，在 secret 中设置的值是经过 base64 编码的。创建 secret 的 yaml 文件内容如下：

apiVersion: v1
    kind: Secret
    metadata:
      name: mysql-secret		# 指定secret的名称
      namespace: ns-wiki
    type: Opaque				# 指定secret的类型
    data:
      mysql-user-root-pwd: MTIzNDU2

创建 secret 后可以使用如下命令查看：

[@k8s-master2 /opt/k8s/mysql]# kubectl describe secret mysql-secret -n ns-wiki
    Name:         mysql-secret
    Namespace:    ns-wiki
    Labels:       <none>
    Annotations:
    Type:         Opaque
    
    Data
    ====
    mysql-user-root-pwd:  6 bytes

再创建一个用于和 Harbor 校验的 secret：

kubectl create secret docker-registry harbor-secret --namespace=ns-wiki --docker-server=http://harbor.inner.com --docker-username=admin --docker-password=Harbor12345

#### 7. 创建 Deployment ####

最后是编写用于创建 MySQL Pod 的 yaml 文件，内容如下：

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: mysql
      labels:
        app: mysql
      namespace: ns-wiki
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: mysql
      template:
        metadata:
          name: mysql
          labels:
            app: mysql
        spec:
          restartPolicy: Always
          containers:
          - name: mysql
            image: harbor.inner.com/ops/mysql:5.6
            imagePullPolicy: IfNotPresent
            env:
              - name: MYSQL_ROOT_PASSWORD				# 注意此处引用 secret 来初始化 root 密码
                valueFrom:
                  secretKeyRef:
                    name: mysql-secret
                    key:mysql-user-root-pwd
            volumeMounts:
                - name: mysql-conf						# 指定数据库配置文件挂载的目录路径
                  mountPath: /etc/mysql/mysql.conf.d
                - name: mysql-data						# 指定数据目录路径
                  mountPath: /var/lib/mysql
                - name: date-conf						# 指定时区配置文件挂载路径
                  mountPath: /etc/localtime
          imagePullSecrets:
          - name: harbor-secret
          volumes:
          - name: mysql-conf							# 引用 configmap 挂载配置文件
            configMap:
              name: mysql-config
          - name: mysql-data
            persistentVolumeClaim:
              claimName: ceph-mysql-pvc
          - name: date-conf								# 将本地的时区文件挂载到 pod 中，避免 pod 时区错误
            hostPath:
              path: /usr/share/zoneinfo/Asia/Shanghai

#### 8. 创建数据库并导入数据 ####

Pod 创建完成后，需要进入到 Pod 中创建 confluence\_smc 库：

CREATE DATABASE confluence_smc CHARACTER SET utf8 COLLATE utf8_bin;

为数据库赋权：

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123456';
    GRANT ALL PRIVILEGES ON *.* TO root@'127.0.0.1' IDENTIFIED BY '123456';
    GRANT ALL PRIVILEGES ON *.* TO root@'localhost' IDENTIFIED BY '123456';
    flush privileges;

配置完成后，将已备份的数据库数据导入到新的库中即可。

### 二、Confluence 服务 ###

#### 1. 制作 Confluence 镜像 ####

我是基于 Ubuntu:16.04 来制作的 Confluence 镜像，首先下载 Ubuntu:16.04 镜像，修改 tag 后推送到内部镜像仓库：

docker pull ubuntu:16.04
    docker tag ubuntu:16.04 harbor.inner.com/ops/ubuntu:16.04
    docker push harbor.inner.com/ops/ubuntu:16.04

然后创建用于制作 Confluence 镜像的 Dockerfile 文件，内容如下：

FROM harbor.inner.com/ops/ubuntu:16.04
    
    MAINTAINER haha@xxx.com
    
    COPY run.sh /
    COPY sources.list /etc/apt/
    
    ADD wiki.tar.gz /opt
    
    ENV TZ=Asia/Shanghai
    
    RUN apt-get update && apt-get -y install fontconfig \
        && rm -rf /var/cache/apt/archives/*.deb \
        && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
    
    EXPOSE 8090
    
    CMD ["/run.sh"]

*  wiki.tar.gz 文件就是备份的原 confluence 工作目录文件
 *  安装 fontconfig 是为了解决 confluence 启动时报错 System fonts are not available 的问题，具体报错内容如下：

Starting Installer ...
    java.lang.NullPointerException
        at sun.awt.FontConfiguration.getVersion(FontConfiguration.java:1264)
        at sun.awt.FontConfiguration.readFontConfigFile(FontConfiguration.java:219)
        at sun.awt.FontConfiguration.init(FontConfiguration.java:107)
        at sun.awt.X11FontManager.createFontConfiguration(X11FontManager.java:774)
    ...

启动脚本 run.sh 内容如下（脚本需要添加 x 权限）：

#!/bin/bash
    
    [ -e /opt/confluencedata/lock ] && rm -rf /opt/confluencedata/lock
    /opt/wiki/bin/catalina.sh run

> confluence 服务启动的命令是 /opt/wiki/bin/startup.sh ，这里使用 /opt/wiki/bin/catalina.sh run 是为了保证 tomcat 在前台运行，否则 Pod 会自动停止。
> 
> 在启动之前删除数据目录下的 lock 文件是确保 confluence 服务在重新部署时，有可能未删除 lock 文件，这样会导致新启动的 confluence 服务检测到 lock 文件，认为与其他 confluence 服务共用了数据目录，会导致报错。

将 run.sh 、sources.list 、wiki.tar.gz 文件放到与 Dockerfile 文件同级的目录下，执行如下命令构建镜像：

docker build --tag harbor.inner.com/ops/confluence:6.15.10 -f Dockerfile .

推送镜像到内部仓库。

docker push harbor.inner.com/ops/confluence:6.15.10 -f Dockerfile .

#### 2. 创建命名空间 ####

上文中创建 MySQL 服务时已经创建了 ns-wiki 命名空间，此处不再创建。

#### 3. 创建 PV ####

创建如下目录用于存储 confluence 数据：

mkdir -p /opt/ops_ceph_data/confluence_data

将备份的原 confluence 服务的数据目录文件 confluencedata.tar.gz 解压到该目录下，并修改数据库连接地址。

创建用于持久化存储 confluence 数据的 pv，yaml 文件内容如下：

---
    kind: StorageClass
    apiVersion: storage.k8s.io/v1
    metadata:
      name: ceph-wiki-storage
    provisioner: kubernetes.io/no-provisioner
    volumeBindingMode: WaitForFirstConsumer
    
    ---
    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: ceph-wiki-pv
    spec:
      accessModes:
      - ReadWriteOnce
      capacity:
        storage: 500Gi
      local:
        path: /opt/ops_ceph_data/confluence_data/confluencedata
      nodeAffinity:
        required:
          nodeSelectorTerms:
          - matchExpressions:
            - key: confluence-app
              operator: In
              values:
              - "true"
      persistentVolumeReclaimPolicy: Retain
      storageClassName: ceph-wiki-storage
    ---
    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: ceph-wiki-pvc
      namespace: ns-wiki
    spec:
      accessModes:
        - ReadWriteOnce
      storageClassName: ceph-wiki-storage
      resources:
        requests:
          storage: 500Gi

在 k8s 的 node 节点上创建用于绑定 pv 的label：

for i in 1 2 3 4 5
    do
    	kubectl label nodes k8s-node${i} confluence-app=true
    done

#### 4. 创建 Service ####

创建用于映射 confluence 服务端口的 Service，yaml 文件内容如下：

---
    kind: Service
    apiVersion: v1
    metadata:
      labels:
        app: wiki
      name: wiki-port
      namespace: ns-wiki
    spec:
      type: NodePort
      ports:
      - port: 8090
        protocol: TCP
        targetPort: 8090
        nodePort: 32090
      selector:
        app: wiki

#### 5. 创建 Deployment ####

创建 confluence 的 Pod，yaml 文件内容如下：

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: wiki
      labels:
        app: wiki
      namespace: ns-wiki
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: wiki
      template:
        metadata:
          name: wiki
          labels:
            app: wiki
        spec:
          restartPolicy: Always
          containers:
          - name: wiki
            image: harbor.inner.com/ops/confluence:6.15.10
            imagePullPolicy: Always
            volumeMounts:
                - name: wiki-data
                  mountPath: /opt/confluencedata
                - name: date-conf
                  mountPath: /etc/localtime
          imagePullSecrets:
          - name: harbor-secret
          volumes:
          - name: wiki-data
            persistentVolumeClaim:
              claimName: ceph-wiki-pvc
          - name: date-conf
            hostPath:
              path: /usr/share/zoneinfo/Asia/Shanghai

[https_edu.csdn.net_course_detail_32506]: https://edu.csdn.net/course/detail/32506
[https_blog.csdn.net_xzk9381_category_10895812.html]: https://blog.csdn.net/xzk9381/category_10895812.html
[https_blog.csdn.net_xzk9381_article_details_109570960]: https://blog.csdn.net/xzk9381/article/details/109570960