k8s搭建gitlab

桃扇骨 2022-12-04 07:56 387阅读 0赞

`Gitlab`官方提供了 Helm 的方式在 Kubernetes 集群中来快速安装，但是在使用的过程中发现 Helm 提供的 Chart 包中有很多其他额外的配置，所以我们这里使用自定义的方式来安装，也就是自己来定义一些资源清单文件。

`Gitlab`主要涉及到3个应用：Redis、Postgresql、Gitlab 核心程序，实际上我们只要将这3个应用分别启动起来，然后加上对应的配置就可以很方便的安装 Gitlab 了，我们这里选择使用的镜像不是官方的，而是 Gitlab 容器化中使用非常多的一个第三方镜像：`sameersbn/gitlab`，基本上和官方保持同步更新，地址：[http://www.damagehead.com/docker-gitlab/][http_www.damagehead.com_docker-gitlab]

如果我们已经有可使用的 Redis 或 Postgresql 服务的话，那么直接配置在 Gitlab 环境变量中即可，如果没有的话就单独部署。

创建一个用于存储密码的secret文件:

创建username和password文件:

$ echo -n "admin" > ./username
    $ echo -n "1f2d1e2e67df" > ./password

用kubectl生成secret对象:

$ kubectl create secret generic db-user-pass --from-file=./username --from-file=./password
    secret "db-user-pass" created

创建PVC和storageclass做持久化:

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: gitlab-redis-pvc
      namespace: kube-ops
      annotations:
        volume.beta.kubernetes.io/storage-class: "gitlab-storageclass"
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        requests:
          storage: 1Gi

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

部署需要的 Redis 服务，对应的资源清单文件如下：(gitlab-redis.yaml)

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: apps/v1beta1
    kind: Deployment
    metadata:
      name: redis
      namespace: kube-ops
      labels:
        name: redis
    spec:
      template:
        metadata:
          name: redis
          labels:
            name: redis
        spec:
          containers:
          - name: redis
            image: sameersbn/redis
            imagePullPolicy: IfNotPresent
            ports:
            - name: redis
              containerPort: 6379
            volumeMounts:
            - mountPath: /var/lib/redis
              name: data
            livenessProbe:
              exec:
                command:
                - redis-cli
                - ping
              initialDelaySeconds: 30
              timeoutSeconds: 5
            readinessProbe:
              exec:
                command:
                - redis-cli
                - ping
              initialDelaySeconds: 5
              timeoutSeconds: 1
          volumes:
          - name: data
            persistentVolumeClaim:
              claimName: gitlab-redis-pvc
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: redis
      namespace: kube-ops
      labels:
        name: redis
    spec:
      ports:
        - name: redis
          port: 6379
          targetPort: redis
      selector:
        name: redis

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

vim gitlab-postgresql-pvc.yaml:

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: gitlab-postgresql-pvc
      namespace: kube-ops
      annotations:
        volume.beta.kubernetes.io/storage-class: "gitlab-storageclass"
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        requests:
          storage: 1Gi

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

然后是数据库 Postgresql，对应的资源清单文件如下：(gitlab-postgresql.yaml)

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: apps/v1beta1
    kind: Deployment
    metadata:
      name: postgresql
      namespace: kube-ops
      labels:
        name: postgresql
    spec:
      template:
        metadata:
          name: postgresql
          labels:
            name: postgresql
        spec:
          containers:
          - name: postgresql
            image: sameersbn/postgresql
            imagePullPolicy: IfNotPresent
            env:
            - name: DB_USER
              value: gitlab
            - name: DB_PASS
              value: passw0rd
            - name: DB_NAME
              value: gitlab_production
            - name: DB_EXTENSION
              value: pg_trgm
            ports:
            - name: postgres
              containerPort: 5432
            volumeMounts:
            - mountPath: /var/lib/postgresql
              name: data
            livenessProbe:
              exec:
                command:
                - pg_isready
                - -h
                - localhost
                - -U
                - postgres
              initialDelaySeconds: 30
              timeoutSeconds: 5
            readinessProbe:
              exec:
                command:
                - pg_isready
                - -h
                - localhost
                - -U
                - postgres
              initialDelaySeconds: 5
              timeoutSeconds: 1
          volumes:
          - name: data
            persistentVolumeClaim:
              claimName: gitlab-postgresql-pvc
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: postgresql
      namespace: kube-ops
      labels:
        name: postgresql
    spec:
      ports:
        - name: postgres
          port: 5432
          targetPort: postgres
      selector:
        name: postgresql

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

vim gitlab-pvc.yaml

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: gitlab-pvc
      namespace: kube-ops
      annotations:
        volume.beta.kubernetes.io/storage-class: "gitlab-storageclass"
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        requests:
          storage: 1Gi

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

然后就是我们最核心的 Gitlab 的应用，对应的资源清单文件如下：(gitlab.yaml)

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

apiVersion: apps/v1beta1
    kind: Deployment
    metadata:
      name: gitlab
      namespace: kube-ops
      labels:
        name: gitlab
    spec:
      template:
        metadata:
          name: gitlab
          labels:
            name: gitlab
        spec:
          containers:
          - name: gitlab
            image: sameersbn/gitlab:12.1.6
            imagePullPolicy: IfNotPresent
            env:
            - name: TZ
              value: Asia/Shanghai
            - name: GITLAB_TIMEZONE
              value: Beijing
            - name: GITLAB_SECRETS_DB_KEY_BASE
              value: long-and-random-alpha-numeric-string
            - name: GITLAB_SECRETS_SECRET_KEY_BASE
              value: long-and-random-alpha-numeric-string
            - name: GITLAB_SECRETS_OTP_KEY_BASE
              value: long-and-random-alpha-numeric-string
            - name: GITLAB_ROOT_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: git-user-pass
                  key: password
              # value: admin321
            - name: GITLAB_ROOT_EMAIL
              value: 1369472116@qq.com
            - name: GITLAB_HOST
              value: gitlab.fuyuteng.com
            - name: GITLAB_PORT
              value: "80"
            - name: GITLAB_SSH_PORT
              value: "30022"
            - name: GITLAB_NOTIFY_ON_BROKEN_BUILDS
              value: "true"
            - name: GITLAB_NOTIFY_PUSHER
              value: "false"
            - name: GITLAB_BACKUP_SCHEDULE
              value: daily
            - name: GITLAB_BACKUP_TIME
              value: 01:00
            - name: DB_TYPE
              value: postgres
            - name: DB_HOST
              value: postgresql
            - name: DB_PORT
              value: "5432"
            - name: DB_USER
              value: gitlab
            - name: DB_PASS
              value: passw0rd
            - name: DB_NAME
              value: gitlab_production
            - name: REDIS_HOST
              value: redis
            - name: REDIS_PORT
              value: "6379"
            ports:
            - name: http
              containerPort: 80
            - name: ssh
              containerPort: 22
            volumeMounts:
            - mountPath: /home/git/data
              name: data
            livenessProbe:
              httpGet:
                path: /
                port: 80
              initialDelaySeconds: 180
              timeoutSeconds: 5
            readinessProbe:
              httpGet:
                path: /
                port: 80
              initialDelaySeconds: 5
              timeoutSeconds: 1
          volumes:
          - name: data
            persistentVolumeClaim:
              claimName: gitlab-pvc
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: gitlab
      namespace: kube-ops
      labels:
        name: gitlab
    spec:
      ports:
        - name: http
          port: 80
          targetPort: http
        - name: ssh
          port: 22
          targetPort: ssh
          nodePort: 30022
      type: NodePort
      selector:
        name: gitlab
    
    ---
    apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      name: gitlab
      namespace: kube-ops
      annotations:
        kubernetes.io/ingress.class: traefik
    spec:
      rules:
      - host: gitlab.fuyuteng.com
        http:
          paths:
          - backend:
              serviceName: gitlab
              servicePort: http

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

> 我们这里应用数据都做数据持久化，还有敏感数据用了secret引入到环境变量,比如添加 PV/PVC 或者 StorageClass。

要注意的是其中 Redis 和 Postgresql 相关的环境变量配置，另外，我们这里添加了一个 Ingress 对象，来为我们的 Gitlab 配置一个域名`git.qikqiak.com`，这样应用部署完成后，我们就可以通过该域名来访问了，然后直接部署即可：

$ kubectl create -f gitlab-redis.yaml gitlab-postgresql.yaml gitlab.yaml

创建完成后，查看 Pod 的部署状态：

$ kubectl get pods -n kube-ops
    NAME                                           READY     STATUS    RESTARTS   AGE
    gitlab-7d855554cb-twh7c                        1/1       Running   0          10m
    postgresql-8566bb959c-2tnvr                    1/1       Running   0          17h
    redis-8446f57bdf-4v62p                         1/1       Running   0          17h

可以看到都已经部署成功了，然后我们可以通过 Ingress 中定义的域名`git.qikqiak.com`(需要做 DNS 解析或者在本地 /etc/hosts 中添加映射)来访问 Portal：

![gitlab portal][]gitlab portal

使用用户名 root，和部署的时候指定的超级用户密码`GITLAB_ROOT_PASSWORD=admin321`即可登录进入到首页：

![gitlab homepage][]gitlab homepage

Gitlab 运行后，我们可以注册为新用户并创建一个项目，还可以做很多的其他系统设置，比如设置语言、设置应用风格样式等等。

点击`Create a project`创建一个新的项目，和之前 Github 使用上没有多大的差别：

![create gitlab project][]create gitlab project

创建完成后，我们可以添加本地用户的一个`SSH-KEY`，这样我们就可以通过 SSH 来拉取或者推送代码了。SSH 公钥通常包含在`~/.ssh/id_rsa.pub` 文件中，并以`ssh-rsa`开头。如果没有的话可以使用`ssh-keygen`命令来生成，`id_rsa.pub`里面的内容就是我们需要的 SSH 公钥，然后添加到 Gitlab 中。

由于平时使用的 ssh 默认是 22 端口，现在如果用默认的 22 端口去连接，是没办法和 Gitlab 容器中的 22 端口进行映射的，因为我们只是通过 Service 的 22 端口进行了映射，要想通过节点去进行 ssh 链接就需要在节点上一个端口和容器内部的22端口进行绑定，所以这里我们可以通过 NodePort 去映射 Gitlab 容器内部的22端口，比如我们将环境变量设置为`GITLAB_SSH_PORT=30022`，将 Gitlab 的 Service 也设置为 NodePort 类型：

apiVersion: v1
    kind: Service
    metadata:
      name: gitlab
      namespace: kube-ops
      labels:
        name: gitlab
    spec:
      ports:
        - name: http
          port: 80
          targetPort: http
        - name: ssh
          port: 22
          targetPort: ssh
          nodePort: 30022
      type: NodePort
      selector:
        name: gitlab

注意上面 ssh 对应的 nodePort 端口设置为 30022，这样就不会随机生成了，重新更新下 Deployment 和 Service，更新完成后，现在我们在项目上面 Clone 的时候使用 ssh 就会带上端口号了：

![gitlab ssh][]gitlab ssh

现在就可以使用`Clone with SSH`的地址了，由于上面我们配置了 SSH 公钥，所以就可以直接访问上面的仓库了：

$ git clone ssh://git@git.qikqiak.com:30022/root/gitlab-demo.git
    Cloning into 'gitlab-demo'...
    warning: You appear to have cloned an empty repository.
    Checking connectivity... done.

然后随便在该项目下面添加一些资源：

$ echo "# hello world" >  README.md
    $ git add .
    $ git commit -m 'hello world'
    [master (root-commit) 63de7cb] hello world
     1 file changed, 1 insertion(+)
     create mode 100644 README.md
    $ git push origin master
    Counting objects: 3, done.
    Writing objects: 100% (3/3), 224 bytes | 0 bytes/s, done.
    Total 3 (delta 0), reused 0 (delta 0)
    To ssh://git@git.qikqiak.com:30022/root/gitlab-demo.git
     * [new branch]      master -> master

然后刷新浏览器，就可以看到刚刚创建的 Git 仓库中多了一个 README.md 的文件：

![git commit][]

[http_www.damagehead.com_docker-gitlab]: http://www.damagehead.com/docker-gitlab/
[aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]: /images/20221123/56dca38246184204843b60839d83b930.png
[gitlab portal]: /images/20221123/4b0ce1d4b3d04ae598222234996429af.png
[gitlab homepage]: /images/20221123/902bd522b8f846ee81cdb8443d0429f2.png
[create gitlab project]: /images/20221123/240b7e9369e5440ea22051780d06ae4c.png
[gitlab ssh]: /images/20221123/df2dacae1c784a2ab7e73b8888a33eea.png
[git commit]: /images/20221123/8fac3a51aa744cc4bab97c580fe9c451.png

发表评论取消回复

表情：

评论列表（有 0 条评论，387人围观）

还没有评论，来说两句吧...

相关阅读

相关 K8S 集群搭建

1、搭建清单 2台linux服务器（一个master节点，一个node节点），建议搭3台（一个master，两个node）我使用的是腾讯云，节点与节点使用公网I

傷城~/ 2024年02月18日 10:15/ 0 赞/ 127 阅读

相关单机K8s搭建

单机版K8s搭建，使用的是`docker + kubectl + minikube`三部分组合而成。对于个人来说，搭建一个K8s环境用来深入学习和了解K8s还是有

以你之姓@/ 2023年10月02日 13:10/ 0 赞/ 8 阅读

相关从零开始搭建K8S--搭建K8S Ingress

Ingress是个什么鬼，网上资料很多（推荐[官方][Link 1]），大家自行研究。简单来讲，就是一个负载均衡的玩意，其主要用来解决使用NodePort暴露Service的端

骑猪看日落/ 2023年03月01日 09:57/ 0 赞/ 5 阅读

相关基于kubeadm搭建K8S

1 安装说明 1.1 版本 centos 7 docker 1.19.13 k8s 1.18 1.2 硬件要求 2GB或更多RAM，2个CPU或更多CP

亦凉/ 2022年12月19日 08:44/ 0 赞/ 229 阅读

相关 k8s搭建gitlab

`Gitlab`官方提供了 Helm 的方式在 Kubernetes 集群中来快速安装，但是在使用的过程中发现 Helm 提供的 Chart 包中有很多其他额外的配置，所以我们

桃扇骨/ 2022年12月04日 07:56/ 0 赞/ 388 阅读

相关 K8s部署gitlab/gitlab-ce

------------------------定义代理服务------------------------- apiVersion: v1 kind:

╰+哭是因爲堅強的太久メ/ 2022年12月03日 05:11/ 0 赞/ 511 阅读

相关 k8s-ingress-nginx搭建

首先区分开ingress和ingress-controller 前者个人理解是一种集群中服务之间访问控制策略后者是client访问集群时得一种方式如下图思维导图（部

红太狼/ 2022年10月16日 06:12/ 0 赞/ 257 阅读

相关 k8s--kubeadm 搭建k8s

一、Kubernetes概述 1.1 Kubernetes是什么 Kubernetes是Google在2014年开源的一个容器集群管理系统，Kubernetes简称

我会带着你远行/ 2022年08月30日 04:10/ 0 赞/ 373 阅读

相关 [K8S] Zabbix 搭建

什么？还没有搭建k8s，那赶紧看看 [\[K8S\] 认证集群搭建][K8S_] 吧容器这么火，我也玩玩，搭个zabbix测试下 1、首先上传 zabbix 相关镜

女爷i/ 2022年05月16日 09:59/ 0 赞/ 281 阅读

相关 K8s环境搭建

K8s环境搭建实验环境：三台centos7.5 172.26.0.10 master 172.26.0.12 node1

淡淡的烟草味﹌/ 2022年01月16日 12:21/ 0 赞/ 446 阅读