k8s (二十二) --- kubernetes Helm详解及使用helm部署redis高可用集群

Love The Way You Lie 2023-03-13 05:15 8阅读 0赞

### kubernetes Helm详解及部署 ###

*  一、Helm
 *  二、Helm安装
 *  三、Helm仓库的使用
 *  四、使用Helm部署redis-ha
 *   *  拉取部署文件
     *  解压
     *  更改变量文件
     *  部署redis高可用集群
     *  测试集群高可用
     *  集群的动态拉伸

# 一、Helm #

Helm是Kubernetes 应用的包管理工具，主要用来管理 Charts，类似Linux系统的yum。

Helm Chart 是用来封装 Kubernetes 原生应用程序的一系列 YAML 文件。可以在你部署应用的时候自定义应用程序的一些 Metadata，以便于应用程序的分发。

对于应用发布者而言，可以通过 Helm 打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。

对于使用者而言，使用 Helm 后不用需要编写复杂的应用部署文件，可以以简单的方式在 Kubernetes 上查找、安装、升级、回滚、卸载应用程序。

Helm当前最新版本 v3.1.2 官网：[https://helm.sh/docs/intro/][https_helm.sh_docs_intro]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70]  
Helm V3 与 V2 最大的区别在于去掉了tiller：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 1]

# 二、Helm安装 #

安装包的下载地址：`https://github.com/helm/helm/releases`，最新版本3.2.1.

下载软件包：`helm-v3.2.1-linux-amd64.tar.gz`

解压：

[root@server1 ~]# tar zxf helm-v3.2.1-linux-amd64.tar.gz 
    [root@server1 ~]# cd linux-amd64/
    [root@server1 linux-amd64]# ls
    helm  LICENSE  README.md
    [root@server1 linux-amd64]# cp helm /usr/local/bin/

使命令自动补齐：

[root@server1 linux-amd64]# echo "source <(helm completion bash)" >> ~/.bashrc
    [root@server1 linux-amd64]# source ~/.bashrc

helm部署完成。

# 三、Helm仓库的使用 #

搜索官方helm hub chart库：

[root@server1 linux-amd64]# helm search hub redis

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 2]Helm 添加第三方 Chart 库：

添加微软库：

[root@server1 linux-amd64]# helm repo add stable http://mirror.azure.cn/kubernetes/charts/
    "stable" has been added to your repositories

添加第三库之后就可以使用以下方式查询：

[root@server1 linux-amd64]# helm search repo redis

注意：加`-l`选项可以查看历史版本  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 3]这里也可以添加阿里云的库，但是不建议，因为阿里云的镜像版本比较老。

删除第三方库：

[root@server1 linux-amd64]# helm repo remove aliyun 
    "aliyun" has been removed from your repositories

# 四、使用Helm部署redis-ha #

## 拉取部署文件 ##

[root@server1 linux-amd64]# helm pull stable/redis-ha
    [root@server1 linux-amd64]# ls
    helm  LICENSE  README.md  redis-ha-4.4.4.tgz

不指定标签时默认拉取最新版本，拉取下来是一个压缩包

## 解压 ##

[root@server1 linux-amd64]# tar zxf redis-ha-4.4.4.tgz -C /root/helm

[root@server1 linux-amd64]# cd
    [root@server1 ~]# cd helm/
    [root@server1 helm]# ls
    redis-ha
    [root@server1 helm]# cd redis-ha/
    [root@server1 redis-ha]# ls
    Chart.yaml  ci  OWNERS  README.md  templates  values.yaml

上述文件中README.md 为帮助文档，目录templates中为模板部署文件，部署文件中的变量都保存在values.yaml文件中，因此我们在部署应用时只需要更改values.yaml文件即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 4]

查看目录结构：

[root@server1 redis-ha]# tree .
    .
    ├── Chart.yaml
    ├── ci
    │   └── haproxy-enabled-values.yaml
    ├── OWNERS
    ├── README.md
    ├── templates
    │   ├── _configs.tpl
    │   ├── _helpers.tpl
    │   ├── NOTES.txt
    │   ├── redis-auth-secret.yaml
    │   ├── redis-ha-announce-service.yaml
    │   ├── redis-ha-configmap.yaml
    │   ├── redis-ha-exporter-script-configmap.yaml
    │   ├── redis-ha-pdb.yaml
    │   ├── redis-haproxy-deployment.yaml
    │   ├── redis-haproxy-serviceaccount.yaml
    │   ├── redis-haproxy-servicemonitor.yaml
    │   ├── redis-haproxy-service.yaml
    │   ├── redis-ha-rolebinding.yaml
    │   ├── redis-ha-role.yaml
    │   ├── redis-ha-serviceaccount.yaml
    │   ├── redis-ha-servicemonitor.yaml
    │   ├── redis-ha-service.yaml
    │   ├── redis-ha-statefulset.yaml
    │   └── tests
    │       ├── test-redis-ha-configmap.yaml
    │       └── test-redis-ha-pod.yaml
    └── values.yaml

## 更改变量文件 ##

[root@server1 redis-ha]# vim values.yaml

![在这里插入图片描述][20200511124201157.png]  
这里需要镜像redis: 5.0.6-alpine，更改镜像路径，我已经下载下来放到了私有仓库。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 5]  
还需要更改副本数，我这里设置的2，即一主一从。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 6]

## 部署redis高可用集群 ##

支持多种安装方式：(helm默认读取~/.kube/config信息连接k8s集群)

$ helm install redis-ha stable/redis-ha	
    $ helm install redis-ha redis-ha-4.4.0.tgz
    $ helm install redis-ha path/redis-ha
    $ helm install redis-ha https://example.com/charts/redis-ha-4.4.0.tgz
    
    $ helm pull stable/redis-ha		//拉取应用到本地
    
    $ helm status redis-ha			//查看状态
    
    $ helm uninstall redis-ha			//卸载
    
    
    注意：以上操作均是在默认的namespace下的示例，其他namespace需要加-n选项

我们这里直接安装：

[root@server1 redis-ha]# kubectl create namespace redis
    namespace/redis created
    [root@server1 redis-ha]# helm install redis-ha . -n redis

其中redis-ha为名称，上述命令表示使用当前目录的部署文件在redis命名空间中创建名为redis-ha的高可用集群。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 7]  
创建后查看：

[root@server1 redis-ha]# kubectl -n redis get all
    NAME                    READY   STATUS    RESTARTS   AGE
    pod/redis-ha-server-0   2/2     Running   0          28s
    pod/redis-ha-server-1   2/2     Running   0          19s
    
    NAME                          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)              AGE
    service/redis-ha              ClusterIP   None             <none>        6379/TCP,26379/TCP   29s
    service/redis-ha-announce-0   ClusterIP   10.105.143.195   <none>        6379/TCP,26379/TCP   29s
    service/redis-ha-announce-1   ClusterIP   10.101.152.37    <none>        6379/TCP,26379/TCP   29s
    
    NAME                               READY   AGE
    statefulset.apps/redis-ha-server   2/2     29s

可以看到创建了两个pod，其中server-0为master，还有两个svc和一个statefulset控制器。

## 测试集群高可用 ##

每个pod中有两个容器redis和sentinel，我们进入redis容器查看：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 8]

[root@server1 redis-ha]# kubectl -n redis exec -it redis-ha-server-0 -c redis -- sh
    /data $ redis-cli
    127.0.0.1:6379> info Replication
    # Replication
    role:master
    connected_slaves:1
    min_slaves_good_slaves:1
    slave0:ip=10.101.152.37,port=6379,state=online,offset=25236,lag=0
    master_replid:4baa1ff233604d357f9a5b2d6b100f90192d309c
    master_replid2:0000000000000000000000000000000000000000
    master_repl_offset:25236
    second_repl_offset:-1
    repl_backlog_active:1
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:1
    repl_backlog_histlen:25236

使用info Replication来差可能主机信息，可以看出`redis-ha-server-0`为master主机。  
执行SHUTDOWN命令来使主机宕机：

127.0.0.1:6379> SHUTDOWN
    command terminated with exit code 137

宕机后控制器会马上帮我们启动一个pod：

[root@server1 redis-ha]# kubectl get pod -n redis 
    NAME                READY   STATUS    RESTARTS   AGE
    redis-ha-server-0   2/2     Running   1          4m57s
    redis-ha-server-1   2/2     Running   0          4m48s

继续进入redis-ha-server-0查看

[root@server1 redis-ha]# kubectl -n redis exec -it redis-ha-server-0 -c redis -- sh
    /data $ redis-cli
    127.0.0.1:6379> info Replication
    # Replication
    role:master
    ...

可以看出redis-ha-server-0还是master，由于pod重建太快以至于主从还没有来得及切换。

我们再次使其宕机：

127.0.0.1:6379> SHUTDOWN
    not connected> command terminated with exit code 137

这时查看pod，就可以发现pod重建的比较慢了：

[root@server1 redis-ha]# kubectl get pod -n redis 
    NAME                READY   STATUS     RESTARTS   AGE
    redis-ha-server-0   1/2     NotReady   1          5m41s
    redis-ha-server-1   2/2     Running    0          5m32s
    [root@server1 redis-ha]# kubectl get pod -n redis 
    NAME                READY   STATUS     RESTARTS   AGE
    redis-ha-server-0   1/2     NotReady   1          5m43s
    redis-ha-server-1   2/2     Running    0          5m34s
    [root@server1 redis-ha]# kubectl get pod -n redis 
    NAME                READY   STATUS             RESTARTS   AGE
    redis-ha-server-0   1/2     CrashLoopBackOff   1          5m54s
    redis-ha-server-1   2/2     Running            0          5m45s
    [root@server1 redis-ha]# kubectl get pod -n redis 
    NAME                READY   STATUS    RESTARTS   AGE
    redis-ha-server-0   2/2     Running   2          6m16s
    redis-ha-server-1   2/2     Running   0          6m7s

等重建好了之后再次查看pod角色：

[root@server1 redis-ha]# kubectl -n redis exec -it redis-ha-server-0 -c redis -- sh
    /data $ redis-cli
    127.0.0.1:6379> info Replication
    # Replication
    role:slave
    master_host:10.101.152.37
    master_port:6379
    ...

可以看出redis-ha-server-0已经变成了从机，而主机的ip为10.101.152.37，这时就实现了主从的切换。

访问master主机：

/data $ nslookup redis-ha.redis.svc.cluster.local			#通过解析查看master主机
    nslookup: can't resolve '(null)': Name does not resolve
    
    Name:      redis-ha.redis.svc.cluster.local
    Address 1: 10.244.1.127 redis-ha-server-0.redis-ha.redis.svc.cluster.local
    Address 2: 10.244.2.109 10-244-2-109.redis-ha-announce-1.redis.svc.cluster.local
    /data $ redis-cli -h redis-ha-announce-1.redis.svc.cluster.local
    redis-ha-announce-1.redis.svc.cluster.local:6379> info Replication
    # Replication
    role:master
    connected_slaves:1
    min_slaves_good_slaves:1
    slave0:ip=10.105.143.195,port=6379,state=online,offset=57996,lag=1
    master_replid:f475aa004c2eb055a0a19b59e52e88cf90b6219d
    master_replid2:564b948de16fb4db8b30a8a57c3d64d447b1252f
    master_repl_offset:57996
    second_repl_offset:7242
    repl_backlog_active:1
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:594
    repl_backlog_histlen:57403
    redis-ha-announce-1.redis.svc.cluster.local:6379>

可以看出redis-ha-server-1变成了master主机，有一个slave主机。

## 集群的动态拉伸 ##

可以直接更改变量文件中的副本数量实现集群的动态拉伸：

[root@server1 redis-ha]# vim values.yaml

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 9]  
将副本数更改为3.

使用upgrade选项更新集群：

[root@server1 redis-ha]# helm -n redis upgrade redis-ha .

更新后查看pod可以看出已经变成了3个：

[root@server1 redis-ha]# kubectl -n redis get pod
    NAME                READY   STATUS    RESTARTS   AGE
    redis-ha-server-0   2/2     Running   2          20m
    redis-ha-server-1   2/2     Running   0          20m
    redis-ha-server-2   0/2     Pending   0          12s

也可以使用以下命令查看更新历史以便回滚：

[root@server1 redis-ha]# helm -n redis history 
    Error: "helm history" requires 1 argument
    
    Usage:  helm history RELEASE_NAME [flags]
    [root@server1 redis-ha]# helm -n redis history redis-ha 
    REVISION	UPDATED                 	STATUS    	CHART         	APP VERSION	DESCRIPTION     
    1       	Sun May 10 23:15:35 2020	superseded	redis-ha-4.4.4	5.0.6      	Install complete
    2       	Sun May 10 23:35:35 2020	deployed  	redis-ha-4.4.4	5.0.6      	Upgrade complete

实验后删除：

[root@server1 redis-ha]# helm uninstall redis-ha -n redis 
    release "redis-ha" uninstalled
    [root@server1 redis-ha]# kubectl -n redis get pod
    No resources found in redis namespace.
    [root@server1 redis-ha]# kubectl delete namespaces redis 
    namespace "redis" deleted

[https_helm.sh_docs_intro]: https://helm.sh/docs/intro/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70]: /images/20230312/da7c1dc75c4a41cf9e511243110d33a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 1]: /images/20230312/0ca3e2f8650b45b5b021ad4d9e8f928a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 2]: /images/20230312/76f5e657f30241e9a9e767cdd753fcf1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 3]: /images/20230312/d510ff8b2d034583b235fe464d3c1171.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 4]: /images/20230312/6a33de86abff4080ad17a90c698ec1b0.png
[20200511124201157.png]: /images/20230312/b3680b0261094ae8ab20330b6c0b7313.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 5]: /images/20230312/b52845fabaaf4bc1b85d6d7b10e6cbca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 6]: /images/20230312/60c14e05480c490fb1b3a61f89331ef4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 7]: /images/20230312/5219fb41cd7a433092e8ee4b46757005.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 8]: /images/20230312/89502a12fd1d45329f0d3d1f6fe22fb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg3NTQ2_size_16_color_FFFFFF_t_70 9]: /images/20230312/9bf1fb2fa07c49b8a7df62521208c876.png