k8s部署rook ceph

谁借莪１个温暖的怀抱￠ 2023-09-28 19:35 180阅读 0赞

#### **Rook部署Ceph[\#][Link 1]** ####

<table> 
 <thead> 
 <tr> 
 <th style="border-color:#dfdfdf #dfdfdf #cccccc;">Rook版本</th> 
 <th style="border-color:#dfdfdf #dfdfdf #cccccc;">Ceph版本</th> 
 <th style="border-color:#dfdfdf #dfdfdf #cccccc;">K8S版本</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="border-color:#dfe2e5;">Rook Ceph v1.8</td> 
 <td style="border-color:#dfe2e5;">Ceph Pacific v16.2.7 stable</td> 
 <td style="border-color:#dfe2e5;">kubernetes v1.20.4</td> 
 </tr> 
 </tbody> 
</table>

**1 Rook介绍[\#][Link 2]**

Rook是一个自管理的分布式存储编排系统，可以为Kubernetes提供便利的存储解决方案，Rook本身并不提供存储，而是在Kubernetes和存储之间
 提供适配层，简化存储系统的部署和维护工作。目前，主要支持存储系统包括但不限于Ceph(主推)、Cassandra、NFS。
 Rook复用了k8s集群节点用于自动化部署Ceph集群，优点是部署Ceph集群方便，缺点是如果Ceph集群出现故障，很难排查错误，我个人还是倾向于
 使用独立的Ceph集群为k8s提供存储服务。
 
 官网: https://rook.io
 项目地址: https://github.com/rook

**2 Rook架构图[\#][Link 3]**

官方文档: [https://rook.io/docs/rook/v1.8/ceph-storage.html![icon-default.png?t=M666][icon-default.png_t_M666]https://rook.io/docs/rook/v1.8/ceph-storage.html][https_rook.io_docs_rook_v1.8_ceph-storage.html_icon-default.png_t_M666_icon-default.png_t_M666_https_rook.io_docs_rook_v1.8_ceph-storage.html]

![de26ce7c2226aeb7659bf191a6471ce3.png][]

**3 Rook在Kubernetes中部署Ceph[\#][Link 4]**

官方文档: [Ceph Docs][]

(1) 先决条件

1) K8s集群，1.16版本+
 2) K8s至少3个工作节点
 3) 每个工作节点有一块未使用的硬盘
 4) Rook仅支持部署Ceph Nautilus(14.2.22)以上版本
 
 注:
 我这里k8s集群有4个节点，分别是k8s-master1、k8s-master2、k8s-node1、k8s-node2，四个节点各挂载一块20GB的未使用的
 硬盘作为osd提供存储服务。k8s-master2节点需要去污点，允许pod调度，命令如下。
 # kubectl taint node k8s-master2 node-role.kubernetes.io/master-

(2) 部署Ceph集群

1) 下载包并解压
 [root@k8s-master1 ~]# wget https://github.com/rook/rook/archive/refs/tags/v1.8.0.zip
 [root@k8s-master1 ~]# unzip v1.8.0.zip
 [root@k8s-master1 ~]# cd rook-1.8.0/deploy/examples/
 
 2) 部署所用到的镜像如下
 [root@k8s-master1 examples]# cat images.txt
 k8s.gcr.io/sig-storage/csi-attacher:v3.3.0
 k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.3.0
 k8s.gcr.io/sig-storage/csi-provisioner:v3.0.0
 k8s.gcr.io/sig-storage/csi-resizer:v1.3.0
 k8s.gcr.io/sig-storage/csi-snapshotter:v4.2.0
 quay.io/ceph/ceph:v16.2.7
 quay.io/cephcsi/cephcsi:v3.4.0
 quay.io/csiaddons/volumereplication-operator:v0.1.0
 rook/ceph:v1.8.0
 
 注:
 由于以上镜像的镜像源在国外，国内无法下载，前五个镜像源我修改为阿里官方同步国外的镜像源
 (registry.aliyuncs.com/google_containers/<image>:<tag>)，后四个镜像我FQ下
 载后上传到阿里个人账号的镜像仓库下了(registry.cn-hangzhou.aliyuncs.com/rook_image/<image>:<tag>)。
 
 # grep <镜像名> crds.yaml common.yaml operator.yaml cluster.yaml toolbox.yaml dashboard-external-https.yaml

![2952b50873e266ab577cd0c3a6cbf804.png][]

3) 应用yaml文件
 [root@k8s-master1 examples]# kubectl create -f crds.yaml -f common.yaml -f operator.yaml
 
 # 开始部署集群，有些镜像比较大(大于1G)，pod完全启动大概1个小时左右
 [root@k8s-master1 examples]# kubectl create -f cluster.yaml

(3) 部署Rook Ceph 工具

[root@k8s-master1 examples]# kubectl create -f toolbox.yaml

(4) 部署Ceph Dashboard

[root@k8s-master1 examples]# kubectl apply -f dashboard-external-https.yaml
 
 # 获取 dashboard admin密码
 [root@k8s-master1 examples]# kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o \
 jsonpath="{['data']['password']}" | base64 -d
 输出 admin 用户的密码为: *Pfl:f_6FDSLZVO)*-,7

(5) 查看pod、svc

[root@k8s-master1 examples]# kubectl get pod -o wide -n rook-ceph
 [root@k8s-master1 examples]# kubectl get svc -n rook-ceph

![4ec6f002757953b1b69ab4355b54bc3d.png][]

(6) 通过ceph-tool工具pod查看ceph集群状态

[root@k8s-master1 examples]# kubectl exec -it pod/rook-ceph-tools-6979f5784f-84jpw -n rook-ceph -- bash

![803b6aa8793af76873154d8f3a386f88.png][]

**4 通过Ceph Dashboard查看Ceph集群状态[\#][Link 5]**

从svc状态中可以看到dashboard的svc类型为NodePort，对外暴露的端口为30493
 https://<nodeip>:30493/
 <nodeip>为172.16.1.81、82、83、84

(1) 登录界面

![43fbf5a29dff9830597f4347abda5d0d.png][]

(2) 集群状态UI

![ff598a4b4730d3551c1f486e0881fb72.png][]

(3) 主机UI

![8c73236e3eece0a736ff29e7d13c12b1.png][]

(4) pool UI

![4b046554dfec521d0eaa123ba46245ee.png][]

**5 测试[\#][Link 6]**

(1) RBD测试

[root@k8s-master1 examples]# kubectl apply -f csi/rbd/storageclass.yaml # 创建一个名为replicapool的rbd pool
 [root@k8s-master1 examples]# kubectl get sc
 NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
 rook-ceph-block rook-ceph.rbd.csi.ceph.com Delete Immediate true 12m
 
 [root@k8s-master1 examples]# kubectl apply -f mysql.yaml # 在default命名空间下
 [root@k8s-master1 examples]# kubectl apply -f wordpress.yaml # 在default命名空间下
 [root@k8s-master1 examples]# kubectl get pv,pvc -n default
 [root@k8s-master1 examples]# kubectl get pod,svc -n default

(2) CephFS测试

[root@k8s-master1 examples]# kubectl apply -f filesystem.yaml
 [root@k8s-master1 examples]# kubectl apply -f csi/cephfs/storageclass.yaml

**6 总结[\#][Link 7]**

通过rook复用k8s节点部署的ceph集群虽然部署方便，但是由于rook部署ceph时全程自动化且服务全部为pod导致后期维护ceph集群比较困难，我个人
 并不建议在生产环境中使用rook部署ceph集群，生产中应独立部署ceph集群比较方便维护。还有一点是，当你重启k8s节点后，该节点上osd对应的磁盘
 ceph集群会识别不到，这可能是一个bug吧，社区应该后期还会再改进。

--------------------

参考链接：[Rook部署Ceph - 云起时。 - 博客园5.6 Rook部署Ceph 1 Rook介绍 2 Rook架构图 官方文档: https://rook.io/docs/rook/v1.8/ceph-storage.html 3 Rook在Kube![favicon.svg][]https://www.cnblogs.com/LiuChang-blog/p/15706365.html][Rook_Ceph - _ - _5.6 Rook_Ceph 1 Rook_ 2 Rook_ _ https_rook.io_docs_rook_v1.8_ceph-storage.html 3 Rook_Kube_favicon.svg_https_www.cnblogs.com_LiuChang-blog_p_15706365.html]

[Link 1]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html#5.6-rook%E9%83%A8%E7%BD%B2ceph
[Link 2]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html#1-rook%E4%BB%8B%E7%BB%8D
[Link 3]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html#2-rook%E6%9E%B6%E6%9E%84%E5%9B%BE
[icon-default.png_t_M666]: https://csdnimg.cn/release/blog_editor_html/release2.1.7/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=M666
[https_rook.io_docs_rook_v1.8_ceph-storage.html_icon-default.png_t_M666_icon-default.png_t_M666_https_rook.io_docs_rook_v1.8_ceph-storage.html]: https://rook.io/docs/rook/v1.8/ceph-storage.html
[de26ce7c2226aeb7659bf191a6471ce3.png]: https://img-blog.csdnimg.cn/img_convert/de26ce7c2226aeb7659bf191a6471ce3.png
[Link 4]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html#3-rook%E5%9C%A8kubernetes%E4%B8%AD%E9%83%A8%E7%BD%B2ceph
[Ceph Docs]: https://rook.io/docs/rook/v1.8/quickstart.html
[2952b50873e266ab577cd0c3a6cbf804.png]: https://img-blog.csdnimg.cn/img_convert/2952b50873e266ab577cd0c3a6cbf804.png
[4ec6f002757953b1b69ab4355b54bc3d.png]: https://img-blog.csdnimg.cn/img_convert/4ec6f002757953b1b69ab4355b54bc3d.png
[803b6aa8793af76873154d8f3a386f88.png]: https://img-blog.csdnimg.cn/img_convert/803b6aa8793af76873154d8f3a386f88.png
[Link 5]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html#4-%E9%80%9A%E8%BF%87ceph-dashboard%E6%9F%A5%E7%9C%8Bceph%E9%9B%86%E7%BE%A4%E7%8A%B6%E6%80%81
[43fbf5a29dff9830597f4347abda5d0d.png]: https://img-blog.csdnimg.cn/img_convert/43fbf5a29dff9830597f4347abda5d0d.png
[ff598a4b4730d3551c1f486e0881fb72.png]: https://img-blog.csdnimg.cn/img_convert/ff598a4b4730d3551c1f486e0881fb72.png
[8c73236e3eece0a736ff29e7d13c12b1.png]: https://img-blog.csdnimg.cn/img_convert/8c73236e3eece0a736ff29e7d13c12b1.png
[4b046554dfec521d0eaa123ba46245ee.png]: https://img-blog.csdnimg.cn/img_convert/4b046554dfec521d0eaa123ba46245ee.png
[Link 6]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html#5-%E6%B5%8B%E8%AF%95
[Link 7]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html#6-%E6%80%BB%E7%BB%93
[favicon.svg]: https://common.cnblogs.com/favicon.svg
[Rook_Ceph - _ - _5.6 Rook_Ceph 1 Rook_ 2 Rook_ _ https_rook.io_docs_rook_v1.8_ceph-storage.html 3 Rook_Kube_favicon.svg_https_www.cnblogs.com_LiuChang-blog_p_15706365.html]: https://www.cnblogs.com/LiuChang-blog/p/15706365.html