CephFS创建及挂载

快来打我* 2023-10-09 13:02 15阅读 0赞

cephfs创建及挂载  
Ceph 文件系统（ Ceph FS ）是个 POSIX 兼容的文件系统，它使用 Ceph 存储集群来存储数据。Ceph 文件系统要求 Ceph 存储集群内至少有一个 Ceph 元数据服务器。

1、添加MDS，接上篇，这里把ceph01节点作为元数据服务器MDS。

\# ceph-deploy --overwrite-conf mds create ceph1 ceph2 ceph3  
\# netstat -tnlp | grep mds  
tcp 0 0 0.0.0.0:6810 0.0.0.0:\* LISTEN 2070/ceph-mds  
tcp 0 0 0.0.0.0:6811 0.0.0.0:\* LISTEN 2070/ceph-mds

2、创建两个存储池。MDS需要使用两个pool，一个pool用来存储数据，一个pool用来存储元数据。

\# ceph osd pool create fs\_data 2  
\# ceph osd pool create fs\_metadata 2  
\# rados lspools

3、创建Cephfs

\# ceph fs new cephfs fs\_metadata fs\_data  
\# ceph fs ls  
name: cephfs, metadata pool: fs\_metadata, data pools: \[fs\_data \]

4、创建第二组两个存储池。MDS需要使用两个pool，一个pool用来存储数据，一个pool用来存储元数据。

\# ceph osd pool create fs\_data2 2  
\# ceph osd pool create fs\_metadata2 2  
\# rados lspools

5、创建第二组Cephfs

\# ceph fs new cephfs2 fs\_metadata2 fs\_data2  
Error EINVAL: Creation of multiple filesystems is disabled. To enable this experimental feature, use 'ceph fs flag set enable\_multiple true'  
\# ceph fs flag set enable\_multiple true --yes-i-really-mean-it  
\# ceph fs new cephfs2 fs\_metadata2 fs\_data2  
\# ceph fs ls  
name: cephfs, metadata pool: fs\_metadata, data pools: \[fs\_data \]  
name: cephfs2, metadata pool: fs\_metadata2, data pools: \[fs\_data2 \]

\#创建第二个cephfs文件系统，如果创建了第二个cephfs文件系统，还需要设置default的cephfs才可以调用  
ceph fs set\_default cephfs2 \#设置刚才创建的cephfs2文件系统为默认的文件系统

6、查看MDS状态

\# ceph mds stat  
cephfs:1 \{0=ceph2=up:active\} 2 up:standby

\---

\# \# \# 挂载Cephfs

CephFS有不同的挂载方式，挂载cephfs有两种方式，kernel driver和fuse，这里只说第一种。

1、加载rbd内核模块

\# modprobe rbd  
\# lsmod | grep rbd  
rbd 83938 0  
libceph 287066 2 rbd,ceph

2、获取admin key

\# cat ceph.client.admin.keyring  
\[client.admin\]  
key = AQBkbIhd9G2YHBAAS6peV7UtX4TbozHGsUPpoQ==  
caps mds = "allow \*"  
caps mon = "allow \*"  
caps osd = "allow \*"

3、创建挂载点，尝试本地挂载

\# mkdir /cephfs\_test  
\# mount -t ceph ceph1:6789:/ /cephfs\_test -o name=admin,secret=AQBkbIhd9G2YHBAAS6peV7UtX4TbozHGsUPpoQ==  
\# df -hT  
192.168.111.179:6789:/ ceph 123G 0 123G 0% /cephfs\_test

4、如果有多个mon节点，可以挂载多个节点，保证了CephFS的高可用，当有一个节点down的时候不影响数据读写  
\# umount /cephfs\_test  
\# mount -t ceph ceph1,ceph2,ceph3:6789:/ /cephfs\_test -o name=admin,secret=AQBkbIhd9G2YHBAAS6peV7UtX4TbozHGsUPpoQ==  
\# df -hT  
192.168.111.179,192.168.111.180,192.168.111.181:6789:/ ceph 123G 0 123G 0% /cephfs\_test

\# umount /cephfs\_test  
4、删除Cephfs  
\# ceph fs fail cephfs  
\# ceph fs rm cephfs  
\# ceph fs rm cephfs --yes-i-really-mean-it  
5、删除存储池  
ceph osd pool rm fs\_data fs\_data --yes-i-really-really-mean-it  
ceph osd pool rm fs\_metadata fs\_metadata --yes-i-really-really-mean-it

6、删除第二个Cephfs  
\# ceph fs fail cephfs  
\# ceph fs rm cephfs  
\# ceph fs rm cephfs --yes-i-really-mean-it  
7、删除第二组存储池  
ceph osd pool rm fs\_data fs\_data --yes-i-really-really-mean-it  
ceph osd pool rm fs\_metadata fs\_metadata --yes-i-really-really-mean-it

一个mount客户端执行  
\# while true ; do echo \`date\`>>/cephfs\_test/cephfs.txt ; sleep 10 ; done  
另一个客户端执行  
\#tail -f /cephfs\_test/cephfs.txt  
2019年 09月 27日 星期五 15:44:39 CST  
2019年 09月 27日 星期五 15:44:49 CST  
2019年 09月 27日 星期五 15:44:59 CST  
2019年 09月 27日 星期五 15:45:09 CST  
2019年 09月 27日 星期五 15:45:19 CST  
2019年 09月 27日 星期五 15:45:38 CST  
2019年 09月 27日 星期五 15:45:48 CST  
关闭一个ceph节点发现有延迟