【Distributed】分布式Ceph存储系统之相关应用

﹏ヽ暗。殇╰゛Y 2024-04-06 14:50 77阅读 0赞

#### 文章目录 ####

*  一、创建 CephFS 文件系统 MDS 接口
 *   *  1. 服务端操作
     *   *  1.1 在管理节点创建 mds 服务
         *  1.2 查看各个节点的 mds 服务
         *  1.3 创建存储池，启用 ceph 文件系统
         *  1.4 查看mds状态
         *  1.5 创建用户
     *  2. 客户端操作
     *   *  2.1 客户端要在 public 网络内
         *  2.2 在客户端创建工作目录
         *  2.3 在 ceph 的管理节点给客户端拷贝文件
         *  2.4 在客户端安装 ceph 软件包
         *  2.5 在客户端制作秘钥文件
         *  2.6 客户端挂载
         *   *  方式一：基于内核
             *  方式二：基于 fuse 工具
 *  二、创建 Ceph 块存储系统 RBD 接口
 *   *  1. 创建一个名为 rbd-demo 的专门用于 RBD 的存储池
     *  2. 将存储池转换为 RBD 模式
     *  3. 初始化存储池
     *  4. 创建镜像
     *  5. 镜像管理
     *   *  5.1 查看镜像的详细信息
         *  5.2 修改镜像大小
         *  5.3 删除镜像
     *  6. Linux客户端使用
     *   *  6.1 管理节点操作
         *  6.2 linux客户端操作
     *  7. 快照管理
     *   *  7.1 在客户端写入文件
         *  7.2 在管理节点对镜像创建快照
         *  7.3 列出指定镜像所有快照
         *  7.4 回滚镜像到指定
         *  7.5 限制镜像可创建快照数
         *  7.6 删除快照
         *  7.7 快照分层
         *  7.8 快照展平
     *  8. 镜像的导出导入
     *   *  8.1 导出镜像
         *  8.2 导入镜像
 *  三、创建 Ceph 对象存储系统 RGW 接口
 *   *  1. 对象存储概念
     *  2. 创建 RGW 接口
     *   *  2.1 管理节点创建守护进程
         *  2.2 开启 http+https ，更改监听端口
         *  2.3 创建 RadosGW 账户
         *  2.4 S3 接口访问测试
 *  四、OSD 故障模拟与恢复
 *   *  1. 模拟 OSD 故障
     *  2. 将坏掉的 osd 踢出集群
     *   *  方法一
         *  方法二
     *  3. 把原来坏掉的 osd 修复后重新加入集群

--------------------

## 一、创建 CephFS 文件系统 MDS 接口 ##

### 1. 服务端操作 ###

#### 1.1 在管理节点创建 mds 服务 ####

cd /etc/ceph
    ceph-deploy mds create node01 node02 node03

![在这里插入图片描述][388b42411db7496692217fbb80b07c3a.png_pic_center]

#### 1.2 查看各个节点的 mds 服务 ####

ssh root@node01 systemctl status ceph-mds@node01
    ssh root@node02 systemctl status ceph-mds@node02
    ssh root@node03 systemctl status ceph-mds@node03

![在这里插入图片描述][59087f6965084cf7a7b7876fe2420a7b.png_pic_center]

#### 1.3 创建存储池，启用 ceph 文件系统 ####

ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。此时数据池就类似于文件系统的共享目录。

ceph osd pool create cephfs_data 128					#创建数据Pool
    ceph osd pool create cephfs_metadata 128				#创建元数据Pool

![在这里插入图片描述][ab981e461d774ecc9271559b56f5b967.png_pic_center]

#创建 cephfs，命令格式：ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>
    ceph fs new mycephfs cephfs_metadata cephfs_data		#启用ceph，元数据Pool在前，数据Pool在后
    
    ceph fs ls					#查看cephfs

![在这里插入图片描述][90debf18719841a4b3c03ffc7d5463ce.png_pic_center]

#### 1.4 查看mds状态 ####

一个up，其余两个待命，目前的工作的是node01上的mds服务

ceph -s
    mds: mycephfs:1 {
      
       0=node01=up:active} 2 up:standby
    
    ceph mds stat
    mycephfs:1 {
      
       0=node01=up:active} 2 up:standby

![在这里插入图片描述][229c6e72b0c643829b254c3b7ef646f3.png_pic_center]

#### 1.5 创建用户 ####

语法格式：ceph fs authorize  <fs_name>  client.<client_id>  <path-in-cephfs>  rw

#账户为 client.zhangsan，用户 name 为 zhangsan，zhangsan 对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限
    ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring
    
    # 账户为 client.lisi，用户 name 为 lisi，lisi 对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test 有读写权限
    ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring

![在这里插入图片描述][fdd166a5eaba4b438993d143d6f15ecb.png_pic_center]

### 2. 客户端操作 ###

#### 2.1 客户端要在 public 网络内 ####

#### 2.2 在客户端创建工作目录 ####

mkdir /etc/ceph

![在这里插入图片描述][a27603b6257341108be0eeb12ae4d22a.png_pic_center]

#### 2.3 在 ceph 的管理节点给客户端拷贝文件 ####

#拷贝的文件分别是 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring
    scp ceph.conf zhangsan.keyring lisi.keyring root@client:/etc/ceph

![在这里插入图片描述][e5c3c4ce9cd341f0bf1e1b5237f598b7.png_pic_center]

#### 2.4 在客户端安装 ceph 软件包 ####

cd /opt
    wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
    rpm -ivh ceph-release-1-1.el7.noarch.rpm
    yum install -y ceph

![在这里插入图片描述][865c77f8c04748e88f674717d900e1ef.png_pic_center]

#### 2.5 在客户端制作秘钥文件 ####

cd /etc/ceph
    ceph-authtool -n client.zhangsan -p zhangsan.keyring > zhangsan.key			#把 zhangsan 用户的秘钥导出到 zhangsan.keyl
    ceph-authtool -n client.lisi -p lisi.keyring > lisi.key						#把 lisi 用户的秘钥导出到 lisi.key

![在这里插入图片描述][519a6314221746da97bba40b62120115.png_pic_center]

#### 2.6 客户端挂载 ####

##### 方式一：基于内核 #####

语法格式：
    mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secret=<秘钥>
    mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secretfile=<秘钥文件>

示例一：
    mkdir -p /data/zhangsan
    mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o name=zhangsan,secretfile=/etc/ceph/zhangsan.key
    
    示例二：
    mkdir -p

[388b42411db7496692217fbb80b07c3a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/86670611d5884befbb4ad0b902bf43ea.png
[59087f6965084cf7a7b7876fe2420a7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/952e4de90d6e4995a63c7661605cc26e.png
[ab981e461d774ecc9271559b56f5b967.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ee833619b418482fb47b4540ea4a4adc.png
[90debf18719841a4b3c03ffc7d5463ce.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6795daecfad14865b25a4b81051ea2ba.png
[229c6e72b0c643829b254c3b7ef646f3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b511214c8e624c17a1e498dfd6eeaf67.png
[fdd166a5eaba4b438993d143d6f15ecb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5eebe4abbfa14bd7a15919e0c1687f6d.png
[a27603b6257341108be0eeb12ae4d22a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/88810d2f667c494b8d9bcd22222652ed.png
[e5c3c4ce9cd341f0bf1e1b5237f598b7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9fdcad33767e4e269ed3970f5395e61a.png
[865c77f8c04748e88f674717d900e1ef.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2a19030444bf48bfb46b624fb9020473.png
[519a6314221746da97bba40b62120115.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/e38c26aa54304b17ac12b56d40f1a3ab.png