Ceph（v13.2.5 mimic稳定版）分布式存储部署

Love The Way You Lie 2022-01-15 13:39 322阅读 0赞

# 一、ceph简介 #

![Ceph（v13.2.5 mimic稳定版）分布式存储部署][Ceph_v13.2.5 mimic]

## 1. 功能特性 ##

ceph提供了对象存储（RADOSGW）、块存储（RBD）和文件存储（Ceph FS）三种功能：  
RADOSGW：基于LIBRADOS之上，提供当前流行的RESTful协议的网关，并且兼容S3和Swift接口，作为对象存储，可以对接网盘类应用以及HLS流媒体应用等。  
RBD：也基于LIBRADOS之上，通过LIBRBD创建一个块设备，通过QEMU/KVM附加到VM上，作为传统的块设备来用。目前OpenStack、CloudStack等都是采用这种方式来为VM提供块设备，同时也支持快照、COW（Copy On Write）等功能。  
Ceph FS： 基于RADOS来实现分布式的文件系统，引入了MDS（Metadata Server），主要为兼容POSIX文件系统提供元数据。一般都是当做文件系统来挂载。

## 2. 核心组件 ##

Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。  
Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。  
Monitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。  
MDSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令。

## 3. 其他概念 ##

RADOS  
CRUSH  
journal

# 二、集群规划 #

系统类型：CentOS7.5  
cehp版本：mimic

<table> 
 <thead> 
  <tr> 
   <th>主机名</th> 
   <th>IP地址</th> 
   <th>角色</th> 
   <th>数据盘</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ceph-node1</td> 
   <td>172.16.1.31</td> 
   <td>mon、osd、deploy</td> 
   <td>/dev/sdb</td> 
  </tr> 
  <tr> 
   <td>ceph-node2</td> 
   <td>172.16.1.32</td> 
   <td>mon、osd</td> 
   <td>/dev/sdb</td> 
  </tr> 
  <tr> 
   <td>ceph-node3</td> 
   <td>172.16.1.33</td> 
   <td>mon、osd</td> 
   <td>/dev/sdb</td> 
  </tr> 
 </tbody> 
</table>

# 三、安装 #

## 1．预检 ##

host解析  
时间同步  
ssh免密登录，deploy节点需要ssh免密登录到所有node节点  
关闭防火墙  
关闭selinux

## 2．部署 ##

### （1）所有节点配置yum源 ###

[root@ceph-node1 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    [root@ceph-node1 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo  
    
    [root@ceph-node1 ~]# cat << EOF > /etc/yum.repos.d/ceph.repo
    [Ceph]
    name=Ceph packages for $basearch
    baseurl=http://download.ceph.com/rpm-mimic/el7/$basearch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1
    [Ceph-noarch]
    name=Ceph noarch packages
    baseurl=http://download.ceph.com/rpm-mimic/el7/noarch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1
    [ceph-source]
    name=Ceph source packages
    baseurl=http://download.ceph.com/rpm-mimic/el7/SRPMS
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1
    EOF

### （2）deploy节点安装ceph-deploy并初始化集群 ###

\#在node1安装ceph-deploy工具

[root@ceph-node1 ~]# yum -y install ceph-deploy
    [root@ceph-node1 ~]# ceph-deploy --version
    2.0.1

\#配置config文件，指定ssh用户

[root@ceph-node1 ~]# cat .ssh/config 
    Host node1
       Hostname ceph-node1
       User root
    Host node2
       Hostname ceph-node2
       User root
    Host node3
       Hostname ceph-node3
       User root
    [root@ceph-node1 ~]# chmod 600 .ssh/config 
    [root@ceph-node1 ~]# systemctl restart sshd

\#在三个节点安装ceph  
`[root@ceph-node1 ~]# ceph-deploy install --release mimic ceph-node1 ceph-node2 ceph-node3`  
\#创建目录，用于保存执行ceph-deploy时产生的文件  
`[root@ceph-node1 ~]# mkdir /etc/ceph && cd /etc/ceph`  
\#初始化集群  
`[root@ceph-node1 ceph]# ceph-deploy new ceph-node1 ceph-node2 ceph-node3`  
\#修改配置文件

[root@ceph-node1 ceph]# cat ceph.conf 
    [global]
    fsid = aa6f450a-613a-435d-ace3-4e1a4c8d231a
    mon_initial_members = ceph-node1, ceph-node2, ceph-node3
    mon_host = 172.16.1.31,172.16.1.32,172.16.1.33
    auth_cluster_required = cephx
    auth_service_required = cephx
    auth_client_required = cephx
    public network = 172.16.1.0/24  #新添加

配置含义：

fsid：文件系统id
    mon_initial_members：监视器主机名
    mon_host：监视器IP地址
    cephx：表示开启认证
    public network：指定public网络，参看ceph网络
    #参考：http://docs.ceph.org.cn/rados/configuration/network-config-ref/

\#初始化mon  
`[root@ceph-node1 ceph]# ceph-deploy mon create-initial`  
\#拷贝配置文件及admin密钥到各ceph节点  
`[root@ceph-node1 ceph]# ceph-deploy admin ceph-node1 ceph-node2 ceph-node3`  
\#创建ceph管理进程服务  
`[root@ceph-node1 ceph]# ceph-deploy mgr create ceph-node1 ceph-node2 ceph-node3`  
\#查看集群状态

[root@ceph-node1 ceph]# ceph -s
      cluster:
        id:     aa6f450a-613a-435d-ace3-4e1a4c8d231a
        health: HEALTH_OK
    
      services:
        mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3
        mgr: ceph-node1(active), standbys: ceph-node2, ceph-node3
        osd: 0 osds: 0 up, 0 in
    
      data:
        pools:   0 pools, 0 pgs
        objects: 0  objects, 0 B
        usage:   0 B used, 0 B / 0 B avail
        pgs:

\#创建osd

#注意：如果磁盘已存在分区需要执行zap命令，删除分区和磁盘内容，然后再执行create。
    [root@ceph-node1 ceph]# ceph-deploy disk zap ceph-node1 /dev/sdb
    [root@ceph-node1 ceph]# ceph-deploy disk zap ceph-node2 /dev/sdb
    [root@ceph-node1 ceph]# ceph-deploy disk zap ceph-node3 /dev/sdb
    [root@ceph-node1 ceph]# ceph-deploy osd create --data /dev/sdb ceph-node1
    [root@ceph-node1 ceph]# ceph-deploy osd create --data /dev/sdb ceph-node2
    [root@ceph-node1 ceph]# ceph-deploy osd create --data /dev/sdb ceph-node3

\#再次查看集群状态

[root@ceph-node1 ceph]# ceph -s
      cluster:
        id:     aa6f450a-613a-435d-ace3-4e1a4c8d231a
        health: HEALTH_OK
    
      services:
        mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3
        mgr: ceph-node1(active), standbys: ceph-node2, ceph-node3
        osd: 3 osds: 3 up, 3 in
    
      data:
        pools:   0 pools, 0 pgs
        objects: 0  objects, 0 B
        usage:   3.0 GiB used, 57 GiB / 60 GiB avail
    pgs:

\#启用dashboard  
`[root@ceph-node1 ceph]# ceph mgr module enable dashboard`  
\#为dashboard生成自签名证书，使用https访问

[root@ceph-node1 ceph]# ceph dashboard create-self-signed-cert
    Self-signed certificate created

\#为dashboard绑定IP和端口

[root@ceph-node1 ceph]# ceph config set mgr mgr/dashboard/server_addr 172.16.1.31
    [root@ceph-node1 ceph]# ceph config set mgr mgr/dashboard/server_port 7000

\#查看服务

[root@ceph-node1 ceph]# ceph mgr services
    {
        "dashboard": "https://172.16.1.31:7000/"
    }

\#更新dashboard账号密码  
`ceph dashboard set-login-credentials admin admin`  
\#登录dashboard  
![Ceph（v13.2.5 mimic稳定版）分布式存储部署][Ceph_v13.2.5 mimic 1]

### （3）取消部署ceph ###

如果部署失败，可以执行如下命令清除各节点上的软件及部署时生成的文件。

ceph-deploy purge {ceph-node}
    ceph-deploy purgedata {ceph-node}
    ceph-deploy forgetkeys

# 四、 ceph常用命令 #

## 1、集群监控 ##

#检查集群健康状况，正常返回HEALTH_OK
    ceph health
    如果配置文件或密钥不在默认路径，需要指定：
    ceph -c /path/to/conf -k /path/to/keyring health
    #检查集群状态，返回集群健康状态、服务状态以及数据状态
    ceph status 或者 ceph –s
    #检查集群的使用情况，返回集群整体使用情况和各个存储池的使用情况
    ceph df
    #检查OSD状态
    ceph osd stat 或者 ceph osd dump 或者 ceph osd tree
    #检查监视器状态
    ceph mon stat 或者 ceph mon dump
    #检查MDS状态
    ceph mds stat 或者 ceph mds dump

## 2、存储池 ##

#列出存储池
    ceph osd lspools
    #创建存储池
    ##副本类型
    ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] [crush-ruleset-name] [expected-num-objects]
    ##纠删类型(类似于RAID5)
    ceph osd pool create {pool-name} {pg-num} {pgp-num} erasure [erasure-code-profile] [crush-ruleset-name] [expected_num_objects]
    ##必需参数：
    pool-name 池名称
    pg-num 存储池拥有的归置组总数
    少于 5 个 OSD 时可把 pg_num 设置为 128
    OSD 数量在 5 到 10 个时，可把 pg_num 设置为 512
    OSD 数量在 10 到 50 个时，可把 pg_num 设置为 4096
    pgp-num 用于归置的归置组总数，一般等于归置组总数
    #设置存储池配额
    ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]
    #删除存储池
    ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]
    #重命名存储池
    ceph osd pool rename {current-pool-name} {new-pool-name}
    #查看存储池统计信息
    rados df

## 3、用户管理 ##

#罗列用户
    ceph auth list
    #获取用户信息，包括用户密钥、能力（用户的权限）
    ceph auth get {TYPE.ID}
    #新增用户
    ##直接添加用户并指定能力
    ceph auth add client.john mon 'allow r' osd 'allow rw pool=liverpool'
    ##常用的添加用户并指定能力，会以标准格式返回用户名称和key，如果用户已存在，会直接返回用户名和key
    ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'
    ##在上条命令基础上，将返回保存到文件中
    ceph auth get-or-create client.george mon 'allow r' osd 'allow rw pool=liverpool' -o george.keyring
    ##添加用户并指定能力，只返回key，-o表示将返回保存到文件
    ceph auth get-or-create-key client.ringo mon 'allow r' osd 'allow rw pool=liverpool' -o ringo.key
    #修改用户能力，ceph auth caps会覆盖当前能力，如果新增能力时注意在命令中加上当前能力
    ceph auth caps USERTYPE.USERID {daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]' [{daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]']
    #删除用户，其中 {TYPE} 是 client 、 osd 、 mon 或 mds 之一， {ID} 是用户名或守护进程的 ID
    ceph auth del {TYPE}.{ID}
    #查看用户密钥
    ceph auth print-key {TYPE}.{ID}
    #导入用户
    ceph auth import -i /path/to/keyring

查看更多的命令请参考官方文档：[http://docs.ceph.org.cn/rados/operations/][http_docs.ceph.org.cn_rados_operations]

参考：  
[ceph中文手册][ceph]  
[ceph英文手册(dashboard)][ceph_dashboard]  
[ceph问题解决][ceph 1]

转载于:https://blog.51cto.com/fengjicheng/2401681

[Ceph_v13.2.5 mimic]: https://s1.51cto.com/images/blog/201905/27/36274cf9228b6c67d32f672dfcfde702.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[Ceph_v13.2.5 mimic 1]: https://s1.51cto.com/images/blog/201905/28/97e3c95b983f0612eda3f1187d4ef5af.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[http_docs.ceph.org.cn_rados_operations]: http://docs.ceph.org.cn/rados/operations/
[ceph]: http://docs.ceph.org.cn/rados/configuration/ceph-conf/
[ceph_dashboard]: http://docs.ceph.com/docs/master/mgr/dashboard/#host-name-and-port
[ceph 1]: https://blog.51cto.com/wangzhijian/2159701?source=dra