rbd file input output test

待我称王封你为后i 2022-06-04 05:10 182阅读 0赞

# 目的 #

利用  rbd 文件读写, 对 ceph 集群 io 进行测试
    通过参数调整, 控制 IO 读写速度
    检测 SSD 在日志盘进行读写时候是否会达到瓶颈

## 测试环境 ##

ceph 集群环境参考

rbd client 环境如下

<table> 
 <tbody> 
  <tr> 
   <td>服务器名称</td> 
   <td>ip 地址</td> 
  </tr> 
  <tr> 
   <td>hh-yun-compute-131203.vclound.com</td> 
   <td>10.199.131.203</td> 
  </tr> 
  <tr> 
   <td>hh-yun-compute-131204.vclound.com</td> 
   <td>10.199.131.204</td> 
  </tr> 
  <tr> 
   <td>hh-yun-compute-131205.vclound.com</td> 
   <td>10.199.131.205</td> 
  </tr> 
  <tr> 
   <td>hh-yun-compute-131207.vclound.com</td> 
   <td>10.199.131.207</td> 
  </tr> 
  <tr> 
   <td>hh-yun-compute-131208.vclound.com</td> 
   <td>10.199.131.208</td> 
  </tr> 
 </tbody> 
</table>

# rbd import VS rbd map 测试 #

## 目的 ##

以相同环境测试, 测试一台至多台机器并发执行  rbd import 之间的速度对比

## 单机单文件数据传输测试 ##

### rbd import test ###

创建一个 4GB FILE, 非 dd file
    利用 rbd 命令 import 文件到 ceph cluster
    监控 import 时间, 
    监控 ceph journal disk io
    监控 ceph sata disk io
    监控 ceph cluster io

<table> 
 <tbody> 
  <tr> 
   <td>ID</td> 
   <td>文件大小</td> 
   <td>完成时间</td> 
   <td>ssd journal最大速度</td> 
   <td>单个 osd 最大速度A</td> 
   <td>单个 osd 最大速度B</td> 
   <td>ceph 整体最大速度</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>4GB</td> 
   <td>39s</td> 
   <td>120MB/s</td> 
   <td>50MB/s</td> 
   <td>48MB/s</td> 
   <td>105MB/s</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>4GB</td> 
   <td>41s</td> 
   <td>118MB/s</td> 
   <td>52MB/s</td> 
   <td>52MB/s</td> 
   <td>110MB/s</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>4GB</td> 
   <td>41s</td> 
   <td>106MB/s</td> 
   <td>44MB/s</td> 
   <td>40MB/s</td> 
   <td>106MB/s</td> 
  </tr> 
 </tbody> 
</table>

### rbd map ###

#### 对应操作系统内核版本 ####

由于内存版本问题, CENTOS 7.2 执行 rbd map 时候将会出现下面错误信息

Dec  5 11:48:45 hh-yun-compute-131204 kernel: Key type dns_resolver registered
    Dec  5 11:48:45 hh-yun-compute-131204 kernel: Key type ceph registered
    Dec  5 11:48:45 hh-yun-compute-131204 kernel: libceph: loaded (mon/osd proto 15/24)
    Dec  5 11:48:45 hh-yun-compute-131204 kernel: rbd: loaded (major 252)
    Dec  5 11:48:45 hh-yun-compute-131204 kernel: libceph: mon1 10.199.128.214:6789 feature set mismatch, my 102b84a842a42 < server's 40102b84a842a42, missing 400000000000000
    Dec  5 11:48:45 hh-yun-compute-131204 kernel: libceph: mon1 10.199.128.214:6789 missing required protocol features

#### 解决方法 ####

升级至少 CENTOS 7.3 以上

#### rbd feature disable 问题 ####

[root@hh-yun-compute-131203 ~]# rbd map -p data --image rbdtestfile
    rbd: sysfs write failed
    RBD image feature set mismatch. Try disabling features unsupported by the kernel with "rbd feature disable".
    In some cases useful info is found in syslog - try "dmesg | tail".
    rbd: map failed: (6) No such device or address

#### 解决方法 ####

查询

[root@hh-yun-compute-131203 ~]# rbd info data/rbdtestfile
    rbd image 'rbdtestfile':
            size 10240 MB in 2560 objects
            order 22 (4096 kB objects)
            block_name_prefix: rbd_data.c28e32ae8944a
            format: 2
            features: layering, exclusive-lock, object-map, fast-diff, deep-flatten       <- 关闭多余的 feature
            flags:
            create_timestamp: Tue Dec  5 11:22:27 2017

修改方法

[root@hh-yun-compute-131203 ~]# rbd feature disable data/rbdtestfile exclusive-lock object-map fast-diff deep-flatten

修改后查询

[root@hh-yun-compute-131203 ~]# rbd info data/rbdtestfile
    rbd image 'rbdtestfile':
            size 10240 MB in 2560 objects
            order 22 (4096 kB objects)
            block_name_prefix: rbd_data.c28e32ae8944a
            format: 2
            features: layering
            flags:
            create_timestamp: Tue Dec  5 11:22:27 2017

可选命令指定 feature

[root@hh-yun-compute-131203 ~]# rbd create --pool data --image newrbdfile --image-format 2 --image-feature layering  --size 10G
    [root@hh-yun-compute-131203 ~]# rbd info data/newrbdfile
    rbd image 'newrbdfile':
            size 10240 MB in 2560 objects
            order 22 (4096 kB objects)
            block_name_prefix: rbd_data.b59b22ae8944a
            format: 2
            features: layering
            flags:
            create_timestamp: Tue Dec  5 15:04:11 2017

永久修改方法

[参考 feature 特性与编码][feature]

修改配置 /etc/ceph/ceph.conf

[osd]
      rbd_default_features = 1

> 注意, 修改的是 client 端, 不是 server 端

#### 执行 rbd map ####

[root@hh-yun-compute-131203 ~]# rbd map data/newrbdfile
    /dev/rbd0
    [root@hh-yun-compute-131203 ~]# ls -lh /dev/rbd0
    brw-rw---- 1 root disk 252, 0 12月  5 16:13 /dev/rbd0        <- 新增的 rbd 设备文件

### rbd map test ###

创建一个 4GB FILE, 非 dd file
    利用 rbd map 命令把  rbd file 当做本地磁盘进行 IO 读写
    监控 文件写入 时间, 
    监控 ceph journal disk io
    监控 ceph sata disk io
    监控 ceph cluster io

格式化

[root@hh-yun-compute-131203 ~]# mkfs -t xfs /dev/rbd0
    meta-data=/dev/rbd0              isize=512    agcount=17, agsize=162816 blks
             =                       sectsz=512   attr=2, projid32bit=1
             =                       crc=1        finobt=0, sparse=0
    data     =                       bsize=4096   blocks=2621440, imaxpct=25
             =                       sunit=1024   swidth=1024 blks
    naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
    log      =internal log           bsize=4096   blocks=2560, version=2
             =                       sectsz=512   sunit=8 blks, lazy-count=1
    realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载

[root@hh-yun-compute-131203 ~]# mount /dev/rbd0  /mnt

测试

<table> 
 <tbody> 
  <tr> 
   <td>ID</td> 
   <td>文件大小</td> 
   <td>完成时间</td> 
   <td>ssd journal最大速度</td> 
   <td>单个 osd 最大速度A</td> 
   <td>单个 osd 最大速度B</td> 
   <td>ceph 整体最大速度</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>4GB</td> 
   <td>40s</td> 
   <td>120MB/s</td> 
   <td>44MB/s</td> 
   <td>48MB/s</td> 
   <td>115MB/s</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>4GB</td> 
   <td>39s</td> 
   <td>120MB/s</td> 
   <td>40MB/s</td> 
   <td>44MB/s</td> 
   <td>125MB/s</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>4GB</td> 
   <td>39s</td> 
   <td>132MB/s</td> 
   <td>36MB/s</td> 
   <td>40MB/s</td> 
   <td>115MB/s</td> 
  </tr> 
 </tbody> 
</table>

### 总结 ###

对于单机操作下, 对于 rbd mapping 与 rbd import 两种性能够上差不多
    对于文件写情况下, ssd journal 都会比单个 OSD 的读写 IO 频繁

## 三台机单文件数据传输测试 ##

三机器并发对 ceph 进行数据写入测试

### rbd import ###

<table> 
 <tbody> 
  <tr> 
   <td>ID</td> 
   <td>文件大小</td> 
   <td>A完成时间</td> 
   <td>B完成时间</td> 
   <td>C完成时间</td> 
   <td>ssd journal最大速度</td> 
   <td>ssd journal TPS</td> 
   <td>单个 osd 最大速度A</td> 
   <td>单个 osd 最大速度B</td> 
   <td>单个 osd 最大TPS</td> 
   <td>ceph 整体最大速度</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>4GB</td> 
   <td>44s</td> 
   <td>46s</td> 
   <td>45s</td> 
   <td>299MB/s</td> 
   <td>1300</td> 
   <td>56MB/s</td> 
   <td>59MB/s</td> 
   <td>130</td> 
   <td>292MB/s</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>4GB</td> 
   <td>42s</td> 
   <td>44s</td> 
   <td>44s</td> 
   <td>300MB/s</td> 
   <td>1280</td> 
   <td>42MB/s</td> 
   <td>56MB/s</td> 
   <td>132</td> 
   <td>299MB/s</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>4GB</td> 
   <td>40s</td> 
   <td>40s</td> 
   <td>40s</td> 
   <td>293MB/s</td> 
   <td>1334</td> 
   <td>54MB/s</td> 
   <td>52MB/s</td> 
   <td>138</td> 
   <td>288MB/s</td> 
  </tr> 
 </tbody> 
</table>

总结

作为 ceph 跨集群迁移
    建议利用 3 ~5 物理机进行并发 import 数据到新集群
    过多的机器并发, 会先导致 journal disk 首先达到瓶颈
    对于物理机 osd disk 与 journal disk 比例, 建议 5:1
    具有 journal disk 会大大加速 osd disk 数据响应速度(即提高 ceph 集群性能)

# 参考 #

http://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance
    http://ceph.com/planet/quick-analysis-of-the-ceph-io-layer/
    http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/
    https://github.com/bryanapperson/ceph-disk-test/blob/master/ceph_disk_test.sh
    http://bryanapperson.com/blog/ceph-raw-disk-performance-testing/

[feature]: https://www.sebastien-han.fr/blog/2015/07/06/ceph-enable-the-object-map-feature/