Ceph BlueStore与FileStore：利用Micron NVMe SSD进行性能比较

╰+哭是因爲堅強的太久メ 2021-10-25 13:14 378阅读 0赞

[https://www.micron.com/about/blog/2018/may/ceph-bluestore-vs-filestoreblock-performance-comparison-when-leveraging-micron-nvme-ssds][https_www.micron.com_about_blog_2018_may_ceph-bluestore-vs-filestoreblock-performance-comparison-when-leveraging-micron-nvme-ssds]

[BlueStore][]是[Ceph][]的新存储引擎，是社区版的默认配置。BlueStore性能数字不包含在我们当前的[Micron Accelerated Ceph存储解决方案 ][Micron Accelerated Ceph]参考架构中，因为[Red Hat Ceph 3.0][]目前不支持它。我在Ceph参考架构硬件上对社区版[Ceph Luminous（12.2.4）][Ceph Luminous_12.2.4]进行了性能测试，并将结果与我们在此博客中在RHCS 3.0中实现的FileStore性能进行比较。

4KB随机写入IOPS性能提高18％，平均延迟降低15％，尾部延迟降低99.99％高达80％。使用BlueStore，在更高的队列深度下，4KB随机读取性能更好。

![Ceph 4][]

该解决方案针对块性能进行了优化。使用Linux中的Rados Block Driver进行随机小块测试，在2插槽存储节点中使铂级8168 [Intel Purley][]处理器饱和。

每个存储节点有10个驱动器，该架构具有232TB的可用存储容量，可通过添加额外的1U存储节点进行扩展。

## 参考设计 - 硬件 ##

![Ceph 4][Ceph 4 1]

## 测试结果和分析 ##

### Ceph测试方法 ###

Red Hat Ceph Storage 3.0（12.2.1）配置了FileStore，每个Micron [9200MAX NVMe SSD][]有2个OSD 。每个OSD使用20GB日志。

Ceph Luminous Community（12.2.4）配置了BlueStore，每个Micron 9200MAX NVMe SSD有2个OSD。RocksDB和WAL数据与数据存储在同一分区中。

在这两种配置中，每个存储节点有10个驱动器，每个驱动器有2个OSD，总共80个OSD，可用容量为232TB。

测试的Ceph存储池是使用8192个放置组和2x复制创建的。使用100个RBD图像（每个75GB）测试性能，在2x复制池上提供7.5TB数据，总数据为15TB。

使用FIO对Rados Block Driver测量4KB随机块性能。我们在所有测试中都受CPU限制，即使每个存储节点有2个Intel 8168 CPU。

### RBD FIO 4KB随机写性能：FileStore与BlueStore ###

BlueStore的IOPS增加约18％，平均延迟减少约15％。

![Ceph 4][Ceph 4 2]

使用BlueStore，在更高的FIO客户端数量下，Ceph的尾部延迟也大大减少。在100个客户端，尾部延迟减少了4.3倍。在较低的客户端数量下，BlueStore的尾部延迟高于FileStore，因为BlueStore正在推动更高的性能。

![Ceph 4][Ceph 4 3]

### RBD FIO 4KB随机读取 ###

FileStore和BlueStore之间的4KB随机读取性能相似。队列深度为32时，IOPS增加了5％。

![Ceph 4][Ceph 4 4]

尾部延迟也类似于队列深度32，其中BlueStore表现更好。

![Ceph Bluestore 6][]

转载于:https://www.cnblogs.com/wangmo/p/11362619.html

[https_www.micron.com_about_blog_2018_may_ceph-bluestore-vs-filestoreblock-performance-comparison-when-leveraging-micron-nvme-ssds]: https://www.micron.com/about/blog/2018/may/ceph-bluestore-vs-filestoreblock-performance-comparison-when-leveraging-micron-nvme-ssds
[BlueStore]: https://ceph.com/community/new-luminous-bluestore/
[Ceph]: https://ceph.com/
[Micron Accelerated Ceph]: https://www.micron.com/solutions/micron-accelerated-solutions/micron-accelerated-solutions-for-ceph-storage
[Red Hat Ceph 3.0]: https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/3.0/pdf/release_notes/Red_Hat_Ceph_Storage-3.0-Release_Notes-en-US.pdf
[Ceph Luminous_12.2.4]: https://ceph.com/releases/v12-2-4-luminous-released/
[Ceph 4]: /images/20211025/6a184b103cb945a7acc6694aca0ca8ea.png
[Intel Purley]: https://www.intel.com/content/www/us/en/design/products-and-solutions/processors-and-chipsets/purley/intel-xeon-scalable-processors.html
[Ceph 4 1]: /images/20211025/a83b25f9d9004331a8fa3c52339ac58e.png
[9200MAX NVMe SSD]: https://www.micron.com/products/solid-state-drives/bus-interfaces/nvme-ssds
[Ceph 4 2]: /images/20211025/d50137f256894711918576dff85de4e1.png
[Ceph 4 3]: /images/20211025/1d29c4bf545b4bbd8eacab25b3e4125e.png
[Ceph 4 4]: /images/20211025/bc59e65888be41f7946b7ae80d5a3a95.png
[Ceph Bluestore 6]: /images/20211025/89a14a12b46b4fa6afbc89918027981d.png