BluestoreとFilestoreのブロックパフォーマンスの比較

Ceph BlueStoreとFileStoreの比較：Micron NVMe SSD使用時のブロックパフォーマンスの比較

Bluestoreとは、Ceph向けの新しいストレージエンジンであり、Cephのコミュニティエディションのデフォルト構成です。Bluestoreパフォーマンスの数値はRed Hat Ceph 3.0で未対応のため、現行のMicron Accelerated Ceph Storage Solutionリファレンスアーキテクチャーには含まれていません。CephリファレンスアーキテクチャーハードウェアでCeph Luminous（12.2.4）のコミュニティエディションに対してパフォーマンステストを実行しました。このブログ記事では、その結果とRHCS 3.0が残したFilestoreパフォーマンスを比較します。

4KBランダム書き込みのIOPSパフォーマンスが18%向上し、平均レイテンシーが15%低下し、99.99%テールレイテンシーが最大80%低下しています。Bluestoreの場合、キュー深度が高いほど4KBランダム読み取りパフォーマンスが向上します。

このソリューションは、ブロックパフォーマンスに最適化されています。LinuxでRADOSブロックドライバーを使用するランダムスモールブロックテストが、2ソケットストレージノードのプラチナレベル8168 Intel Purleyプロセッサーを限界まで高めます。

1ストレージノードあたり10台のドライブを搭載したこのアーキテクチャーでは232TBのストレージ容量が使用でき、1Uストレージノードを追加することで拡張可能です。

リファレンスデザイン - ハードウェア

テスト結果と分析

Cephのテスト方法

Red Hat Ceph Storage 3.0（12.2.1）は、1つのMicron 9200 MAX NVMe SSDあたり2つのOSDで、FileStoreを使用して構成されています。それぞれのOSDには20GBのジャーナルを使用しました。

Ceph Luminous Community（12.2.4）は、1つのMicron 9200 MAX NVMe SSDごとに2つのOSDを備えたBluestoreで構成されています。RocksDBとWALデータは、データと同じパーティションに保存されます。

どちらの構成でも、1ストレージノードあたり10台のドライブ、1ドライブあたり2つのOSDの場合、Cephには合計80のOSDがあり、使用可能容量は232TBになります。

テスト対象となったCephストレージプールは、8,192のプレイスメントグループと2倍のレプリケーションで作成されました。パフォーマンスは、各50GBのRBDイメージを100個使用してテストし、5TBのデータを3倍のレプリケートプールで、合計15TBのデータになります。

4KBランダムブロックのパフォーマンスは、RADOSブロックドライバーに対してFIOを使用して測定しました。ストレージノードごとに2つのIntel 8168 CPUを使用していても、すべてのテストでCPUを制限しています。

RBD FIO 4KBランダム書き込みパフォーマンス FilestoreとBluestoreの比較

Bluestoreの場合、IOPSが約18%増加し、平均レイテンシーが約15%低下しました。

また、Bluestoreでは、FIOクライアント数が増えるとCephのテールレイテンシーが大幅に増加します。たとえば、クライアント数が100になるとテールレイテンシーは4.3倍に増えます。クライアント数が低くなると、Bluestoreの方がパフォーマンスが高くなるため、BluestoreのテールレイテンシーはFilestoreよりも高くなります。

RBD FIO 4KBランダム読み取り

4KBランダム読み取りパフォーマンスは、FilestoreとBluestoreで同様です。キュー深度が32になると、IOPSが5%増加します。

キュー深度32まではテールレイテンシーも同様ですが、パフォーマンスはBluestoreの方が上回ります。

さらに詳しく知りたい方は

RHCS 3.0 + Intel PurleyプラットフォームのMicron 9200 MAX NVMe SSDは超高速です。Micron Accelerated Ceph Storage Solutionsの最新のリファレンスアーキテクチャーが利用可能になりました。私が執筆する次のブログ記事では、FilestoreとBluestoreのオブジェクトパフォーマンスの比較について取り上げる予定です。OpenStack Summit 2018で私が担当したセッションでは、そのリファレンスアーキテクチャーについてのほか、Cephのチューニングやパフォーマンスに関するその他のトピックについてお話ししました。セッションの映像はこちらからご覧いただけます。

マイクロンのテストや手法についてご質問のある方：ssd@micron.com宛にお問い合わせください。