Cephブロックパフォーマンスをブースト

Rhel 7.5、Ceph Luminous、Micron 9200 Max NVMe SSDでCephブロックパフォーマンスをブースト

皆さん、こんにちは。

通常、OSやストレージソリューションのポイントリリースは特別なことではありません。しかし、今回は違います。以前、BluestoreとFilestoreのパフォーマンスの比較に関する記事を執筆しましたが、それ以降にポイントリリースされたRed Hat Enterprise Linux 7.5とCeph Luminous 12.2.5をテストしたところ、ブロックパフォーマンスが大幅に向上していることが分かりました。

4KBランダム書き込みのIOPSパフォーマンスが12%向上し、平均レイテンシーが10%低下し、99.99%テールレイテンシーが24%低下しています。

4KBランダム読み取りのIOPSと平均レイテンシーも同様で、99.99%テールレイテンシーに関しては20～43%低下しています。

このソリューションは、ブロックパフォーマンスに最適化されています。LinuxでRADOSブロックドライバーを使用するランダムスモールブロックテストが、2ソケットストレージノードのプラチナレベル8168 Intel Purleyプロセッサーを限界まで高めます。

4ストレージノードと、1ストレージノードあたり10台のドライブを搭載したこのアーキテクチャーでは232TBのストレージ容量が使用でき、1Uストレージノードを追加することで拡張可能です。

リファレンスデザイン - ハードウェア

テスト結果と分析

Cephのテスト方法

Ceph Luminous（12.2.4および12.2.5）は、1つのMicron 9200 MAX NVMe SSDごとに2つのOSDを備えたBluestoreで構成されています。RocksDBとWALデータは、データと同じパーティションに保存されます。

1ストレージノードあたり10台のドライブ、1ドライブあたり2つのOSDの場合、合計80のOSDがあり、使用可能容量は232TBになります。

テスト対象となったCephストレージプールは、8,192のプレイスメントグループと2倍のレプリケーションで作成されました。パフォーマンスは、各50GBのRBDイメージを100個使用してテストし、5TBのデータを3倍のレプリケートプールで、合計15TBのデータになります。

4KBランダムブロックのパフォーマンスは、RADOSブロックドライバーに対してFIOを使用して測定しました。10台の負荷生成サーバー（50GbEネットワークを備えたデュアルCPU Xeon）を使用し、負荷生成サーバーごとに複数のFIOプロセスを実行しました。FIOプロセスごとに別々のRBDイメージにアクセスし、FIOプロセスを10台の負荷生成サーバーに均等に分散しました。たとえば、100個のFIOクライアントのテストでは、負荷生成サーバーごとに10個のFIOプロセスを使用しました。

ストレージノードごとに2つのIntel 8168 CPUを使用していても、すべてのテストでCPUを制限しています。すべてのテストは、テストごとに5分ずつ時間を増やし、10分間で3回実行しました。

RBD FIO 4KBランダム書き込みパフォーマンス：RHEL 7.4 + Ceph 12.2.4とRHEL 7.5 + Ceph 12.2.5の比較

RHEL 7.5 + Ceph Luminous 12.2.5の場合、IOPSが12%増加し、平均レイテンシーが10%低下しました。

RHEL 7.5とCeph Luminous 12.2.5の場合、テールレイテンシーが向上し、100個のFIOクライアントで25%低下しました。

RBD FIO 4KBランダム読み取りパフォーマンス：RHEL 7.4 + Ceph 12.2.4とRHEL 7.5 + Ceph 12.2.5の比較

4KBランダム読み取りパフォーマンスは、RHEL 7.4 + Ceph Luminous 12.2.4と、RHEL 7.5 + Ceph Luminous 12.2.5であまり違いありません。IOPSがわずかに増加し、最大223万になります。

RHEL 7.5とCeph Luminous 12.2.5の場合、テールレイテンシーが向上し、キュー深度16で43%低下し、キュー深度32で23%低下しました。

さらに詳しく知りたい方は

RHCS 3.0と、Intel PurleyプラットフォームのMicron 9200 MAX NVMe SSDを組み合わせることで、超高速が実現します。Micron Accelerated Ceph Storage Solutionsの最新のリファレンスアーキテクチャーが利用可能になりました。OpenStack Summit 2018で私が担当したセッションでは、そのリファレンスアーキテクチャーについてのほか、Cephのチューニングやパフォーマンスに関するその他のトピックについてお話ししました。セッションの映像はこちらからご覧いただけます。

マイクロンのテストや手法についてご質問のある方：ssd@micron.com宛にお問い合わせください。