Rhel 7.5、Ceph Luminous、Micron 9200 Max NVMe SSDでCephブロックパフォーマンスをブースト
皆さん、こんにちは。
通常、OSやストレージソリューションのポイントリリースは特別なことではありません。しかし、今回は違います。以前、BluestoreとFilestoreのパフォーマンスの比較に関する記事を執筆しましたが、それ以降にポイントリリースされたRed Hat Enterprise Linux 7.5とCeph Luminous 12.2.5をテストしたところ、ブロックパフォーマンスが大幅に向上していることが分かりました。
4KBランダム書き込みのIOPSパフォーマンスが12%向上し、平均レイテンシーが10%低下し、99.99%テールレイテンシーが24%低下しています。
4KBランダム読み取りのIOPSと平均レイテンシーも同様で、99.99%テールレイテンシーに関しては20～43%低下しています。
| 4KBランダムブロックワークロード | 読み取りIOPS | 書き込みIOPS | 読み取り平均レイテンシー | 書き込み平均レイテンシー | 読み取り99.99%レイテンシー | 書き込み99.99%レイテンシー |
| RHEL 7.4 + Ceph 12.2.4 | 210万 | 45万3,000 | 1.6ミリ秒 | 7.1ミリ秒 | 251ミリ秒 | 89ミリ秒 |
| RHEL 7.4 + Ceph 12.2.5 | 220万 | 49万5,000 | 1.4ミリ秒 | 6.5ミリ秒 | 194ミリ秒 | 67ミリ秒 |
このソリューションは、ブロックパフォーマンスに最適化されています。LinuxでRADOSブロックドライバーを使用するランダムスモールブロックテストが、2ソケットストレージノードのプラチナレベル8168 Intel Purleyプロセッサーを限界まで高めます。
4ストレージノードと、1ストレージノードあたり10台のドライブを搭載したこのアーキテクチャーでは232TBのストレージ容量が使用でき、1Uストレージノードを追加することで拡張可能です。
リファレンスデザイン - ハードウェア
テスト結果と分析
Cephのテスト方法
Ceph Luminous（12.2.4および12.2.5）は、1つのMicron 9200 MAX NVMe SSDごとに2つのOSDを備えたBluestoreで構成されています。RocksDBとWALデータは、データと同じパーティションに保存されます。
1ストレージノードあたり10台のドライブ、1ドライブあたり2つのOSDの場合、合計80のOSDがあり、使用可能容量は232TBになります。
テスト対象となったCephストレージプールは、8,192のプレイスメントグループと2倍のレプリケーションで作成されました。パフォーマンスは、各50GBのRBDイメージを100個使用してテストし、5TBのデータを3倍のレプリケートプールで、合計15TBのデータになります。
4KBランダムブロックのパフォーマンスは、RADOSブロックドライバーに対してFIOを使用して測定しました。10台の負荷生成サーバー（50GbEネットワークを備えたデュアルCPU Xeon）を使用し、負荷生成サーバーごとに複数のFIOプロセスを実行しました。FIOプロセスごとに別々のRBDイメージにアクセスし、FIOプロセスを10台の負荷生成サーバーに均等に分散しました。たとえば、100個のFIOクライアントのテストでは、負荷生成サーバーごとに10個のFIOプロセスを使用しました。
ストレージノードごとに2つのIntel 8168 CPUを使用していても、すべてのテストでCPUを制限しています。すべてのテストは、テストごとに5分ずつ時間を増やし、10分間で3回実行しました。
RBD FIO 4KBランダム書き込みパフォーマンス：RHEL 7.4 + Ceph 12.2.4とRHEL 7.5 + Ceph 12.2.5の比較
RHEL 7.5 + Ceph Luminous 12.2.5の場合、IOPSが12%増加し、平均レイテンシーが10%低下しました。
RHEL 7.5とCeph Luminous 12.2.5の場合、テールレイテンシーが向上し、100個のFIOクライアントで25%低下しました。
RBD FIO 4KBランダム読み取りパフォーマンス：RHEL 7.4 + Ceph 12.2.4とRHEL 7.5 + Ceph 12.2.5の比較
4KBランダム読み取りパフォーマンスは、RHEL 7.4 + Ceph Luminous 12.2.4と、RHEL 7.5 + Ceph Luminous 12.2.5であまり違いありません。IOPSがわずかに増加し、最大223万になります。
RHEL 7.5とCeph Luminous 12.2.5の場合、テールレイテンシーが向上し、キュー深度16で43%低下し、キュー深度32で23%低下しました。
さらに詳しく知りたい方は
RHCS 3.0と、Intel PurleyプラットフォームのMicron 9200 MAX NVMe SSDを組み合わせることで、超高速が実現します。Micron Accelerated Ceph Storage Solutionsの最新のリファレンスアーキテクチャーが利用可能になりました。OpenStack Summit 2018で私が担当したセッションでは、そのリファレンスアーキテクチャーについてのほか、Cephのチューニングやパフォーマンスに関するその他のトピックについてお話ししました。セッションの映像はこちらからご覧いただけます。
マイクロンのテストや手法についてご質問のある方：ssd@micron.com宛にお問い合わせください。
