デザインツール
ストレージ

Cephブロックパフォーマンスをブースト

ライアン・メレディス | 2018年7月

Rhel 7.5、Ceph Luminous、Micron 9200 Max NVMe SSDでCephブロックパフォーマンスをブースト

皆さん、こんにちは。

通常、OSやストレージソリューションのポイントリリースは特別なことではありません。しかし、今回は違います。以前、BluestoreとFilestoreのパフォーマンスの比較に関する記事を執筆しましたが、それ以降にポイントリリースされたRed Hat Enterprise Linux 7.5とCeph Luminous 12.2.5をテストしたところ、ブロックパフォーマンスが大幅に向上していることが分かりました。

4KBランダム書き込みのIOPSパフォーマンスが12%向上し、平均レイテンシーが10%低下し、99.99%テールレイテンシーが24%低下しています。

4KBランダム読み取りのIOPSと平均レイテンシーも同様で、99.99%テールレイテンシーに関しては20~43%低下しています。

4KBランダムブロックワークロード 読み取りIOPS 書き込みIOPS 読み取り平均レイテンシー 書き込み平均レイテンシー 読み取り99.99%レイテンシー 書き込み99.99%レイテンシー
RHEL 7.4 + Ceph 12.2.4 210万 45万3,000 1.6ミリ秒 7.1ミリ秒 251ミリ秒 89ミリ秒
RHEL 7.4 + Ceph 12.2.5 220万 49万5,000 1.4ミリ秒 6.5ミリ秒 194ミリ秒 67ミリ秒

このソリューションは、ブロックパフォーマンスに最適化されています。LinuxでRADOSブロックドライバーを使用するランダムスモールブロックテストが、2ソケットストレージノードのプラチナレベル8168 Intel Purleyプロセッサーを限界まで高めます。

4ストレージノードと、1ストレージノードあたり10台のドライブを搭載したこのアーキテクチャーでは232TBのストレージ容量が使用でき、1Uストレージノードを追加することで拡張可能です。

リファレンスデザイン - ハードウェア

SuperMicroスイッチ、モニターノード、ストレージノード

テスト結果と分析

Cephのテスト方法

Ceph Luminous(12.2.4および12.2.5)は、1つのMicron 9200 MAX NVMe SSDごとに2つのOSDを備えたBluestoreで構成されています。RocksDBとWALデータは、データと同じパーティションに保存されます。

1ストレージノードあたり10台のドライブ、1ドライブあたり2つのOSDの場合、合計80のOSDがあり、使用可能容量は232TBになります。

テスト対象となったCephストレージプールは、8,192のプレイスメントグループと2倍のレプリケーションで作成されました。パフォーマンスは、各50GBのRBDイメージを100個使用してテストし、5TBのデータを3倍のレプリケートプールで、合計15TBのデータになります。

4KBランダムブロックのパフォーマンスは、RADOSブロックドライバーに対してFIOを使用して測定しました。10台の負荷生成サーバー(50GbEネットワークを備えたデュアルCPU Xeon)を使用し、負荷生成サーバーごとに複数のFIOプロセスを実行しました。FIOプロセスごとに別々のRBDイメージにアクセスし、FIOプロセスを10台の負荷生成サーバーに均等に分散しました。たとえば、100個のFIOクライアントのテストでは、負荷生成サーバーごとに10個のFIOプロセスを使用しました。

ストレージノードごとに2つのIntel 8168 CPUを使用していても、すべてのテストでCPUを制限しています。すべてのテストは、テストごとに5分ずつ時間を増やし、10分間で3回実行しました。

RBD FIO 4KBランダム書き込みパフォーマンス:RHEL 7.4 + Ceph 12.2.4とRHEL 7.5 + Ceph 12.2.5の比較

 

4KBランダム書き込みIOPSと平均レイテンシーを示す青色の棒グラフ

RHEL 7.5 + Ceph Luminous 12.2.5の場合、IOPSが12%増加し、平均レイテンシーが10%低下しました。

4KBランダム書き込みIOPSとテールレイテンシーを示す青色の棒グラフ

RHEL 7.5とCeph Luminous 12.2.5の場合、テールレイテンシーが向上し、100個のFIOクライアントで25%低下しました。

RBD FIO 4KBランダム読み取りパフォーマンス:RHEL 7.4 + Ceph 12.2.4とRHEL 7.5 + Ceph 12.2.5の比較

4KBランダム読み取りIOPSと平均レイテンシーを示す青色の棒グラフ

4KBランダム読み取りパフォーマンスは、RHEL 7.4 + Ceph Luminous 12.2.4と、RHEL 7.5 + Ceph Luminous 12.2.5であまり違いありません。IOPSがわずかに増加し、最大223万になります。

Ceph Luminousの4KBランダム読み取りパフォーマンスを示す青色の棒グラフ

RHEL 7.5とCeph Luminous 12.2.5の場合、テールレイテンシーが向上し、キュー深度16で43%低下し、キュー深度32で23%低下しました。

さらに詳しく知りたい方は

RHCS 3.0と、Intel PurleyプラットフォームのMicron 9200 MAX NVMe SSDを組み合わせることで、超高速が実現します。Micron Accelerated Ceph Storage Solutionsの最新のリファレンスアーキテクチャーが利用可能になりました。OpenStack Summit 2018で私が担当したセッションでは、そのリファレンスアーキテクチャーについてのほか、Cephのチューニングやパフォーマンスに関するその他のトピックについてお話ししました。セッションの映像はこちらからご覧いただけます

マイクロンのテストや手法についてご質問のある方:ssd@micron.com宛にお問い合わせください。

ストレージソリューションアーキテクチャー担当ディレクター

Ryan Meredith

ライアン・メレディスは、マイクロンのストレージビジネスユニットでデータセンターワークロードエンジニアリング担当ディレクターを務めています。すべてのフラッシュSoftware Defined Storageテクノロジーのほか、AIやNVMe-oF/TCPなどの分野においてマイクロンのソートリーダーシップと認知度を高めるため、新しいテクノロジーをテストしています。