オブジェクトストレージにHDDはもう要らない：CephとMicron 6500 IONの比較

Cephは通常、HDDストレージを使用したオブジェクトストアとして配置され、Bluestore（メタデータとログ先行書き込み）用に少量のNVMeを使用します。マイクロンは最近、データとBluestore両方のストレージ用として、Micron 6500 IONを使用した全NVMe Ceph構成のテストを完了しました。6500 IONのSolidigm P5316に対するパフォーマンスについては申し分なかったですが、私たちはHDD+NVMeが使用されたより一般的なCeph実装のものと、Micron 6500 IONを使用した配置のパフォーマンスの差異を知りたいと思ったのです。

大手HDDベンダーが、12台の12TB 3.5インチSATA HDDと1台のBluestore用NVMeアドインカードSSDを使用した、4ノードのクラスターにおけるCephのパフォーマンスを詳細に説明した技術概要を公開しました。両ソリューションが、クライアントまたはS3ゲートウェイからオブジェクトスループットを測定するCephツールであるRADOS Benchでテストされました。このレポート内には、アーキテクチャーの違いがいくつか詳述されていますが、それらを考慮に入れたとしても、Micron 6500 IONを使用したCephと、HDD+NVMeを使用したCephの差には劇的なものがありました。

パフォーマンス

・Micron 6500 IONのCeph構成は、読み取りパフォーマンスで11倍、書き込みパフォーマンスで27倍を示しました。

・HDD+NVMeのCephでは、読み取りレイテンシーが8倍、書き込みパフォーマンスが37倍高くなっています。

・Micron 6500 IONベースのCephクラスターは、使用可能なTBあたりのパフォーマンスがより高く、TBあたりの読み取りパフォーマンスは4倍、TBあたりの書き込みパフォーマンスは10倍となっています。

省電力性能

・Micron 6500 IONベースのCephは、ストレージの省電力性能（TBあたりワットまたはW/TB）が2倍、電力/スループット比は、読み取りパフォーマンスで16倍、書き込みで46倍高くなっています。

コスト

・両ソリューションの使用可能な容量あたりのコストは、NVMeストレージのパフォーマンスが大幅に高いため、ほぼ同等となっています。このスケールでは、全NVMeクラスターで4+2のイレイジャーコーディングを使用できますが、HDDで同様の構成は推奨されず、代わりに3倍のレプリケーションが必要となります。

• 6ノードのMicron 6500 ION Ceph構成の使用可能な容量に匹敵するには、16のHDD+NVMeのCephノードが必要となります。
• 6ノードのMicron 6500 ION Cephの読み取りパフォーマンスに匹敵するには68のHDDノードが必要となり、Micron 6500 ION Ceph構成の書き込みパフォーマンスに匹敵するには161のHDDノードが必要となります。

テスト環境

*NVMeテストでは、4+2イレイジャーコーディングが3倍のレプリケーションに対して読み取りパフォーマンスで15%の減少、書き込みパフォーマンスが27%の増加を見せました。詳細は以下のマイクロン技術概要をご覧ください： 低レイテンシーのNVMe™ SSDが、高性能で耐障害性のあるCeph®オブジェクトストアを実現

結果詳細

HDD+NVMeのテストでは、より少ないノードを使い、4+2イレイジャーコーディングの代わりに3倍のレプリケーションを使用したため、これらの差異を考慮に入れて公平に比較をしたいと考えました。

ノード差異（ノードパフォーマンス乗数）： 

・HDD+NVMeの帯域幅結果に1.5を乗じて、6ノード構成をシミュレートしました（線形のパフォーマンススケーリングを仮定）

・平均レイテンシーについては、HDDの技術概要と同じ値に保ちました。

データ保護の差異（データ保護パフォーマンス乗数）

・読み取りパフォーマンス：4+2イレイジャーコーディングに、クラスターの読み取りパフォーマンスにおいて15%のペナルティを与えました。Micron 6500 IONのテスト結果は変更しませんでした（増加）。HDD+NVMe構成のパフォーマンス値も減少させませんでした。このアプローチは、HDD構成にとって有利になります。

・書き込みパフォーマンス：4+2イレイジャーコーディングは、全NVMeテストにおいて、3倍のレプリケーションに対してパフォーマンスが27%増加しました。HDDでは同水準のパフォーマンスは達成できないと考えますが、潜在的な増加を考慮してHDDの結果を1.27で乗じました。このアプローチも、HDD構成にとって有利になります。

データ保護の差異は、マイクロンによって計測され、詳細についてはこちらでご覧いただけます。

読み取り・書き込みパフォーマンス

The Micron 6500 ION Ceph構成は、読み取りパフォーマンスで11.5倍、書き込みパフォーマンスで27倍となっています。

レイテンシー

HDD+NVMe Ceph構成は6500 ION Ceph構成と比較して、読み取りレイテンシーで8倍、書き込みレイテンシーで37倍となっています。

TBあたりのスループット

ストレージのパフォーマンスと効率の指標として、TBあたりの利用可能なパフォーマンス程度を使用できます。ここでは、物理容量と使用可能な容量の両方について、MB/秒でスループットを測定します。

Micron 6500 ION SSD Ceph構成は、使用可能なディスク容量を考慮すると、TBあたりの読み取り帯域幅で4倍、TBあたりの書き込み帯域幅で13倍高くなっています HDD+NVMe構成における3倍のレプリケーションでは、物理容量が3分の1に減少（576TB/3=192TB）する一方で、Micron 6500 ION Ceph構成の4+2イレイジャーコーディングでは、物理容量が6分の4に減少（1,152TB*0.66=760TB）することを考慮に入れるようにしてください。

消費電力

HDDの技術概要によると、12TBのHDDはドライブあたり7.25W、4ノードソリューションのストレージコンポーネントでは348Wの電力を消費します。Micron 6500 IONについては、テスト中の平均ディスクスループットを測定し、読み取りで1.5GB/秒、書き込みで1.2GB/秒となり、そのパフォーマンスレベルでのドライブあたりの電力消費を算出しました。結果は、読み取りで10.1W、書き込みで10.6Wでした。HDDには1つの電力消費値しか示されていなかったため、比較用により高い10.6Wを選択しました。

30TBのMicron 6500 IONは12TBのHDDと比較して、ドライブあたり1.5倍の電力を消費しました。容量の差異により、Micron 6500 ION Cephソリューションは、HDD+NVMeと比較してノードあたりで70%の電力を消費しました。 

容量あたりの電力効率（W/TB）

電力消費は、ストレージソリューションの効率を測る上で良い指標です。HDDの技術概要では、CephソリューションでのHDDのJBOD部分のみの平均瞬時電力消費が記載されていますが、CephストレージノードのCPU、メモリ、ネットワークによる消費電力は考慮されていません。 

Micron 6500 ION構成については、スループットに基づいてドライブあたりの消費電力を算出しました。結果は、読み取りで10.1W（1.2GB/秒の時）、書き込みで10.6W（1.5GB/秒の時）でした。

ストレージコンポーネントのみを比較すると、Micron 6500 ION Ceph 構成ではTBあたりの消費電力が半分強となっており、HDD構成と比較してNVMe SSD構成の電力効率が上回っていることが示されています。

パフォーマンスあたりの電力効率（W/GBps）

電力について検討すべきもう一つの指標は、電力をスループットで割った値です。ソリューションが提供するGBpsあたりの電力効率が分かります。ここでも引き続き、Micron 6500 IONではドライブあたりの読み取り10.1W、ドライブあたりの書き込み10.6Wを、12TBのHDDでは技術概要の7.25Wの消費電力を使用します。

電力とパフォーマンスを考慮に入れると、HDD+NVMe構成では読み取りで16倍、書き込みで46倍多い電力を使用していました。

ソリューションのコスト分析

全NVMe Ceph構成を使用することで、本番環境でのイレイジャーコーディングの使用が可能となります。HDDでは、依然として3倍のレプリケーションの使用が強く推奨されています。使用可能な容量あたりのコストを考慮に入れると、Micron 6500 ION構成のコストはHDD+NVMe構成と同等になります。

テストされた6ノードのMicron 6500 ION Ceph構成の使用可能な容量に匹敵するには、16のHDD+NVMeノードが必要となります。読み取りパフォーマンスで匹敵するには、68のHDD+NVMeノードが必要となります。書き込みパフォーマンスで匹敵するには、161のHDD+NVMeノードが必要となります。 

まとめ

Micron 6500 IONは、NVMeを使用したCephオブジェクトストアに非常に適しています。イレイジャーコーディングを使用した際は、HDDで3倍のレプリケーションを使用した際と同一水準のコストを達成しています。

CephにおけるMicron 6500 IONは以下の利点があります。

• HDDより優れたパフォーマンス
  • パフォーマンスは書き込みで27倍、読み取りで11倍高い
  • レイテンシーは書き込みで37倍、読み取りで8倍低い
  • 使用可能な容量あたりのスループットは書き込みで10倍、読み取りで4倍高い
• HDDよりも効率的
  • TBあたりの消費電力は半分
  • ストレージシステムの消費電力は70%（Micron 6500 IONの方がパフォーマンスが高いことを考慮せず）
  • GBpsあたりの書き込みは46倍、読み取りで16倍低い
• HDDよりも高いコスト効果
  • テストされた6ノードのMicron 6500 ION Ceph構成と同様の書き込みパフォーマンスに匹敵するには161のHDD+NVMeノードが必要となり、読み取りパフォーマンスでは68ノードが必要となる

最後に重要な点として、Micron 6500 ION Ceph構成は大幅にパフォーマンスが向上しているため、リクエストを迅速に処理でき、アイドル状態により早く戻ることができます。また、システムの設置面積が大幅に小さくなっており、「急いでアイドル状態に戻る」という哲学と、Micron 6500 IONのようなコスト効果が高く大容量のNVMe SDDによって、ようやくオブジェクトストレージからHDDを排除することが理にかなうようになりました。

© 2023 Micron Technology, Inc. All rights reserved. ここに掲載されるすべての情報は何らの保証なく「現状有姿」の状態で提供されます。マイクロンは、製品がマイクロンの生産データシートの仕様を満たしていることのみを保証します。製品、プログラム、仕様は予告なく変更される場合があります。Micron Technology, Inc.は、印刷や写真における誤記や脱落について一切の責任を負いません。マイクロン、マイクロンのロゴ、およびその他のすべてのマイクロンの商標はMicron Technology, Inc.に帰属します。他のすべての商標はそれぞれの所有者に帰属します。Rev. A 01/2023 CCM004-676576390-11635