HDDとSSD。正しい問いとは何か？

テクノロジーの置き換えは珍しいことではありません。古いテクノロジーから新しいテクノロジーへとバトンが渡されていきます。たとえば、蒸気機関が燃焼機関に置き換わり、かさばるブラウン管ディスプレイが一掃されてスマートなLCDスクリーンに置き換わりました。私の場合、ノートパソコンのストレージが従来のハードディスク（HDD）からSSDにほぼ完全に置き換えられたのが衝撃的でした。

私はフラッシュメモリとフラッシュベースSSDのアーキテクチャーと開発に30年以上携わってきたため、ストレージテクノロジーの移り変わりをよく把握しています。私はこれまで、NORやNANDからの移行、1セルに1ビットを保存する方式（SLC）から1セルに複数ビットを保存する方式（MLC、TLC、PLC）への移行、SATAからPCIe/NVMeへの移行、2.5インチHDDフォームファクターからSSDフォームファクター（M.2、EDSFFなど）への移行といった、SSDの重要な移り変わりを目の当たりにしてきました。それぞれの移行が業界全体に大きな影響を与え、マイクロンの躍進につながりました。

絶えず挙げられる問いの1つに次のようなものがあります。「SSDのコストパフォーマンスがHDDを上回り、HDDを完全に置き換えるのはいつでしょうか？」IDC¹によると、2023年にデータセンターに出荷されたPBは、容量最適化済みのHDD（20TBの3.5インチHDDが主流）と比べると、フラッシュSSD（TLCが主流）の占める割合は全体の約13%でした。SSDの1テラバイトあたりの価格はCAGRで17%下落しており、容量最適化済みのHDDはCAGRで8.5%下落しています。このことから、今後10～15年のうちに逆転すると予測できます。

このブログ記事では、適切な問いの投げかけ方についてご説明するとともに、データストレージの展望を予測します。この記事の執筆にあたっては、最近のカリー・マンスが執筆したマイクロンブログ記事²を参考にしています。その記事を基にして、ハイパースケーラーがHDDベースのウォーム層ファイルシステムからの完全移行を行った経験のほか、AIから同社が受けた影響と、階層型キャッシュレイヤーとしてのSSDの利用といったソリューションについてご説明します。

Metaのウォーム層からAIによる複合SSD/HDDソリューションへの移行

2021年、MetaはUsenixのFile and Storage Technologyカンファレンス³でTectonicファイルシステムを発表しました。Tectonicファイルシステムは、IOPS重視のHDDに求められる素早いプロビジョニングが可能な低レイテンシーで小型のBLOBストレージと、密度重視のHDDのプロビジョニングが可能なデータウェアハウスを組み合わせた画期的なシステムです。Tectonicは、シェルフあたり72台の3.5インチHDDから成る数千ものストレージノードを使用して構築されたエクサバイト規模の統合システムとして動作します。ストレージノードは容量最適化済みの3.5インチHDDを基盤としています。

これまでは問題なかったものの、約1年間でAIのストレージ需要が急増したことで、オンライン取り込み帯域幅が4倍に増えました。これは100%HDDソリューションのピークI/O需要を上回っています。

HDDのみのウォーム層を継続するには、I/OのためにHDDの大量のプロビジョニングが必要となります。その結果、過剰なストレージ容量が確保され、コストと消費電力が増大します。ソリューションの移行にあたっては、ウォーム層のSSDへの全面的な置き換えや、HDDとSSDの複合ソリューションの導入との検討を行いました。以下の表はMetaが公開したものです。この表では、HDDだけを使用するとプロビジョニングが過大となる、現在の密度を考慮するとSSDへの全面的な置き換えが困難である、HDDとフラッシュストレージの複合ソリューションによって理想的なバランスを実現できる、といった課題が示されています。

適切なストレージキャッシュの設計

一新されたウォーム層ソリューションは「Tectonic-Shift」と名付けられました。これには、ウォーム層の既存のHDDに対応するアプリケーション透過TLCキャッシュも含まれます。ACM '23⁴で発表された文書では、著者が選択したキャッシュポリシーについて素晴らしい議論が交わされました。著者らはキャッシュポリシーの選択にあたり、AIトレースとその固有の特性に対する詳細な分析を行い、パフォーマンスをウォーム層キャッシュのSSDの消費電力、コスト、耐久性とトレードオフする挿入ポリシーと削除ポリシーの適切なトレードオフについて判断しました。

AIワークロードの増大により、MetaのHDDベースのTectonic-ShiftシステムにSSDキャッシュレイヤーが挿入されたことで、ワークロードの増加に対応できるようになりました。

AIを超えたSSDとHDDの複合。先を見る。

重要なトレードオフとしては、適切なストレージ密度の達成だけでなく、その密度に対する適切なI/Oパフォーマンスの確保もあります。過去にカリー・マンスのブログ記事で取り上げられたように、パフォーマンスを密度で除算することで、考慮すべき有用な指標を算出できます。例を使って説明します。論文「Facebook’s Tectonic Filesystem: Efficiency from Exascale」では、著者はピーク速度10テラバイト毎秒（TB/秒）で100ペタバイト（PB）を必要とする複合クラスターを提案しています。その場合、ピークパフォーマンス時のストレージスループット密度は、1テラバイトあたり約100メガバイト毎秒（MB/秒/TB）になります。ただし、平均要件はワークロードによって異なります。AIワークロードの場合、推奨される平均ストレージ密度は20MB/秒/TBですが、オブジェクトストアは一般に約5MB/秒/TBで動作します。一方で、BLOBストレージの場合は約2MB/秒/TBです。²

データストレージの環境は進化を続けており、そのような状況に対応するには、パフォーマンスと密度を両立させる必要があります。

ウォーム層特化のMicron 6500 ION

歴史的に見て、HDDは印象的な密度CAGRを達成してきましたが、パフォーマンスはほぼ横ばいでした。そのため、世代が進むにつれて1テラバイトあたりのメガバイト毎秒（MB/秒/TB）が低下しています。マイクロンは、HDDの過大なプロビジョニングに対するSSDの階層化を進めることで、この課題を解決できると考えています。ウォーム層のHDDをSSDに置き換えます。HDDは引き続き、クーラー/コールド層で使用します。

上記のことから、以下のような問いが適切な問いといえます。

「データセンターでSSDがHDDに取って代わる（置き換えるではなく）のはいつでしょうか？」

そして、答えは以下のようになります。

「すでにそうなっています！」

これこそが、マイクロンがMicron 6500 ION SSDを開発・発売した理由です。このSSDは数々の賞を獲得しています。Micron 6500 ION SSDを利用することで、高いスループット密度、電力効率、低レイテンシーにより、階層型ストレージソリューションのTCOを最適化できます。

Micron 6500 ION SSDは近い将来、HDDの代替ではなく、HDDを補完する層になるでしょう。