デザインツール
ストレージ

未来に向けたコンピューティングシステムアーキテクチャーの進化

ジョナサン・ヒンクル | 2024年3月

絶えず変化するテクノロジー環境の中で、コンピューティングシステムアーキテクチャーは大きな変革期を迎えています。ムーアの法則の鈍化と、計算需要のかつてない高まりが同時に訪れようとしている今、コンピューター設計者や設計エンジニアは、システムの設計、構築、構成のあり方を根本的に再考し始めています。コンピューターアーキテクチャーとエネルギー効率の高いハードウェアの未来が新たな作業負荷要件によって形作られつつあり、モジュール性を通じてこれらのニーズに対応するいくつかのイネーブリングテクノロジーが台頭しています。
 

システムアーキテクチャーの変化を促す新しい需要
 

すでに多くの人が指摘しているように、AI革命はすでに到来しています。人工知能(AI)と、特にディープラーニング(DL)は、研究ラボの領域を超え、今やクラウド会社とさまざまな業界の成長計画に不可欠なものとなっています。医療診断やスクリーニングから金融予測まで、AIアルゴリズムが意思決定プロセスを推進しています。膨大な規模のLLMや生成AIのトレーニングが能力向上の第一歩となる中、それらのデータをすべて効率的に保存し、処理することがますます困難になっています。

データ量が増加し続ける中で特に興味深い課題の1つは、ディープラーニングモデルのトレーニングを支える主要な演算エンジン(通常はGPU、場合によってはAI専用プロセッサー)にそのデータを供給する方法です。データセットは非常に大規模化しており、GPUに直接接続された高帯域幅メモリ(HBM)の容量に収まらないばかりか、ローカルシステムのメモリ容量を上回ることもあります。DRAMに加えて、NANDフラッシュストレージデバイスも、AI能力向上を実現する上で、もう1つの重要なコンポーネントとなるでしょう。適切なパフォーマンスを備えたシステムで利用可能容量を拡張することは、パフォーマンスを低下させ電力を浪費する通信ステップと中間段階を最小限に抑えつつ、コスト効率の高い帯域幅を実現することであると見なされるようになりつつあります。これに関連して、データが流れる主な経路であるデータパスと制御パスを分離して、双方の最適化を進めることが一般的になっています。この最適化に類似したパターンは、SDNやOpenFlowによるネットワークなど、他の分野ではこれまでも行われてきましたが、現在ではAIに特化したアーキテクチャーにも適用されるようになりました。

AIの短期的な需要を満たす上でのもう1つの大きな難題も、これまでの業界の課題と同様です。つまり、頻繁なテクノロジーの変化や最適化された新しいシステムアーキテクチャーにどうついていくかということです。新しい複雑なシステムハードウェア設計の開発に要する時間は大幅に改善されていませんが、より優れたパフォーマンスや効率性による競争優位性をもたらす最新技術や新たに最適化されたシステムに対する需要は大幅に増加しています。主要なワークロード要件が明らかになってきたのはほんの1~2年前であるため、頻繁な変化があることで、可能な限り最善のソリューションを適時に提供することが非常に困難になっています。
 

新しいモジュール式テクノロジーによるシステムアーキテクチャーの実現
 

常に変化するテクノロジー環境に遅れを取らないよう、企業はOpen Compute Project(OCP) Modular Hardware System(MHS)のようなモジュール式コンピューティングモデルの開発に着手し、システムの複雑性を個別のパーツに分解しようとしています。さまざまな機能を実現できる、プラグ着脱可能なモジュールやカードはこれまでも存在していましたが、最新のシステムにおける従来のアプローチでは、メインシステムボードにプロセッサーとともにコアコンピューティングサブシステムを統合しています。この統合により、機能の比率を固定した単一の低コスト導入が実現し、大量生産には有益なソリューションとなる可能性があります。ただし、このようなシステムを構築してテストする時間と、必要な開発コスト(一度限りのコスト。NRE)を考慮すると、最新のコンポーネントで新しい構成を頻繁に構築することは、重要なワークロードを最高のパフォーマンスで実行するには理想的ですが、あまりにも費用がかかりすぎて現実的ではありません。

複雑なシステム設計を、各サブシステム用の小さくて交換可能なボードに分割し、特にCPUとメモリのみを含む標準フットプリントのホストプロセッサーモジュール(HPM)を含めることで、既存の共通モジュールから新しいシステム設計を組み立てることができます。新しいテクノロジーを提供するボードもより迅速に開発でき、既存の共通ボードと併用して、新しいシステム能力を展開するまでの時間を大幅に短縮できます。たとえば、これまでよりも大容量のメモリ拡張モジュールを、以前のメモリ拡張モジュールで使用していたのと同じストレージバックプレーン、HPM、ネットワーク、ストレージを備えた所定のシャーシに組み込むことを想像してみてください。この共通フットプリントのモジュール性により、特定のワークロードのニーズにこれまでよりも適合する、より柔軟な方法でシステムを構成することが可能になります。次世代のニーズが必ずしも明確でない場合、これは非常に価値のあることです。

 

OCP DC-MHSモジュールの主な一部(提供:Intel)*

 

システムボードのモジュール化と同様のメリットをもたらすもう1つの有益なテクノロジーは、チップレットの共通インターフェースの最近の標準化です。モノリシックチップを個別のダイに分割することで、効率的な製作とコスト効率の高い生産が可能になります。特定のコンポーネントには高度な製作方法を、その他のコンポーネントには従来の製造方法を用いることをチップレットが可能にし、製品ラインナップの拡大と効率改善につながります。新たな技術が発見・開発されてコンピューティングパフォーマンスの水準がさらに押し上げられているため、各チップレットを個別に設計し、アップグレードすることが可能です。これにより、新しいAIモデルや新たに発生したワークロードを高速化できるなど、新しい機能の柔軟性、迅速な採用、容易なメンテナンスが促進されます。
 

EDSFF規格で将来のシステムニーズに対応
 

SNIAのSFFテクノロジーアフィリエイトグループが発表したエンタープライズおよびデータセンター向け標準フォームファクター(EDSFF)という業界標準も、システムアーキテクチャーの進化するニーズに応える役割を果たしています。EDSFF規格は互いに依存する仕様であり、特定のフォームファクター(FF)であるE1とE3でコネクター互換のプラグ着脱可能なモジュールを実現します。E1 FFであるE1.S(ショート)とE1.L(ロング)は、1Uラックシステムスペースに垂直に収まります。E3 FFであるE3.S(ショート)とE3.L(ロング)は、2Uラックシステムスペースに垂直に収まります。

 

 

この業界でこれらの規格の開発を始めた当初、私たちのうちの何人かが共有していたのは、主たるターゲットであるデータセンターに最適化されたストレージデバイスで最適に機能し、新しいテクノロジーの採用や新しいアプリケーションにも対応できる汎用性のある規格であるべきだという信念でした。

ストレージに関して、EDSFF NVMeドライブが従来のフォームファクターよりも優れている点を以下に挙げます。

  • これまでよりも高いストレージ密度を実現して、同じ物理的スペースでより多くのストレージ容量とパフォーマンスを可能にする。
  • EDSFFドライブは、よりスリムなプロファイル、小型化したプロファイル、より大きな表面積により、優れた熱特性を備えている。
  • システムからの主電源電圧レールとして+12Vを使用することで、電源サポートの簡素化に対応。
  • 最大112Gbpsの信号送信に対応する一般的で安価なEDSFF標準コネクターにより、高速インターフェースの信号整合性が向上し、また、より高い電力への対応が可能。


こうした利点は、モデルのトレーニングデータ用に豊富な容量の高性能ストレージを必要とする場合が多いAIワークロードにとって特に有益です。小型のEDSFFドライブは、システム内のドライブ数を拡張することで高いストレージパフォーマンス密度を実現し、GPUやプロセッサーが次のデータセットを待機する時間を短縮します。それより大きなフォームファクターはドライブあたりの大容量化に対応できるため、外部ストレージシステムに格納されることが多い、非常に大規模なトレーニングデータセット用に高性能、大容量のストレージ層を提供するのに最適です。

EDSFFドライブの優れた熱特性により、システム設計を最適化してGPUの冷却をさらに改善し、所定のエアフローでより高いパフォーマンスを実現できます。また、小型のフォームファクターのドライブは、システム前面のより狭いスペースに収まるストレージ機能を追加することもでき、フロントエアダクトのスペースや下流のシステムコンポーネントへの新鮮な空気の取り入れ口を確保しています。

多くのプラグ着脱可能なEDSFFストレージデバイスを使用してさまざまなワークロードに対応するシステムを構成する柔軟性は、現在生産中のサーバーシステムですでに活用されています。特定のワークロード要件に基づいて、ストレージ容量、パフォーマンス、消費電力を同じシステム内で調整することができ、多様なニーズに対応します。

ストレージの他にも、最近では、EDSFFファミリーのフォームファクターと標準高速インターフェースを活用した新しいデバイスの導入が始まっています。新しいCXL®プロトコルは、PCIeと同じ物理層での信号送信と相互接続によって、低レイテンシーでデバイスを接続する手段を実現しています。システムプロセッサーやその他のチップは同じピンでCXLとPCIeの両方をサポートできるため、システム内のEDSFFデバイススロットは、CXLプロトコルで接続する新しいデバイスにすでに対応していることがよくあります。マイクロンは先日、メモリデバイスなど半導体関連の標準規格を推進する業界団体である電子デバイス技術合同協議会(JEDEC)の規格で、CXL用に業界初のメモリモジュール仕様、「CMM」を発表しました。このCMMデバイスは、CXLインターフェースを備えたオンモジュールコントローラを介して標準DRAMデバイスを接続し、EDSFF準拠のシステムスロットに差し込むことで、システム基板を再設計することなくシステムのメモリ容量を拡張できます。

このように、EDSFFのプラグ着脱可能なモジュールを使うことで、システム構成の柔軟性はすでにメモリやストレージにまで拡大しており、今後は、処理やネットワークなど、さらに多くの種類のデバイスがPCIeやCXLで接続されるようになるでしょう。これらのデバイスはシステムの柔軟性、能力、パフォーマンスを向上させることで、AI主導のシステムアーキテクチャーにとって最適な選択肢となります。
 

今後のシステムアーキテクチャーに期待すること
 

まとめると、今後のシステムアーキテクチャーでは適応性、スケーラビリティ、イノベーションに重点が置かれるでしょう。AI、モジュール設計、最先端テクノロジーを取り入れるにあたっては、デジタル環境の形成でシステム設計者やアーキテクトが重要な役割を果たします。より多くのイノベーションは、チップパッケージからシステムシャーシやラックに至るまで、システムレベルで実現しなければなりません。モジュール式のシステム設計、チップレット、EDSFFドライブのようなプラグ着脱可能なモジュールは、頻繁に変化する要求と最高のパフォーマンスを発揮する堅牢なシステム設計との橋渡し役となります。それがシステムの最適な進化を実現する重要な要素になるのは、柔軟性こそ、AIその他の先進的なワークロードによる将来的な要求に対応するための鍵であるからです。

 

Distinguished Architect, Micron SBU (Storage Business Unit)

Jonathan Hinkle

Jonathan Hinkle is a Distinguished Member of Technical Staff in Micron’s Storage Business Unit and leads the Storage Solutions Architecture organization.  He and his group lead Micron’s storage standards work, do real-world testing and analysis of workload performance, and investigate new technology and products, both internally and with customers and partners.  Jonathan is an industry leading technical expert in memory, storage, and data center systems architecture with over 25 years of experience. 

photo of Jonathan Hinkle