Invalid input. Special characters are not supported.
データセンターにおけるAIの消費電力は、いま大きな注目を集めているテーマです。たとえば、OpenAIは2024年度の決算報告書の中で、最大の営業費用は電力であったと報告しています。
人工知能（AI）システムアーキテクチャーを見てみると、電力消費量が多くなる要因が浮かび上がってきます。標準的なAIトレーニングシステムは8基のGPUで構成され、1システムあたり最大10kWhの電力を必要とします。また、サーバーベンダー各社からは、4基のGPUを搭載したNVIDIA HGXプラットフォームも提供されています。極めて大規模なGPUクラスターを必要とするAIトレーニングにおいては、大量の電力を消費するのは当然のことであり、それを前提として事業が成り立っています。では、小規模なワークロードについてはどうでしょうか。
AIはあらゆる場所に広がっている
エンタープライズAIは急速に成長している分野であり、企業固有の業務データをAIモデルに組み込む関係から、オンプレミスでのAI推論を求められるケースも少なくありません。先進的なAIソリューションは、大規模言語モデル（LLM）を基盤とし、それをローカルのエンタープライズデータでファインチューニングすることで、社内特有の略語や用語をすべて理解できるようになります。こうしたモデルが重要な業務データにアクセスする場合は、ローカルでの実行が欠かせません。
NVIDIA MGX
NVIDIAは、ArmのCPU、LPDDR5X、NVIDIA H100 GPUを1つのパッケージとして設計したシステムであるNVIDIA GH200 Grace Hopper Superchipを発売しました。このシステムの目的は、NVIDIA GPUのコンピューティング能力を提供しつつ、システム内の他の全要素の効率を最適化することにあります。
マイクロンは最近、72コアのNVIDIA Grace CPU、480GBのLPDDR5X、96GBのHBM3Eを搭載したH100で構成された1U NVIDIA GH200システムであるSupermicro ARS-111GL-SHRをテストしました。このシステムはNVIDIA BlueField-3 DPUも備えており、4台のMicron 9550 NVMe E1.S SSDに接続されていました。
BlueField-3を介してNVMeを接続することにより、最大8台のNVMe SSDを1UのNVIDIA MGXシステムに搭載できるため、GPUあたりのストレージ密度を大幅に高めることができます。
こうした高密度のプラットフォームによって、実装とシステム構成に関する新しい要件がいくつか生まれます。NVIDIA GH200では、1Uに2基のSuperchipコンプレックスを搭載できます。さらに将来的には、NVIDIA Blackwellベースのシステムで、1Uのエンクロージャに最大4基のGPUを搭載することも可能になる見込みです。
このようなシステムで考慮すべき重要なポイントとして、以下が挙げられます。
- 高密度システムでは液体冷却が必須となります。
- EDSFF規格のストレージが必要になります。1UシステムではE1.SフォームファクタのSSDが最適ですが、2UシステムではE3.Sがより一般的です。
- ストレージの性能密度が重要になります。物理的なスペースが限られているため、Micron 9550のような最大のパフォーマンスを発揮するSSDを少数搭載する構成が主流となるでしょう。
こうしことから、PCIe Gen6対応ストレージのニーズも高まりつつあります。
実際のところ、NVIDIA GH200を搭載したNVIDIA MGXプラットフォームはどの程度効率的なのか？
NVIDIA GH200と標準的なシステムで効率にどの程度の差があるかを把握するため、私たちはNVIDIA GPUDirect Storageと従来のI/Oパスを用いて、2台のサーバーの比較テストを行いました。
NVIDIA GPUDirect Storageを使用すると、GPUからNVMe SSDへのデータパスがGPU自身によって直接制御されるようになります。一方、制御パスのデータは引き続きCPUとDRAMを経由します。GPUDirect Storageを使用しない場合、すべてのデータがCPUとDRAMのバウンスバッファを経由する必要があり、これが大きなボトルネックとなります。
テストを実施した2台のシステムの仕様は以下のとおりです。
- Intel + NVIDIA H100 GPUシステム：Supermicro SYS-521GU-TNXR：Intel 8568Y+ 2基、48コア、512GB DDR5、NVIDIA H100NVL-96GB HBM3 GPU PCIe Gen5 x16、Micron 9550 PRO SSD。
- NVIDIA GH200 Grace Hopperシステム：Supermicro ARS-111GL-SHR：480GB LPDDR5X搭載NVIDIA GH200 Grace Hopper Superchip、H100 96GB HBM3、NVIDIA BlueField-3（PCIe Gen5 x4、前面E1.Sに取り付けられたMicron 9550 PRO SSDへのMCIO接続 x4）。
Intel + NVIDIA構成のシステムは、現在多くの企業がAIを導入する際に採用している、標準的なサーバーにNVIDIA H100を搭載する代表的な方式です。一方で、NVIDIA GH200は、H100のコンピューティング性能をより効率的に活用するためのアプローチを提供しています。
テスト対象のワークロードは256のワーカーと40GBのファイルで、GDSIOを使用して4KB単位でランダム読み取りを行いました。従来のパスを使用した場合、NVIDIA GH200は1ワットあたりのMB/秒で4倍高い効率を達成しています。NVIDIA GPUDirect Storageを使用した場合、効率はIntelシステムで10倍、NVIDIA GH200では4倍向上します。全体として、GDSを使用すると、NVIDIA GH200はIntelシステムに比べてエネルギー効率が60%向上します。
システムの平均消費電力を見ると、Intelシステムの平均消費電力は900W、NVIDIA GH200の平均消費電力は350Wでした。
エンタープライズAIワークロードに対応する効率的な方法
NVIDIA Superchipを搭載したMGXシリーズのシステムは、NVIDIA GPU独自のコンピューティング能力を活用できる電力効率の高い方法であることがわかりました。マイクロンのコンポーネントについて言えば、私たちはLPDDR5X、H100 GPUに搭載されるHBM3E、E1.SおよびE3.SフォームファクタのMicron 9550 NVMe SSDをこのプラットフォームに最適化しています。
NVIDIA GH200システムは、Supermicro、HPEなどから現在出荷されています。
- Supermicro MGX Grace Hopperシステム：このテストでは、ARS-111GL-SHRを使用しました
- HPE Proliant DL384
