NVIDIAのGPUテクノロジーカンファレンス（GTC）は、AI業界で最も期待されているイベントの1つで、GPUコンピューティング、ディープラーニング、コンピュータービジョンなど、最新のイノベーションやトレンドを紹介しています。今年のGTC 2024は3月18～21日にかけて開催され、この分野の専門家やリーダーによる900を超えるセッション、基調講演、デモ、ワークショップが行われました。NVIDIAの誇りあるパートナーであるマイクロンもこのイベントに参加し、次世代のAIプラットフォームやアプリケーションを実現に導くメモリとストレージソリューションについて発表しました。AIエコシステムにおけるメモリとストレージの重要性を明らかにしたGTC 2024で見えてきた主なポイントを3つ、以下に挙げます。
1. メモリとストレージはAIプラットフォームを実現するための重要な要素
データはAIにとって極めて重要であるため、GTC 2024の主要テーマの1つは、AIワークロードにおけるメモリとストレージのパフォーマンスや容量に対する需要の高まりでした。AIモデルのサイズと複雑性が増す中で、より多くのデータを高速かつ低レイテンシーで処理し、保存する必要が生じています。これは、従来のメモリとストレージアーキテクチャーの課題であり、AIのパフォーマンスと効率に関するボトルネックになる場合があります。マイクロンはこの課題に対処するため、AIプラットフォームのデータフローと可用性を最適化するように設計されたメモリとストレージソリューションのポートフォリオを紹介しました。これには以下が含まれます。
- 業界をリードするパフォーマンスと電力効率を誇る、マイクロンの8層積層24GBおよび12層積層36GB HBM3E。マイクロンの8層積層24GB HBM3Eは現在量産中で、2024年（暦年）第2四半期に出荷されるNVIDIAのH200 GPUの一部となる予定
- Micron CZ120CXL™メモリモジュールは、AIとインメモリワークロードを高速化するために必要な容量、帯域幅、柔軟性を実現
- 3D医療画像処理の業界標準であるUnet3Dにおいて、最大17個のGPUに対応するマイクロンの9000および7000シリーズSSD
- 競合他社による容量を重視したSSDと比較した場合、AIデータレイクの取り込みを最大48%ブーストするマイクロンの6000シリーズSSD1
- LLM、コンピューター画像処理、GNNなど、AIトレーニングやAI推論を改善するマイクロンのテクノロジーを実証する実環境ラボの結果
マイクロンはデータスタック全体（ニアメモリ、メインメモリ、拡張メモリ、SSDデータキャッシュ、ネットワーク接続されたデータレイク）でこれらのメモリとストレージソリューションを活用することによって、AI革命の加速を支援し、AIプラットフォームがより多くのデータをより高速かつ効率的に処理できるようにします。
2. AIはPCIe® Gen5のキラーユースケース
GTC 2024のもう1つのハイライトは、PCIe Gen5インターフェースをベースにした新しいNVIDIA B100アクセラレーターの紹介でした。PCI Express規格は、高性能なCPU、GPU、SSD、ネットワークカードを接続する際に最も広く使われているインターフェースです。PCIe Gen5はGen4の2倍の帯域幅を実現し、レーンあたり最大32GT/秒のデータ転送が可能です。これは、データスループットの向上から恩恵を受けることがあるAIワークロードに大変革をもたらすでしょう。
ただし、データセンターでPCIe Gen5の潜在能力を最大限に活用するには、そのインターフェースに接続するデバイスも高速化と低レイテンシーに対応できなければなりません。そこで登場するのが、マイクロンのPCIe Gen5 SSDです。
NVIDIA、Dell、マイクロンは先日コラボレーションし、マイクロンのPCIe Gen5 SSD、Big Accelerator Memory2 (BaM)、NVIDIA H100アクセラレーター、PowerEdgeサーバーのメリットを紹介しました。このデモでは、PCIe Gen5高性能SSDにGNNトレーニングモデルのファイルを移動すると、Gen4と比較して、グラフニューラルネットワークのトレーニング時間を50%短縮できることを示しました。
また、このテストでは、NVIDIA A100（とGen4）と比較して、H100（とGen5）が5倍のパフォーマンス改善を示しました。GPUパフォーマンスが世代ごとに5倍ずつ向上しているため、ストレージデバイスも同じく急速に進歩させる必要があります。一般的なディープラーニング推奨モデル（DLRM）ワークロードでは、キュー深度が10～100となり、128K～512Kのチャンクを読み込みます。Gen5 SSDでは、これが通常、最大14GB/秒というドライブスループットに達します。AIモデルのファイル移動では、小さなブロックのパフォーマンスが極めて重要になります。上述したGNNデモでは、1,000を上回るキュー深度で4Kブロックを読み込み、最速のPCIe Gen5 SSDの最大ランダム読み取りスループットを簡単に達成しました。
マイクロンのPCIe Gen5テクノロジーデモでは、14GB/秒のシーケンシャルスループットだけでなく、3,300,000 IOPSというランダム読み取りも示しました。これは4Kワークロードで13.2GB/秒のスループットに相当し、現在市場に出回っている競合製品と比べて22～32%高速になります。
マイクロンのPCIe Gen5 SSDは、このように高性能と効率性を提供することで、新しいNVIDIAアクセラレーターの性能を最大限に引き出すAIプラットフォームを実現し、結果として、迅速な成果をもたらし、AIハードウェア購入に対する投資利益率を高めます。
3. ネットワーク接続されたデータレイクを大容量SSDに展開することが増えている
GTC 2024で見えてきた3つ目のポイントは、AIアプリケーションによって生成され、消費される大量のデータを保存し、アクセスするために、ネットワーク接続されたデータレイクをHDDではなくSSDに展開するトレンドが拡大していることです。ネットワーク接続されたデータレイクは、InfiniBandやイーサネットなどのネットワークを介してAIプラットフォームに接続する、分散型の大規模データリポジトリです。ネットワーク接続されたデータレイクは、AIデータにスケーラブルで柔軟性のあるストレージ容量を提供し、さまざまなプラットフォームやユーザー間でのデータ共有やコラボレーションを可能にします。一方で、データ転送速度や密度に関する課題が生じ、総所有コスト（TCO）の計算に大きく影響します。
そうした課題を克服するために、多くのAIユーザーや開発者はHDDではなく、Micron 6500 IONなどの大容量SSDを選択して、ネットワーク接続されたデータレイクを構築・運用しています。このクラスのSSDには、HDDと比べて、ネットワーク接続されたデータレイクに適した以下のような利点があります。
- データの取り込みと処理速度が速いため、AIモデルのトレーニングや推論にかかる時間とコストを削減できる。PCIe Gen4 SSDは、シーケンシャル読込性能で最大6.8GB/秒を実現し、シーケンシャル書き込み性能でも5.7GB/秒を上回ることがあります1。これはHDDよりもはるかに高速です。HDDでは、シーケンシャル読込性能もシーケンシャル書き込み性能も300MB/秒に届きません3。つまり、こうした大容量SSDはHDDの22倍を上回る速度でデータを処理できるため、AIのワークフローと成果を大幅に高速化できます。
- データ密度が高く、消費電力が低いため、TCOを削減し、ネットワーク接続されたデータレイクの効率性を高めることができる。SSDは、1ドライブあたり30.72TBのデータを1立方インチあたり4.8TBという高密度で保存できます。これは、現在最も高密度な24TBのニアラインHDDの約5倍になります4。つまり、SSDは少ないスペースでより多くのデータを保存できるため、ネットワーク接続されたデータレイクのハードウェアやインフラにかかるコストを削減できます。
結論として、GTC 2024はAI業界における最新のイノベーションとトレンド、そしてAI革命を推進するマイクロンのメモリとストレージソリューションを紹介する素晴らしいイベントでした。マイクロンはNVIDIAのパートナーであることを誇りにしており、引き続き、AIエコシステムに関するコラボレーションと貢献を楽しみにしています。
