入力が無効です。特殊文字には対応していません。
推論は、今後データセンターにおいて最も一般的なワークロードタイプになると考えられます。NVIDIA H100がデータセンターで広く採用され、NVIDIA DGX B200がNVL72以外のシステムにも展開されるようになったことで、コンピューティング能力は爆発的に向上しています。
PCIe®世代の帯域幅の拡大とコンピューティング能力の増加を比較すると、PCIeはGen3からGen6で8倍に増加したのに対し、GPU FLOPsは同期間で37.5倍に増加しています。
また、過去4年間でトレーニングクラスターの平均FLOPSは905倍に増加し、トレーニングデータセットのデータポイント数は同期間に2,500倍に増加しています。
推論はこれまでと同様、今後も計算集約型のワークロードであり続ける一方で、高速ストレージへの依存度が急速に高まっています。推論モデルは、LLMの有用性、精度、リソース要件を大幅に向上させるでしょう。シーケンス長の増加によりLLMシステムの設計にイノベーションがもたらされていることから、KVキャッシュをディスクに保存する方が、フラッシュして再計算するよりも効率的になってきています。これにより、企業が推論に採用するGPUローカルシステムのパフォーマンス要件はさらに高まるでしょう。
私たちはこのトレンドに注目し、卓越した性能を誇るSSD「Micron 9550」を開発しました。優れたIOPSと電力効率は、このような新たなワークロードに理想的です。
たとえば、Microsoft DeepSpeed ZeRO-Inferenceを使用してMicron 9550と主要な競合製品を比較したところ、Micron 9550は読み取り速度が15%速く、平均消費電力は27%低いことがわかりました。結果として、SSDの消費電力は37%、システム全体の消費電力は19%それぞれ削減されました。
書き込み処理は推論ワークロードの推論ワークロードにおいては小さな要素ですが、この側面でも、SSD間では顕著な差が見られました。Micron 9550は書き込み速度が78%高速でありながら、平均消費電力は22%低くなっています。つまり、Micron 9550では推論ジョブに必要な消費電力が半減し、システム全体の消費電力は最終的に43%削減されます。
推論におけるコンピューティング能力の爆発的な向上、そして驚くほど有用なイノベーションに対応できるよう、ストレージも進化を続ける必要があります。データセンターSSDの開発には長い時間がかかります。NAND製造、ASIC設計、電力管理、熱設計などは、AIシステムにおけるストレージの最終的なパフォーマンスに直結する重要な要素です。マイクロンは、Micron 9550をはじめとする現行世代のデータセンターSSDの開発の一環として、長年にわたりAIワークロードのテストを行ってきました。将来のAIワークロードに最適なドライブを開発するには、今、時代の一歩先を行く必要があることを私たちは認識しています。
テストの詳細：
DeepSpeed ZeRO AIOの読み取り – GPUのDeepSpeedライブラリから合成ワークロードをシミュレート。
テストシステム：Intel Xeon Platinum 8568Y+ x 2、768GB DDR5 DRAM、NVIDIA L40S GPU x 2
競合製品は、Micron 9550と仕様およびターゲットユースケースが類似したPCIe Gen5高性能データセンターSSD。
データは、446時間に及ぶ850回のテスト実行から生成。
