真の課題は、AIのピークパフォーマンスに達することではありません。重要なのは、ワークロードの規模が拡大しても、実用的なスループット、予測可能なレイテンシー、効率性を維持することです。
AIシステムは、管理された条件下では、ベンチマークで優れた結果を示すことができます。しかし、本番環境での推論には、より厳しい要件が求められます。コンテキスト長は変動し、同時リクエスト数は増減します。また、新たに登場しているエージェント型アプリケーションでは、蓄積され続ける履歴や増え続けるデータソースを参照しながら、継続的に処理が実行される場合もあります。
こうした状況では、最大演算能力だけでユーザーエクスペリエンスが決まるわけではありません。より重要なのは、需要が増大しても、システムが一貫した性能を維持できるかどうかです。
演算がデータ待ちになるとき
モデルが大規模になるほど、その重みを保持するために、より大きなメモリ容量が必要になります。さらに、コンテキストウィンドウや同時セッション数が拡大すると、メモリ容量への負荷も一段と高まります。システムは、高価な演算リソースを十分に活用し続けられるよう、こうしたデータを十分な速度で繰り返し移動・供給する必要があります。
メモリ容量、帯域幅、レイテンシー、データ移動のいずれかが処理の要求に追いつかなければ、演算リソースを増やしても、それに見合うパフォーマンスの向上が得られない場合があります。その結果、スループットが頭打ちになり、レイテンシーの予測が難しくなり、エネルギー効率も低下する可能性があります。
したがって、持続的な推論における制約要因は、システムがどれだけ高速に演算できるかということよりも、演算処理に必要なデータをいかに効率よく供給し続けられるかにあると考えられます。
メモリと演算の関係を見直す
そのため、AIインフラストラクチャーの設計では、プロセッサーの仕様だけでなく、データパス全体に目を向ける動きが広がっています。
メモリを独立した補助的なリソースとして捉えるのではなく、持続的な推論ワークロードを処理するうえでメモリと演算がどれだけ緊密に連携できるかを評価することに焦点が移りつつあります。
そこで重要になるのは、AIシステムがどれだけの演算リソースを備えているかだけでなく、実際の運用環境でプラットフォーム全体がその演算能力をどれだけ効果的に維持できるかという設計上の視点です。
持続的なAI推論を新たな視点から捉える
こうした課題をより深く理解するため、マイクロンのチームは、現在の推論ワークロードがメモリアーキテクチャーへの依存を強めていること、また、モデルサイズ、コンテキスト長、同時実行数が増大するにつれて、演算とメモリの連携がますます重要になることについて調査しました。
その結果、AIのボトルネックがどこで生じるかについての一般的な見方に疑問が投げかけられるとともに、パフォーマンスを維持するにはシステム設計をより広い視点から捉える必要があることが明らかになりました。
インフラストラクチャーアーキテクト、データセンターのプランナー、AIプラットフォーム開発者にとって、こうした知見は将来のAIシステムをどのように構築し、最適化していくかを判断するうえで役立つでしょう。
ピークパフォーマンスから持続的なパフォーマンスへ
ピークパフォーマンスは今後もAIの能力を測る重要な指標であり続けるでしょう。しかし、AIがデモンストレーションの段階から継続的な導入へと移行するにつれて、インフラストラクチャーについても、持続的なスループット、予測可能なレイテンシー、エネルギー効率、より多くのユーザーや長時間稼働するワークロードに対応できる能力という観点から評価する必要があります。
次世代のAIシステムは演算能力だけで決まるものではありません。演算、メモリ、データ移動がどれだけ効果的に連携できるかによってその性能が決まります。
詳細を見る
マイクロンの「持続的なAI推論のための統合メモリアーキテクチャー」では、メモリがAIのスケーラビリティにおいてなぜ中心的な役割を担うようになっているのか、また、ピークパフォーマンスだけでは十分でない場合にどのようなシステムレベルのトレードオフが重要になるのかを詳しく解説しています。