オンデバイスのビジョン言語モデル(VLM)のパフォーマンスが、AIの演算能力だけでなく、メモリサブシステムにも大きく左右される理由
AIはもはや、テキストだけを扱うものではありません。現在では、モデルが画像をコンテキストとして利用する機会が増え、これまでにない方法で周囲の世界を理解し、やり取りできるようになっています。優れたAIスループットをうたうデバイスであっても、応答性に優れた持続的なマルチモーダルAIエクスペリエンスを必ずしも実現できるとは限りません。ビジョン言語モデルがデモンストレーションの段階から、スマートフォン、AI PC、拡張現実(AR)デバイス、その他のエッジシステムへと広がるにつれて、この一見矛盾する状況はますます重要な問題になっています。
そのような矛盾が生まれる理由は単純です。VLMが行うのは、単なる演算処理だけではないからです。VLMは、視覚データの取り込み、画像のトークン化、それらのトークンと言語コンテキストの結合、モデルパラメーターへのアクセス、中間状態の保持、応答の生成といった一連の処理を、厳しい消費電力と熱設計上の制約の中で実行しなければなりません。これらの処理がメモリ容量や帯域幅を奪い合う状況では、最大演算能力だけを見ても、システム性能の全体像を捉えることはできません。
マルチモーダルAIがシステムワークロードを変える
テキストのみのやり取りでさえ、モデルサイズやコンテキスト長の影響を大きく受けます。VLMでは、さらに別の要素が加わります。画像解像度、タイリング戦略、ビジョンエンコーダーの設計によって、言語モデルに入力される視覚トークンの数が決まり、最初の出力トークンが生成される前から、前処理、プリフィル、メモリへの要求が高まります。さらに会話が長くなると、システムが保持し、繰り返しアクセスする必要のあるコンテキストも拡大します。
こうした負荷は、常に同じ形で生じるわけではありません。ビジョンエンコーディング、プロンプトのプリフィル、トークン単位のデコーディングでは、それぞれ演算とメモリの利用特性が異なります。そのため、ボトルネックとなるリソースは、1回のやり取りの中でも変化する可能性があります。さらに、モデル、入力画像、コンテキストウィンドウ、デバイスの電力状態が変化すれば、ボトルネックとなるリソースも変わる可能性があります。
一部のAIパフォーマンス指標では全体像を捉えきれない理由
ゆえに、アクセラレーターのスループットだけでは、ユーザーエクスペリエンスの全体像を予測することはできません。初回トークン生成までの時間、トークン生成速度、持続的なパフォーマンス、1回のやり取りあたりのエネルギー消費量、有用なコンテキストを保持する能力はすべて、プラットフォームがどれだけ高速に演算できるかだけでなく、データをいかに効率よく移動・保存できるかにも左右されます。
システムデザイナーにとって、より重要なのは、「このデバイスはどれだけ多くのAI演算を実行できるか」という問いではないかもしれません。むしろ問うべきなのは、「プラットフォーム全体で演算エンジンに必要なデータを供給し、必要な状態を保持しながら、電力予算の範囲内でエクスペリエンスを持続的に提供できるか」ということです。
メモリがアーキテクチャー設計を左右する
メモリ容量によって、どのデータをメモリ上に常駐させておけるかが決まります。帯域幅は、モデルの重みや中間データをどれだけ高速に供給できるかに影響します。電力効率は、ワークロードをどれだけ長く継続して実行できるかに影響します。そして、データの配置と移動が、これら3つすべてに影響します。こうした要素を考慮しても、演算能力の重要性が低下するわけではありません。むしろ、これらの要素が一体となって、演算能力をどれだけ効果的に活用できるかを左右します。
こうしたシステム全体を捉える視点に立つと、エッジとクラウドのどちらで処理するかという判断も、より明確になります。オンデバイスで処理することで、低レイテンシーでのやり取り、プライバシーの確保、パーソナライゼーション、ネットワークに接続していない状態での動作が可能になります。クラウドで処理することで、より大規模なモデルや、需要に応じて柔軟に拡張できるリソースを利用できます。エッジとクラウドの適切な処理分担は、ワークロード、目標とするエクスペリエンス、両者の間でデータを移動するコストによって決まります。
詳細を見る
マイクロンのホワイトペーパー「エッジデバイスでビジョン言語モデルを実現する:メモリサブシステムの重要性」では、こうした負荷がVLM推論パイプライン全体でどのように生じるのかを検証しています。本ホワイトペーパーでは、メモリトラフィックを増大させるワークロードの特性、より情報量の多い視覚入力や長時間にわたるやり取りが及ぼす影響、さらに応答性や効率性を左右するプラットフォームレベルのトレードオフについて解説しています。
最も重要なポイントは、AIを評価する決定的な指標として、メモリが演算能力に取って代わるということではありません。次世代のオンデバイスAIの成否や限界は、システムレベルで決まるということです。この結論の根拠となる測定結果、スケーリング分析、アーキテクチャーへの影響について詳しくは、ホワイトペーパー全文をご覧ください。