AI

AIの次なる時代に向けたKVキャッシュの拡張

カーティク・ガネーサン

人工知能を表現した、紫と青に光る回路

意外に思われるかもしれませんが、現在のAIにおける 最も重要なボトルネックの一つは、GPUの速度とは関係ありません。

AIに長い文書の要約を依頼したり、複雑なコードのデバッグを頼んだり、 複数の段階を経て問題の解決を手伝ってもらったりするたびに、 その舞台裏では、多くの人が普段ほとんど意識しない処理が行われています。AIは、 今何を尋ねられ、それに対してどのように応答したのかを記憶しておく必要があります。さらに、 その前に何を尋ねられ、どのように応答したのかも、 会話の最初までさかのぼってすべて記憶しておかなければなりません。しかも、 人間のように曖昧に記憶するわけではありません。質問ごと、応答ごと、 細かな内容に至るまで、100%正確に保持する必要があります。

これだけの情報を保存するには、膨大な容量が必要です。

こうした「それまでに交わされた内容」を保存する仕組みには名前があります。それがKV キャッシュです。そしてKVキャッシュは今、AIを支えるインフラにおける 最も差し迫った課題の一つになりつつあります。

AIが想定していなかったメモリの課題

現在のAIモデルが、ほんの数年前と比べてどれほど多くの情報を扱うようになったのか 考えてみてください。わずか7年の間に、 AIモデルが保持できるコンテキスト量は 約2万倍に増加しました(platform.claude.com、understandingai.org)。 モデルが保持するコンテキストが増えれば、それだけ必要なメモリも増えます。しかも、 そのメモリが必要なのはモデル自体を格納するためではありません。ユーザーとの会話内容を記憶しておくためです。そして、 この容量の問題は改善するどころか、さらに厳しくなっています。

KVキャッシュへの負荷を高める3つの要因

この問題の背景には、3つの異なるトレンドが同時に進行していることがあります。 そのどれもが、それぞれKVキャッシュの需要を押し上げる要因となっています。

1. コンテキストウィンドウは拡大を続けている

より長いコンテキストウィンドウによって得られる生産性向上のメリットは明らかで、 大きな魅力があります。開発者は、コードベース全体をAIアシスタントに読み込ませたいと考えています。 法律の専門家は、数千件もの文書を一度に分析したいと考えています。そしてユーザーは、 コンテキストが多ければさらに良い回答が得られるので、今後もさらに多くの情報を扱えるよう求め続けるでしょう。

2. Chain-of-Thought(思考の連鎖)推論がリソース需要を押し上げている

「推論モデル」と呼ばれることの多い新しいタイプのAIシステムは、単に 素早く応答を生成するだけではありません。OpenAIのo3やDeepSeek-R1のようなシステムは、 問題を段階的に処理し、途中の推論を 連鎖的に生成してから、最終的な回答にたどり着きます。内部では、推論モデルが 最終的な回答に現れる数の数倍に及ぶ推論トークンを生成することもあり、 推論時のKVキャッシュ使用量が大幅に 増加します。

3. AIのエージェント化が進んでいる

これは、おそらく最も大きな変化です。AIチャットボットが 会話の内容を数秒から数分程度しか記憶しないのに対し、AIエージェント( ツールを使用し、APIを呼び出し、ユーザーに代わって長期にわたるワークフローを管理するAI )は、複数のセッションにまたがって数時間、数日、あるいは それ以上にわたりコンテキストを記憶しておく必要があります。AIエージェントによって、KVキャッシュは 短期的な作業領域から、永続的なストレージに近い仕組みへと 変わりつつあります。かつては舞台裏の実装上の一要素にすぎなかったものが、 今ではシステム設計上の主要な課題になっています。

ソフトウェアだけで解決できないのか?

もっともな疑問です。実際のところ、ソフトウェアによる改善の効果は非常に大きいものの、 それだけでこの問題を解決することはできません。研究者や エンジニアは、KVキャッシュのサイズを削減するための 優れた手法を数多く開発してきました。こうした手法には確かな効果があり、需要の増加ペースを 抑えることができます。

しかし、根本的な流れを変えるまでには至りません。そこには、160年前から知られている理由があります。

1865年、英国の経済学者ウィリアム・スタンレー・ ジェヴォンズは、当時の蒸気機関について、意外とも思える現象が起こっていることに気づきました。 燃料効率が向上しても、英国では 石炭の消費量が減らなかったのです。むしろ、消費量は大幅に増加しました。 効率化によって蒸気動力は安価で利用しやすいものとなり、その結果、 効率向上によって節約された量をはるかに上回るほど利用が拡大したのです。彼は これをリバウンド効果と呼びました。現在では、 ジェヴォンズのパラドックスと呼ばれています。

今まさに、AIインフラでも同じ現象が起きています。エンジニアが KVキャッシュを小さくする方法を見つけるたびに、ユーザーや運用者は そこで生まれた余裕を、より大きなコンテキストウィンドウや、より多くの 同時利用ユーザー、より複雑な推論タスクへとすぐに振り向けます。需要は 利用可能な容量を埋め尽くすまで拡大し、さらにはその容量を上回るほど膨らんでいきます。効率が高まれば、それだけ需要も膨らむのです。 今のところ、需要が減少に転じる兆しは見られません。

メモリ階層が必要な理由

では、解決策は何でしょうか? それは、コンピューターアーキテクトが コスト、容量、速度のギャップを埋めるために何十年にもわたって採用してきたものと同じです。つまり、 階層型のアーキテクチャーです。

ノートパソコンなどのコンピューティングシステムでは、すでにこの仕組みが使われています。最も 頻繁に必要となるデータは、高速でコストの高いキャッシュに置かれます。それより 優先度の低いデータはRAMに置かれます。それ以外のデータはSSDに保存されます。システムは、 データがどのくらいの頻度で、どの程度すぐに必要とされるかに応じて、 適切な保存先を選択します。

AI推論システムでも基本的な考え方は同じですが、その規模ははるかに 大きくなります。

重要なのは、どれか1つの階層を選ぶことではありません。アクセスパターンや ワークロードの要件に応じてデータを適切に移動させながら、すべての階層を連携させることが 重要なのです。

そして、SSD層には、私たちの多くが想像する以上の能力が あることが分かっています。

注目すべきデータセンターでの実証実験

マイクロンは、この考え方を実際に検証しました。マイクロンのデータセンターワークロードエンジニアリング チームは、Micron 9550 PRO SSDと一般的なオープンソースのAI推論フレームワークを使用して、 幅広い検証テストを実施しました。その結果、 興味深い事実が明らかになりました。

高性能SSDストレージを追加してKVキャッシュをGPUメモリの外まで拡張することで、ロングコンテキスト推論の処理能力を大幅に高められる可能性があります。さらには、GPUの利用率向上やインフラコストの削減につながる可能性もあります。

ここに、階層型メモリの経済性が生きてきます。GPUのオンボードメモリを 置き換えるわけではありません。より大容量で低コストな受け皿を用意することで、 GPUメモリの容量不足を理由にリクエストを処理できなくなる状況を減らし、より多くのリクエストに 対応できるようにするのです。

AIビジネスの中心は推論

ここには、AIインフラについて議論する際に見落とされがちな、 さらに重要なポイントがあります。

AI業界の黎明期には、当然ながら、現在のAIアプリケーションを支える 巨大なモデルの学習に大きな関心が注がれてきました。しかし、学習にかかるコストは 基本的に一度限りです。一方、推論、つまりユーザーやAIエージェントからの実際の問いに答えるために、 1日に何百万回もモデルを実行する処理は、AIが継続的な経済的価値をもたらすための 原動力です。価値が絶えず生み出されるのは、この推論の段階です。

メモリとストレージは、単に推論を支えるだけではありません。メモリとストレージは、 推論の経済面を左右します。同時に何人のユーザーに対応できるのか、 どの程度長いコンテキストを扱えるのか、クエリ当たりのコストをどこまで抑えられるのか、 そして収益性を保ちながらAIアプリケーションを拡張できるのか。こうしたすべてを左右するのが、 メモリとストレージの階層構造です。

この点を適切に設計できる企業は、メモリを 後回しに考える企業よりも、高速で高性能、かつ効率的な AIシステムを構築できるでしょう。一方、適切に設計できなければ、 メモリをどこに配置するかという制約に直面することになります。

今後に向けて

現在、多くの企業は、AIシステムがメモリとストレージに何を求めているのかを理解し始めたばかりです。コンテキストウィンドウは、今後も拡大し続けるでしょう。エージェントの自律性はさらに高まり、より長時間にわたって動作するようになるでしょう。KVキャッシュをめぐる課題は、改善に向かう前に、さらに厳しさを増すと考えられます。

一方で、進むべきアーキテクチャーの方向性は、着実に明確になってきています。応答時間が重要な場面では速度を重視し、容量が最優先となる場面では拡張性を重視する。このように用途に応じて適切に階層化されたメモリアーキテクチャーを構築することで、一見すると克服不可能に思えるボトルネックも、解決可能なエンジニアリング上の課題へと変えることができます。

この階層構造を実現するためのメモリとストレージのテクノロジーは、すでに存在しています。

ここで取り上げた技術アーキテクチャーやデータ、その背景にあるエンジニアリングの詳細についてさらに詳しく知りたい方は、KVキャッシュの課題:AI推論メモリの新たなフロンティアを切り拓くをご覧ください。

ボトルネックは現実に存在します。しかし、解決策もすでに存在しているのです。

ストレージソリューションアーキテクチャー担当テクニカルフェロー

ラムカーシク・ ガネーサン

ラムカーシク・ガネーサンは、マイクロンのテクニカルフェローとして、コアデータセンタービジネスユニットのストレージソリューションアーキテクチャーを担当しています。ストレージシステム、パフォーマンス最適化、システム設計について深い専門知識を持つ、経験豊富な技術者です。マイクロンでは、主にAI、クラウド、エンタープライズワークロードを支える次世代ストレージイノベーションに従事しています。

関連ブログ