AIに質問するたびに、その裏側では驚くべき処理が行われています。AIの基盤となる言語モデルは単に「考えて」いるだけではありません。会話の内容を記憶しています。会話に含まれる単語、関係性、ニュアンスの一つひとつを追跡しているのです。この記憶は、いわば投資です。ギガバイト単位で測られ、ミリ秒単位で消費されるこの記憶は、今やAIインフラにおいて最も価値のある資産になりつつあります。それがKVキャッシュです。そしてKVキャッシュは、単に増大しているだけではありません。複利のように膨らみ続けているのです。
トークンとは何か、なぜその「配当」が重要なのか
トークンとは、用途に応じて、システムが情報を表現、処理、認証するために使用する最小のデータ単位です。トークンは、AIにおける通貨のようなものだと考えると分かりやすいでしょう。ユーザーが入力した単語、音節、句読点はすべてトークンに変換されます。トークンは、大規模言語モデル（LLM）が意味を扱うための基本単位です。モデルが回答を生成するとき、参照しているのはユーザーの最新メッセージだけではありません。会話履歴全体を参照し、「アテンションメカニズム」と呼ばれる仕組みによって、トークン同士の関係性を計算しています。これが、モデルのワーキングメモリです。
「KVキャッシュは、AIがトークンを生成するたびにメモリ上に蓄積される配当のようなもので、その『投資』が複利的に積み上がることで、コンテキスト、一貫性、継続性が高まっていきます」
新しい単語が生成されるたびに、こうした関係性をゼロから再計算しなくて済むよう、モデルはキー（K）ベクトルとバリュー（V）ベクトルという中間的な数学表現を、KVキャッシュと呼ばれる領域に保存します。そのサイズを左右する計算式は、非常に厳しいものです。
レイヤー数×ヘッド数×ヘッド次元数×シーケンス長×要素あたりのバイト数
ここで、トークンエコノミーの現実を見てみましょう。このキャッシュは、緩やかにスケールするものではありません。Llama-3.3-70Bのような700億パラメータ級のモデルでは、10万トークンのリクエスト1件だけでも、すでに数十GBのKVキャッシュが必要になります。Llama 405Bのようなフロンティアクラスのモデルになると、100万トークンのコンテキスト1つだけで、1人のユーザー、1つのシステムあたり、HBMとDRAMを合わせて2TBを超えるメモリが必要になります。そこに数十人の同時ユーザーを掛け合わせてみてください。中規模のデプロイメント1つだけで、KVキャッシュ需要は数十TBに達します。これがサーバー1台あたりの現実です。フリート全体で見れば、その規模はさらに桁違いに大きくなり、しかも急速に拡大しています。
さらに、この問題は複利のように膨らんでいきます。現在最も高性能なAIアシスタントを動かしている推論モデルは、ユーザーに返す量の3～10倍ものトークンを内部で生成します。そうした中間トークンはすべてキャッシュする必要があるため、各リクエストのメモリフットプリントは大幅に膨れ上がります。
現在のGPUプラットフォームでは、ノードあたり最大288GBのHBMを搭載していても、並行して実行されるロングコンテキストセッションのKVキャッシュをすべて保持することはできません。どこかで限界が生じます。
誰も無視できない大きな構造変化
解決策を見る前に、まず押し寄せつつある波の圧倒的な規模を理解しておく必要があります。現在のAIコンピューティングは、AI学習とAI推論にほぼ二分されています。今後数年で、推論が主要なワークロードとなり、AIコンピューティング全体の3分の2を占めるようになります[1]。2030年までには、推論がAIコンピューティング需要全体の70～90%を占めると予測されています。
推論こそがAIビジネスです。そして、メモリとストレージが推論の経済性を決定づけます。
単一のサーバーから業界全体へと視点を広げると、その方向性はさらに鮮明になります。主要モデルのコンテキストウィンドウは、2023年から2025年にかけて、12万8,000トークンから100万トークンへと年率約30倍のペースで拡大しており、現在も拡大を続けています[2]。現時点でロングコンテキストウィンドウを使用しているデプロイメントは、まだごく一部に限られます。しかし、複数ドキュメントをまたぐ推論、大規模なソフトウェアリポジトリ、エージェント型ワークフロー、マルチモーダルアプリケーションを背景に、その割合が高まるにつれ、グローバルな推論基盤全体のKVキャッシュ需要も連動して加速していきます。これは、メモリ容量に対する負荷が少しずつ増しているという話ではありません。AI業界全体のメモリとストレージ要件に、非連続的な大きな変化が起きているということです。
アルゴリズムの改善により、トークンあたりに必要なKVキャッシュ容量は削減され続けています。しかし、ここで重要なのは、効率化によって得られた余力が、すぐに、より長いコンテキスト、より多くの同時ユーザー、より複雑なエージェント型ワークロードへと再投資されるという点です。エージェント型AIだけでも、標準的な推論に比べて10～40倍のメモリ容量を必要とします。メモリとストレージの需要は減少していません。むしろ加速しています。
画像をクリックして拡大
AI推論向けのKVキャッシュ用メモリおよびストレージ階層。近接メモリからネットワーク接続型データレイクまでを示している。
リターンを複利のように高めるピラミッド
解決策は単一のメモリテクノロジーではありません。5層の階層構造からなります。それは、KVキャッシュデータが時間の経過とともに下位層に移動していくピラミッドであり、各層は推論ライフサイクルの特定の段階に合わせて設計されています。各セクションには、対応するメモリまたはストレージ製品、KVキャッシュの保存容量、データ帯域幅、KVキャッシュが再呼び出しに備えて通常保持される時間が示されています。
メモリとストレージの階層
| GPUあたりのKVキャッシュ保存容量 | GPUあたりの帯域幅 | 用途（データ常駐期間） | メモリカテゴリー | メモリソリューション |
|---|---|---|---|---|
| 10～100GB | 1～20TB/秒 | アクティブなトークン生成（数ミリ秒～数秒） | 近接メモリ | Micron HBM4およびHBM3E、Micron GDDR7 - GPUやその他のアクセラレーターに最も近いメモリには、LLMの学習と推論を実現するための極めて高い帯域幅が求められます。 |
| 200～400GB | 100～500GB/秒 | ロングコンテキストクエリ（数秒～数分） | メインメモリ | Micron High-Capacity DDR5 RDIMMおよびMicron SOCAMM2 - メインメモリには、CPUやGPUにデータを供給するための容量と帯域幅のバランスが求められます。 |
| 数百GB～数TB | 100～200GB/秒 | クエリのスケジューリング、コンテキスト切り替え（数分～数時間） | 拡張メモリ | Micron High-Capacity DDR5 RDIMMによる分散型メモリアレイ - ネットワーク接続型メモリは、メインメモリと同等の性能を保ちながら容量を拡張できる、柔軟でプール化されたメモリ容量を提供します。 |
| 数十TB～数百TB | 20～200GB/秒 | 高速なマルチターンワークフロー（数時間～数日） | コンテキストメモリストレージ | Micron 9650 SSD、Micron 7600 SSD - 推論システムは、ロングコンテキストのマルチターンワークフローで再計算を回避できます。 |
| 数PB | 10GB/秒未満 | RAGとストレージ（数日～数年） | ネットワーク接続型データレイク | Micron 6600 ION SSD - ネットワークファイルストレージやオブジェクトストレージ上のデータレイクにより、大量のデータを保存し、複数のAIサーバーにデータを供給するために必要なパフォーマンスを実現します。 |
| 注：KVキャッシュは、時間の経過とともに下位の階層に退避されます。 | ||||
表：推論におけるKVキャッシュ用メモリとストレージの階層化
階層1：近接メモリ（HBM）、トークンエコノミーの取引フロア
Micron HBM4、HBM3E、GDDR7 | GPUあたり10～100GBのKVデータ | 1～20TB/秒 | 数ミリ秒～数秒
ピラミッドの頂点に位置するのが、AIにおいて最も高速で、最も高価な領域である広帯域幅メモリ（HBM）です。ここでは、アクティブなトークン生成、つまりリアルタイムのアテンション計算と推論が行われます。帯域幅が20TB/秒に達するHBMは、まさにトークンエコノミーの取引フロアです。1マイクロ秒も無駄にできず、すべてのバイトに即座にアクセスできなければなりません。
しかし、その容量には限りがあり、コストも高くなります。モデルの重みだけでHBMの大きな割合が占められるため、KVキャッシュは残された領域を奪い合うことになります。モデルが大規模化し、コンテキストウィンドウが拡大するにつれて、HBMにかかる負荷は高まっていきます。需要が容量を超えると、KVキャッシュは下位階層に移動させる必要があります。そうしなければ、推論処理は停止してしまいます。
階層2：メインメモリ（DDR5/LPDDR）、運転資本
Micron High-Capacity DDR5、SOCAMM2 LPDDR | 200～400GBのKVデータ | 100～500GB/秒 | 数秒～数分
ロングコンテキストクエリがGPUで直接扱える範囲を超えると、KVキャッシュはメインメモリに移動します。これは運転資本のようなものです。HBMよりもはるかに大きな容量を持ち、流動性も高い一方で、帯域幅による制約は受けます。Micron High-Capacity DDR5 RDIMMとMicron LPDDR SOCAMM2モジュールは、CPUとGPUの両方にデータを円滑に供給するために必要な容量と帯域幅のバランスを実現します。
高度な文書分析、リーガルレビュー、複数回にわたるリサーチセッションなどを可能にするロングコンテキストクエリは、アクティブに処理されている間、この階層に置かれます。100万トークンを超えるコンテキストの利用が進むにつれ、この階層にはますます大きく、絶え間ない負荷がかかるようになります。
階層3：拡張メモリ（分散型DDR5）、融資枠
Micron High-Capacity DDR5 RDIMMによる分散型メモリ | 数百GB～数TBのKVデータ | 100～200GB/秒 | 数分～数時間
拡張メモリは、トークンエコノミーにおける柔軟な融資枠のような存在です。ネットワーク接続された分散型メモリプールで構成され、クエリのスケジューリングやコンテキスト切り替えによって単一サーバーのDRAM容量を超える需要が発生した場合に、その超過分を吸収します。この階層は、多くのユーザーがインフラストラクチャーを共有し、ワークロードが動的に変化するマルチテナント環境で極めて重要です。コンテキスト長と同時実行数がともに増えるにつれ、このレイヤーは、単一サーバーで保持できる容量と、AIサービスを実際に提供するために必要な容量とのギャップを埋める役割を果たします。
階層4：コンテキストメモリストレージ（NVMe SSD）、長期保管口座
Micron 9650 SSD、Micron 7600 SSD | 数十～数百TBのKVデータ | 20～200GB/秒 | 数時間～数日
AIがシングルターンのチャットボットから多段階のエージェント型ワークフローへと進化するにつれ、一時的な構造であったKVキャッシュに、永続的なストレージという新たな課題が生じつつあります。複雑なエンタープライズタスクを管理するAIエージェントにとって、新しいアクションステップごとに推論履歴全体を再計算することは現実的ではありません。その再計算には時間とコストがかかり、大規模環境では経済的に成り立ちません。
マイクロンのデータセンターワークロードエンジニアリング（DCWE）チームは、数百に及ぶテスト構成で、NVMe SSDベースのKVキャッシュオフロードを検証し、スループットの低下がないことを確認しました。エージェント型ワークロードは、標準的な推論に比べて10～40倍の容量を必要とします。さらに、数時間から数日に及ぶマルチターンワークフローでは、この階層が極めて重要な役割を果たします。エージェント型AIが主流化するにつれ、コンテキストメモリストレージは、階層全体の中でも特に急速な容量拡大が見込まれる領域となります。
階層5：ネットワーク接続型データレイク、金庫
Micron 6600 ION SSD | ペタバイト規模のKVデータ | 10GB/秒未満 | 数日～数年
ピラミッドの基部、つまり最も広く深い層に位置するのが、ネットワーク接続型データレイクです。これはトークンエコノミーの金庫にあたる階層です。検索拡張生成（RAG）用のKVキャッシュ、長期的なエージェント型メモリ、エンタープライズナレッジベースが、数日、数週間、あるいはそれ以上にわたって保持されます。マイクロンの6600 ION SSDは、ネットワークファイルストレージまたはオブジェクトストレージから複数のAIサーバーに同時にデータを提供できるよう設計されており、ペタバイト規模のAIメモリに求められる密度と耐久性を実現します。RAGアーキテクチャーが広がり、企業が永続的なAIナレッジストアを構築するようになるにつれ、この階層に求められる容量は全階層の中でも最大規模になるでしょう。
結論
KVキャッシュは、AIがトークンを生成するたびにメモリ上に蓄積される配当のようなもので、その「投資」が複利的に積み上がることで、コンテキスト、一貫性、継続性が高まっていきます。そして、その配当はあらゆる面で同時に拡大しています。リクエストあたりのトークン数は増え、コンテキストは長くなり、同時ユーザー数は増加し、エージェント型セッションはより継続的なものになっています。
この配当を単一のメモリテクノロジーだけで生み出すことはできません。頂点に位置するHBMから、基部にあるネットワーク接続型データレイクまで、階層全体が連携して機能する必要があります。KVキャッシュが時間とともにピラミッド全体を移動しながら価値を複利のように高めていく中で、各階層がそれぞれの役割を果たします。
推論がAIコンピューティングの中心となり、KVキャッシュが推論における最大のメモリ消費要因になるにつれ、メモリとストレージの階層全体を最適化できるかどうかが、企業がAIを大規模に、高速に、そして持続可能な形で提供する決め手となります。
このピラミッドは、単なるアーキテクチャーではありません。大規模AIの経済的基盤であり、パフォーマンスの向上、効率化、TCO上のあらゆる優位性は、この階層構造を適切に構築することから生まれます。そして、このピラミッドのすべての階層に、マイクロン製品があります。
参考資料
[1] Deloitte Insights、2025年11月。「Why AI’s next phase will likely demand more computational power, not less（AIの次なるフェーズで、必要な計算能力が減るどころか、むしろ増える可能性が高い理由）」
[2] Epoch AI、2025年6月。「LLMs now accept longer inputs, and the best models can use them more effectively（LLMは現在、より長い入力を受け付けるようになっており、最も優れたモデルでは、それらをより効果的に活用できる）」
