クイックリンク
コンテキストウィンドウは数千から数百万トークンへと拡大しており、 モデルの複雑さに追いつくため、メモリシステムに 前例のない負荷をかけています。大規模 言語モデル(LLM)がデータセンターや クラウド環境全体で本番運用に向けて拡張されるにつれ、各応答を 生成するための計算コストは、世界中のエンジニアやインフラチームにとって重大な課題となっています。
KVキャッシュとは?
KVキャッシュ(キーバリューキャッシュ)は、 トランスフォーマーモデルをベースとする 大規模 言語モデルで使用されるメモリ最適化技術で、 計算済みのアテンション値を保存して再利用することで推論を高速化します。自己回帰型のテキスト生成では、 新しく生成される各トークンがそれ以前のトークンに基づいて生成されるため、 シーケンスが長くなるほど、アテンションを効率的に処理することが 重要になります。
KVキャッシュは、推論のレイテンシーを低減し、スループットを向上させるため、 LLMを大規模に展開するうえで重要な基盤となります。
KVキャッシュはどのような仕組みで機能するのか?
KVキャッシュは、長い本を読む際にメモを取るような仕組みです。たとえば、物語に関する質問を受けるたびに これまでのページをすべて読み返すのではなく、 重要な詳細を手元に控えておけば、それを利用して新しい質問に 素早く答えることができます。LLMにおいて、KVキャッシュは、 モデルが新しいトークンを生成するたびに有用なコンテキストを利用可能な状態に保つことで、 これと同様の目的を果たします。
KVキャッシュはトランスフォーマーアーキテクチャーの自己注意機構内で機能し、 中間表現を保存することで、モデルが 連続する生成ステップ間でそれらを再利用できるようにします。AI推論 の実行中、モデルは入力トークンを処理し、それぞれに対して 3つのベクトル(クエリ、キー、バリュー)を生成します。アテンションの重みは クエリベクトルを保存済みのすべてのキーベクトルと比較することで計算され、 バリューベクトルを使用して最終的な出力を生成します。
キャッシュ処理は以下の手順で行われます。
- 初期処理:モデルは 入力プロンプトを処理し、各トークンのキーとバリューのテンソルを計算して、 それらをKVキャッシュに保存します。
- 逐次生成:新しいトークンごとに、 クエリベクトルのみが新たに計算され、一方、それまでにキャッシュされたキーと バリューは直接取得されます。
- アテンション計算:アテンション機構は、 新しいクエリをキャッシュ済みのすべてのキーおよびバリューのペアと組み合わせることで、 それまでのトークンを再処理することなく出力を生成します。
- キャッシュの増大:生成された各トークンは、 自身のキーおよびバリューのペアをキャッシュに追加し、 生成が完了するまで段階的にキャッシュを増大させます。
- メモリ管理:システムは、 利用率を最適化するために、同時発生する複数のリクエストやセッション全体でキャッシュメモリの割り当てと解放を 動的に行います。
このアーキテクチャーにより、LLMは、シーケンス長に比例して計算コストを増大させることなく、 非常に長いコンテキストウィンドウに対応して拡張させることができます。
KVキャッシュと プリフィルおよびデコードとの関係は?
KVキャッシュはプリフィルフェーズで作成され、 LLM推論のデコードフェーズで再利用されます。プリフィルでは、モデルは 入力プロンプトをまとめて並列処理し、キーおよびバリューのテンソルをメモリに書き込みます。 デコードでは、モデルは既存のKVキャッシュを参照しながら、一度に1つずつ新しいトークンを生成します。 これにより、コンテキスト全体を再計算することなく、 最新のトークンについてのみアテンションを計算すれば済みます。プリフィルは計算負荷が極めて高くなりやすい一方、 デコードは一般的にメモリ帯域幅やキャッシュサイズによって制約を受けるという違いを 理解しておくことが重要です。
KVキャッシュと 標準的な推論との比較
KVキャッシュを使用しない標準的な推論では、モデルは 新しいトークンを生成するたびに、コンテキスト全体のアテンションを再計算します。この場合、 プロンプトと生成される回答が長くなるにつれて計算処理が繰り返されることになり、 レイテンシーと計算コストが増加します。KVキャッシュを使用することで、モデルは それまでに計算されたキーとバリューを保存し、 生成の各ステップで再利用するため、最新のトークンのみが新しいアテンション の計算を必要とします。
KVキャッシュの主なメリットは、トークン生成の高速化とスループットの向上です。 主なトレードオフはメモリです。キャッシュは、より多くの トークン、リクエスト、モデルレイヤーが追加されるにつれて増加するため、推論システムには キャッシュされたテンソルを効率的に保存・アクセスするための、十分なメモリ容量と帯域幅が求められます。
KVキャッシュを最適化する方法は?
KVキャッシュの最適化によって、推論速度とモデルの出力品質を維持しつつ、 キーおよびバリューテンソルの保存に必要なメモリを削減することができます。 KVキャッシュはコンテキスト長、バッチサイズ、およびモデルの深さに伴って増大するため、 最適化では単一の手法に頼らずにメモリ管理、圧縮、および ワークロードを考慮したサービング戦略を組み合わせるアプローチが一般的です。
- ページドアテンションの使用:KVキャッシュを 1つの大きな連続したブロックに割り当てるのではなく、より小さなメモリブロックに分割して割り当てることにより 断片化を低減し、可変長リクエストに対するアクセラレーターの利用率を向上させます。
- キャッシュ量子化の適用:キャッシュされたキーと バリューをINT8やINT4などの低精度フォーマットで保存し、許容可能な出力品質を維持しつつ メモリ使用量を削減します。
- 重要度の低いトークンの破棄:メモリが逼迫している場合、スライディングウィンドウや アテンションベースの重要度スコアリングなどの手法を使用し、関連するキャッシュエントリのうち 古いもの、または重要度の低いものを削減します。
- 共有プレフィックスの再利用:繰り返し発生するリクエストや類似したリクエストで共通する プロンプトのプレフィックスをキャッシュすることで、システムは ユーザーセッションごとに同じコンテキストを再計算する必要がなくなります。
- キャッシュストレージの分散またはオフロード:長いコンテキストのワークロードが 単一デバイスの容量を超える場合、KVキャッシュを複数のアクセラレーター、ホストメモリ、 またはストレージ階層に分散させます。
KVキャッシュ最適化の トレードオフとは?
KVキャッシュの最適化には、メモリの節約、レイテンシー、 スループット、出力品質のバランスが求められます。より積極的な圧縮やキャッシュの破棄によって、 メモリ使用量を削減し、より長いコンテキストや大きなバッチに対応できますが、 重要なトークンが削除されたり、 精度を下げすぎたりすると、正確性が低下する可能性があります。リアルタイムチャット向けに設計されたシステムは、 低レイテンシーを優先する一方、オフラインの要約や文書 分析ワークロードでは、より長いコンテキストウィンドウと、 より低いサービングコストと引き換えに、より高いレイテンシーが許容される場合があります。
KVキャッシュはどのような歴史を たどってきたのか?
KVキャッシュは、トランスフォーマーアーキテクチャーを現代の言語モデリングの基礎として確立した、 2017年の画期的な論文「Attention Is All You Need」で紹介された アテンション機構から直接 生まれました。初期の推論システムでは、生成ステップごとに すべてのコンテキストからアテンションを再計算していました。これは短いシーケンスでは実行可能でしたが、 モデルやコンテキストウィンドウが急速に拡大するにつれ、深刻なボトルネックとなりました。
KVキャッシュの進化には以下のような主なターニングポイントがありました。
- 2017年:トランスフォーマーアーキテクチャーは マルチヘッド・セルフアテンションの導入により、その後KVキャッシュが最適化することになる 計算パターンを確立しました。
- 2020~2022年:大規模言語モデルの 実装は、完全な再計算に伴うメモリとレイテンシーのコストを露呈させ、 キャッシング戦略に関する業界の研究を加速させました。
- 2022~2023年:本番環境の推論フレームワークは、 ページドアテンションを導入し、KVキャッシュメモリを仮想ページとして扱うことで、 断片化を低減し、複数の同時リクエスト間で メモリ利用効率を向上させています。
- 2024~2025年:コンテキストウィンドウは数千から 数百万トークンへと拡大しており、増大するメモリ需要に対応するために、KVの 圧縮、量子化、分散キャッシュにおけるイノベーションが急速に 進んでいます。
KVキャッシュには主に どのような種類があるのか?
KVキャッシュの最適化戦略はいくつかのカテゴリーに分類され、それぞれが メモリ容量、推論速度、出力精度にわたる さまざまな制約に対処するよう設計されています。エンジニアは、 ワークロードの特性、ハードウェア構成、および許容可能な 精度のトレードオフに基づき、特定の実装環境に合わせてアプローチを選択しています。
1. フルKVキャッシュ
フルKVキャッシュは、推論中に生成されるすべてのキーおよびバリューテンソルを、 圧縮や削除を行わずに保存するKVキャッシュ戦略です。この アプローチは最高の精度を実現し、すべての最適化手法がベンチマークされるベースラインとして機能します。 フルKVキャッシュは、 メモリ容量が制限要因とならない短~中程度のコンテキスト長に 最適です。
2. KVキャッシュ削除
KVキャッシュ削除は、メモリ使用量を 削減するKVキャッシュ戦略で、現在の生成ステップにとって関連性が低いと 判断されたキーとバリューのペアを選択的に破棄するものです。スライディングウィンドウアテンションなどの手法は 最新のトークンのみを保持しますが、一方で重要度スコアリング技術は 注目度の低いエントリを特定し、削除します。これらのアプローチは、 メモリフットプリントを削減しますが、その代償として 長距離コンテキストの取得を必要とするタスクにおいて精度が低下する可能性があります。
3. 量子化KVキャッシュ
量子化KVキャッシュは、フル精度(FP16またはBF16)で保存されていた キーとバリューのテンソルを INT8やINT4などの低ビットフォーマットに量子化することで圧縮するKVキャッシュ戦略です。これにより メモリ消費量を大幅に圧縮しつつ、 モデルの出力品質をほぼ維持できるため、量子化KVキャッシュは高スループットの推論環境において広く採用されています。
4. 分散KVキャッシュ
分散KVキャッシュは、複数のアクセラレーターやノード間でキャッシュストレージを共有するKVキャッシュ戦略であり、 単一デバイスのメモリ容量を超えて推論をスケールさせることができます。 このアプローチは、 AI データセンター環境において、モデルがリクエストごとに数十万、さらには数百万のトークンを処理する 超長コンテキストワークロードに不可欠です。
KVキャッシュの用途
KVキャッシュは、多岐にわたる本番推論環境に導入されており、 そこではレイテンシーとスループットがユーザーの 体験や運用コストに直接影響を与えています。ユースケースは、 エンタープライズソフトウェアから科学研究までの業界にわたり、 言語モデルが長大なコンテキストで応答を生成するあらゆる場面で活用されています。
- 会話型AI:マルチターンチャットボットや 仮想アシスタントは、過去の対話をキャッシュするため、以前のターンを再処理することなく、 会話の全履歴を参照した応答を返すことができます。
- コード生成:大規模なファイル全体にわたってコードを生成・補完する 開発者向けツールでは、ファイル全体のコンテキストをキャッシュすることで、 一貫性がありコンテキストを踏まえた提案を 低レイテンシーで行えます。
- ドキュメント処理:エンタープライズプラットフォームは 契約書、研究論文、レポートなどの長い文書を分析する際、KVキャッシュを使用して 拡張された入力シーケンスを効率的に処理します。
- 検索拡張生成(RAG):検索した文書をモデルのコンテキストに 注入するシステムでは、 検索された文書群とクエリを合わせた長さを管理するために KVキャッシュが活用されています。
- 推論モデル:長大な思考の連鎖を出力するモデルは、 数千もの推論トークン全体にわたって一貫性を維持するために KVキャッシュを利用しています。
- 高スループットサービング:多数のユーザーからの 同時リクエストを処理する推論サーバーでは、KVキャッシュの割り当てを共有・ページングすることで、 アクセラレーターの利用率を最大化し、トークンあたりのコストを削減することができます。
KVキャッシュがメモリインフラストラクチャーに 高い要求を課す背景とは?
KVキャッシュがメモリインフラストラクチャーに対して高い要求を課す理由は、 メモリ要件がコンテキスト長、バッチサイズ、および モデルのレイヤー数に直接比例して増大するためです。新しいトークンが生成されるたびにキーとバリューのテンソルが追加されますが、 それらは生成プロセス全体を通じて保存、取得、更新されなければなりません。その結果、 LLMの本番環境実装において、KVキャッシュはアクセラレーターメモリを最も多く消費する要因の一つとなっています。
これらの要件は、モデルが1トークンずつ生成するたびに KVキャッシュから繰り返し読み取りを行うデコードフェーズにおいて、 特に大きな負担となっています。コンテキストウィンドウが拡大するにつれ、メモリ容量は システムが対応できるコンテキストの量に影響し、一方でメモリ帯域幅は キャッシュされたキーとバリューにどれだけ速くアクセスできるかに影響します。これは、レイテンシー、 スループット、バッチサイズ、同時実行数、全体的な推論コストに影響を及ぼします。
マイクロンにとって、KVキャッシュは、広帯域幅かつ 大容量のメモリがAIインフラストラクチャーを拡張するうえで果たす役割を浮き彫りにするものです。マイクロンのメモリソリューションは、 最新のAIワークロードのスループットおよび容量要件に対応し、 データセンターのシステムがより長いコンテキストとより多くの 同時推論リクエストを処理できるよう支援しています。
長文脈LLMにおいてKVキャッシュがボトルネックとなる理由は、 追加されるトークンごとに保存すべきキーとバリューのテンソルが追加され、 生成中に繰り返しアクセスする必要があるからです。コンテキストウィンドウが拡大するにつれて、 利用可能なアクセラレーターメモリの大部分をキャッシュが消費してしまい、 デコード中の帯域幅への負荷を増大させます。これにより、サービングシステムで量子化、ページング、キャッシュ削除、 分散キャッシュ管理などの手法を使用しない限り、 バッチサイズが制限され、同時実行数が低下し、 推論コストが上昇する可能性があります。
KVキャッシュのメモリ割り当てが失敗するのは、推論システムがリクエスト処理に 必要なキーとバリューのテンソルを格納するための十分なメモリを確保できない場合です。 これは、コンテキスト長、バッチサイズ、同時実行数、または モデルサイズが、利用可能なアクセラレーターメモリを超過した場合に起こり得ます。システムは、 ページドアテンション、量子化、キャッシュ削除、プレフィックス再利用、オフロード、 分散KVキャッシュ管理などの手法を使用することで、 割り当てエラーを低減できます。