大規模言語モデルにおけるコンテキストウィンドウの重要な5つの基本概念

コンテキスト長とは、そのウィンドウの中で実際に使用されているトークンの数を指します。つまり、現在の会話や処理で消費されているトークンの「実使用量」です。たとえば、モデルのコンテキストウィンドウが10万トークンで、入力に75,000トークンを使用した場合、残り25,000トークン分がモデルの応答に使える余地ということになります（入力を青、出力を緑で表示）。

シーケンス長とは、通常、ウィンドウの中で扱われる1つ（1連）の入力または出力の長さを指します。モデルの学習や推論において、個々のテキストセグメントの長さを追跡する際に使われる、より細かな測定単位です。

コンテキストウィンドウは、モデルが処理できる情報量の上限を決めるものですが、これはそのまま知能の高さを示すものではありません。ウィンドウが大きいほど多くの入力を扱えますが、出力の質は入力の構成や活用のしかたに大きく左右されます。ウィンドウが限界に達すると、モデルが一貫性を保てなくなり、ハルシネーションのような望ましくない結果を生むこともあります。

トークンは「単語」ではない

コンテキストウィンドウに上限（たとえば10万トークン）が設定されている場合、トークンはその中にどれだけ収まるかを測る単位になります。ここで重要なのは、トークンは単語と同じではないという点です。プロンプトに入力した文章はまず「トークナイザー」によってトークン単位に分割されます。1つの単語が複数のトークンに分かれることもあります。たとえば、「strawberry」は3トークン、「trifle」は2トークンに分割されますが、「cake」のように1トークンを構成する単語もあります。

比率には多少のばらつきがありますが、英語の場合は平均して1トークンあたり約0.75語に相当します。そのため、10万トークンのコンテキストウィンドウを持つモデルでも、必ずしも10万語のテキストが収まるわけではありません。実際には、約75,000語程度、もしくはそれ以下が上限となる場合が多く、テキストの内容によっても変動します。

推定_{トークン数} ≈ 単語数×1.33

このトークンと単語の比率をより大規模に検証するため、Project Gutenberg（75,000冊以上の無料電子書籍を収録するライブラリ）に掲載されている8つの著名な文学作品を用いて簡易分析を行いました。まず各作品の語数をカウントし、次にテキストをトークナイザーにかけてトークン数を算出。その結果、平均的な比率は1トークンあたり約0.75語であることが確認されました。

この比率を理解しておくと、AIとのやり取りをより効果的に行うことができます。ChatGPTやClaudeなど、ほとんどのAIプラットフォームはトークン単位の制約で動作しています。つまり、テキストを単語ではなくトークンとして処理するため、実際にどれくらいの内容をプロンプトや応答に収められるのかを誤解しやすいのです。多くの場合、利用量も単語数ではなくトークン数で測定されるため、トークンと単語の比率を理解しておくと、上限を意識して戦略的に入力を設計することができます。たとえば、モデルの入力上限が4,000トークンの場合、これはおおよそ3,000語程度に相当します。長文のドキュメントやデータセットを入力して、インサイト抽出や質問応答などを行う際には、この目安を知っておくと便利です。

コンテキストウィンドウ内ではアテンションが均等に分配されない

AIのハルシネーション（幻覚）は、単なる気まぐれな挙動であるとか、言語モデルにバグが多く信頼できない証拠だというように誤解されることがあります。しかし実際には、ハルシネーションはランダムに発生するのではなく、モデルが情報をどのように処理・優先付けしているかに起因することが多く、モデルの学習の質やアテンション（注意）の分配方法などが影響しています。GPTやClaudeのようなトランスフォーマーベースのモデルでは、アテンションとは「応答を生成する際に、コンテキスト内のどの部分が最も関連性が高いかを判断する仕組み」を指します。この概念を理解するには、騒がしいカクテルパーティーを思い浮かべてみるとよいでしょう。周囲が騒がしくても、誰かが自分の名前を呼ぶと、自然とその声に意識が向きます。

「フロド！こっちだ！」

でも、もし部屋のあちこちから4人が同時にあなたの名前を呼んだらどうなるでしょう？

「フロド！サムだよ！」

「フロド！早く来て！」

「フロド！こっちを見て！」

「フロド…ああ、愛しのフロド…」

すべての声は聞こえていますが、今度は注意が分散してしまいます。あなたは、聞き慣れた声や最も近くにいる人の声に、より多くの注意を向けるかもしれません。それぞれの声に少しずつ注意を向けますが、すべてに均等に注意を向けるわけではありません。パーフェクトな比喩ではありませんが、これは大規模言語モデルにおけるアテンションの仕組みをイメージする1つの方法です。モデルはコンテキストウィンドウ内のすべてのトークンに注意を向けますが、トークンによって重み付けは異なります。そのため、LLMにおけるアテンションはよく「重み付けされた」と表現されます。つまり、すべてのトークンが均等に扱われるわけではないということです。この注意の偏りは、モデルが情報をどのように優先付けるか、そしてときに焦点を失ったように見える理由を理解する鍵となります。

コンテキストが多ければ良い答えが得られるとは限らない

モデルはコンテキストウィンドウ内のすべてのトークンを参照できますが、すべてのトークンを同じ重みで処理しているわけではありません。ウィンドウが（たとえば10万トークンまで）埋まっていくにつれて、モデルのアテンションは次第に拡散し、すべてを追おうとするあまり応答の明確さが失われることがあります。

このような状態では、モデルが会話を制御できなくなり、応答が遅くなったり、一貫性が失われたり、初期の発話と後半の内容が混ざって混乱するような現象が起こることがあります。「思考が道を踏み外す」という意味のラテン語「hallucinat」に由来するハルシネーションは、まさにこの限界点付近でよく発生します。これはモデルの不具合ではなく、モデルが処理能力の上限に達していることを示すサインです。つまり、入力が長くなると、モデルが一貫性や関連性を維持することが難しくなるということです。

モデルの視点から見ると、以前のトークンも見えてはいるものの、ウィンドウが埋まり、アテンションが広く分散するにつれて、応答の精度が低下していきます。その結果、以前のプロンプトの情報を誤って別の箇所に結びつけたり、関連のない内容をもっともらしく融合させてしまったりすることがあります。ハルシネーションが生じる場合でも、モデルは嘘をついているわけではありません。むしろ、限られた注意資源の中で推測し、すでに曖昧になった断片的な情報から最も合理的な答えに到達しているのです。つまり、扱うには大きすぎる会話の中で整合性を保とうと最大限努力している状態といえます。このようにアテンションの仕組みを理解することで、コンテキストが多ければ必ず良い答えが得られるとは限らない理由を説明することができます²。

とはいえ、20万トークンを超え、現在では100万トークン規模に達するような長大なコンテキストウィンドウは、複雑な推論や動画処理のような新しい応用領域では実際に有用です。最新のモデルでは、より長いコンテキストを効果的に扱えるよう学習しています。アーキテクチャーと学習手法の改良が進んだことにより、入力全体にわたるアテンション管理が向上し、ハルシネーションの発生が抑制され、応答が改善しています。したがって、コンテキストが多いことが常に良い結果をもたらすわけではありませんが、最新世代のモデルは、会話が非常に長くなっても焦点を維持し、高精度な応答を返せるよう進化しています。

シーケンス長は応答時間に影響する

アテンションの仕組みを理解したうえで、次に注目すべきなのはシーケンス長が推論処理にどのような影響を与えるかという点です。ここで現実的な疑問が浮かびます。シーケンス長を変えると何が起こるでしょうか？

入力シーケンスの長さは、最初のトークンが出力されるまでの時間（TTFT：Time To First Token）に影響します。TTFTは、リクエストを入力してから最初の出力トークンを受け取るまでの時間を指し、特にGPUの性能に大きく関係します。これは、GPUが入力をどれだけ速く処理し、最初のトークンを生成する計算をどの程度迅速に行えるかを示す指標です。一方、出力シーケンスの長さを変化させると、トークン間のレイテンシー（ITL：Inter-Token Latency）、つまり、各トークンが生成される間の時間に影響します^b。このレイテンシーは主にメモリ使用量に関連しています。

この関係をより詳しく調べるために、一次解析モデル（First-Order Analytical Model）を用いて、LLMの推論中のエンドツーエンドレイテンシーを推定しました。テストでは、Llama 3 70Bを使用し、高帯域幅メモリ（HBM3E 12H、36GB×8構成）を備えた単一GPU上で動作させました。また、コンテキストウィンドウのサイズは128,000トークンに設定しています^c。