エージェント型AIの台頭とその隠れたインフラコスト
チャットボットから自律型エージェントへ — 現実に起こっている変化
人工知能は、もはや質問に答えるだけのものではありません。今日のAIシステムはますますエージェント型になっており、自律的に計画を立て、行動し、結果を観察し、目標が達成されるまでこれを繰り返します。コードの検査やテスト実行を行うソフトウェアエンジニアリングエージェントであれ、調達や物流を調整するサプライチェーンエージェントであれ、あるいはSEC提出書類や市場ニュースを統合する金融リサーチエージェントであれ、こうしたシステムは、これまでの静的推論モデルとは根本的に異なります。
しかし、ここには多くの人が見落としているインフラの「盲点」があります。エージェント型AIは、単にGPUの需要を増やすだけでなく、CPUとDRAMの需要を静かに、かつ大幅に再燃させているのです。
GPUだけがすべてではない
長年、AIインフラに関する議論は、GPUに始まりGPUに終わるものでした。それは急速に変化しています。エージェント型システムにおいても、GPUは依然としてLLM推論の負荷の高い処理（アテンション機構、行列乗算、トークン生成）を担っています。しかし、このモデルの周辺では、全く異なるコンピューティングレイヤーが動き出しています。
- 高レベルな目標をサブタスクに分解するプランニングループ
- 次に呼び出すツールやAPIを決定するルーターとスケジューラー
- コードの実行、データベースのクエリ、または外部APIの呼び出しを行うツール実行エンジン
- 関連するコンテキストを取得およびステージングする検索・I/Oパイプライン
この「モデル周辺の処理」は本質的に条件分岐が多く、ステートフルで、リクエストごとに直列的であることが多く、こうした特性はGPUではなくCPUに適しています。GPUは工場の現場で、CPUは管理事務所のようなものだと考えてください。
エージェント型ワークロードが拡大するにつれて、GPUあたりのCPUコア数とスレッド数の増加に対するニーズも高まっています。CPUとGPUの比率は従来の1:4から1:1や1:2へとシフトしており、これはCPU需要の2～4倍の増加、すなわち最初のスケーリング曲線を示しています。
CPUはもはや脇役ではないことを雄弁に物語る、新たな台頭するアーキテクチャー
半導体業界は、そのメッセージをしっかりと、大々的に受け止めています。主要なCPUメーカー各社は今、エージェント型AI向けの専用シリコン開発を競い合っており、そこで打ち出されているアーキテクチャーの目標は、この一世代において類を見ない意欲的なものです1。これらは単なる段階的な仕様の向上ではありません。これらはゼロから再設計されたチップであり、究極のラックレベル密度を実現するために専用設計されています。その範囲は、GPUあたり86個から120個のCPUコアに及び、アクセラレータをフル稼働させ、エージェントパイプラインを途切れることなく流し続けることを明確な目標としています2。
そして、示されているその規模は驚異的です。現代のエージェント型ラックは、1基で数万もの並行処理CPUコンテナ環境を維持できるようになりました。それぞれが独立し、それぞれがフルパフォーマンスで動作します3。これはベンチマークではありません。本番用アーキテクチャーです。
これはもはや、GPUを補助するという話ではありません。CPUは今や大規模並列ファブリックとなり、何千ものエージェント型コンテナを同時に立ち上げ、それぞれが、自律型AIエージェントが計画、実行、反復を行うために依存するツール、サンドボックス、オーケストレーションフレームワークをホストしています。脇役が大スターになったのです。
メモリマルチプライヤー — 誰も予想していなかった増幅の力
すべてのエージェントには拠点が必要ですが、その拠点はメモリを消費します
CPU需要が見出しならば、DRAM需要こそが、より本質的で重要な物語なのです。すべてのライブエージェントインスタンスは、以下を維持する必要があります。
- 状態とKV／コンテキストのステージング — 推論ループのどの段階にあるかを把握
- ツールの出力とキュー — API呼び出しやコード実行の結果をバッファリング
- コンテナ／サンドボックスメモリ — 安全な実行のための隔離されたランタイム環境
- ベクトル／インデックスデータ — 検索拡張生成（RAG）およびセマンティック検索用
- OSとランタイムのオーバーヘッド — 数千もの環境を維持するための基本コスト
これが単一ラック内の数千もの同時実行エージェントすべてに必要であることを考えると、その数値は驚異的なものになります。調査によると、エージェントのレイテンシーの最大90%はCPU側のツール処理に起因します。つまり、メモリ帯域幅と容量が、エージェントのパフォーマンスにおけるクリティカルパスに直結しているということです。
第2のスケーリング曲線が出現
エージェント型AIに関してあまり語られていない重要なことがあります。それは、スケールが線形ではなく、掛け算的に拡大するということです。
エージェントオーケストレーションのために新しいCPUコアを立ち上げるたびに、どこかにライブ環境が存在する必要があります。その「どこか」とはDRAMのことです。そして、コンテナを何千個も積み上げ始めると、その計算はすぐに厄介なことになります。表1で視覚的に示します。
| CPUコンテナ環境の増加 | エージェントあたりのメモリ | 総合的な増加 |
|---|---|---|
| 1倍 | 1倍 | 1倍 |
| 2倍 | 2倍 | 4倍 |
| 3倍 | 3倍 | 9倍 |
| 4倍 | 4倍 | 16倍 |
表1：CPUとメモリを合わせた増加。1倍 = 各16GBの約2.2万個のエージェントコンテナ。
コンテナを2倍にし、エージェントあたりのメモリも2倍にすると、それだけでDRAMの必要量は4倍になります。両方を3倍にすると9倍になります。これは無視できるような誤差の話ではなく、データセンターの経済構造をリアルタイムで変えている、複合的な構造的要因なのです。
そして、各エージェントが実際に、状態、コンテキストバッファ、ツール出力、ベクトルインデックス、サンドボックスメモリ、ランタイムオーバーヘッドを保持していることを考えると、それは理にかなっています。エージェントあたりのメモリ消費量も横ばいではありません。エージェントが賢くなり、より複雑なタスクに取り組むようになるにつれて、そのフットプリントも増大します。もはや、ボトルネックはGPU上で実行されるモデルの計算ではありません。それは、活動状態で、準備ができており、即応性があるという、すべてを同時に満たす必要があるエージェント環境の急激な拡大なのです。
これは第2のスケーリング曲線です。それはコンピューティング曲線と並行しており、多くの点で、より速いペースで進んでいます。
業界にとってこれが意味すること
その影響はデータセンターのエコシステム全体に波及します。
- メモリベンダーでは、需要が加速的に高まる中で、特に重視されているのが大容量かつ広帯域のDRAMです。単なるメモリの増量ではなく、よりスマートなメモリアーキテクチャーが求められています。
- CPUベンダーは、単なるAIコプロセッサーではなく、エージェント型オーケストレーションエンジンとして自社製品を位置づける方向へ転換しています。
- インフラストラクチャアーキテクトは、ラック設計の再考を迫られています。GPU主導のラックの時代は、バランスの取れたCPU-GPU-DRAMファブリック（自律型エージェントパイプライン向けに専用設計）へと移行しつつあります。
結論
エージェント型AIは、既存のインフラストラクチャの上に成り立つ単なるソフトウェアトレンドではなく、今まさにハードウェアのロードマップに大きな変化をもたらしています。AIインフラの構築、購入、または投資の行うすべての人へのメッセージはシンプルです。DRAMの容量を大幅に増やす計画を立て、それを予想よりも早く実行しましょう。
エージェントは進化しています。インフラストラクチャが準備できていることを確認しましょう。
参考資料
1. Arm AGI CPU | AMD：エージェントAIとCPU
2. Intel：エージェント型AIには、より多くのCPUが必要
3. NVIDIA Vera CPU発表 ― 各88コアのCPUを256基搭載した1ラックで、22,500のCPUコンテナ環境を実現
