あなたは次のように入力したとします。「今週、100マイル(約160km)圏内で日帰りの家族旅行に行ける日を 見つけてください。ペットや幼児と一緒でも楽しめて、 EV充電スポットも近くにある旅行先をいくつか提案し、それぞれの旅程を組んでください」
するとAIから、次のような簡潔で親しみやすい回答が返ってきます。「土曜日がよさそうです。おすすめの3つの旅行先と、 それぞれの旅程をご案内します」
しかし、その裏では、AIが数万ものトークンを処理しています。計画を立て、 検索し、比較し、自らの結果を確認し、必要に応じてやり直しています。こうした処理を、 あなたが目にすることはありません。
あなたが依頼した内容と、実際にAIの内部で実行された処理との間にある、この目に見えない差は、 現在のAIを考えるうえで最も重要な指標の一つです。そして、その差はますます大きくなっています。
1つのリクエストは、もはや1つではない
一見シンプルな1つの回答の裏で、AIは一連のワークフローを実行しています。リクエストを複数のステップに分解し、必要なコンテキストを検索し、ツールを呼び出し、結果を検証し、うまくいかなかった部分は再試行します。マイクロンのテストでは、86単語のコーディングリクエスト1件によって、15回のモデル呼び出しが行われ、40万を超えるトークンが処理されました1。
これが「トークン増幅」です。AIシステムが内部で消費するトークン数が、ユーザーが最終的な回答として目にするトークン数をはるかに上回るときに発生します。
| インタラクション | ユーザーリクエストあたりのトークン数の目安 |
|---|---|
| 質問して回答を得る(単一ターンのQ&A) | 最大数百 |
| 会話の内容を記憶するアシスタント(コンテキストを踏まえたマルチターン) | 数千 |
| ツールを使用し、複数のステップを実行するエージェント(小規模なエージェント) | 数万 |
| バックグラウンドで動作する自律型システム(マルチエージェントオーケストレーション) | 数十万~数百万 |
マイクロンのホワイトペーパーでモデル化されたシナリオに基づく参考値です。実際のトークン消費量は、モデル、コンテキスト長、ツールの使用、再試行回数、エージェントアーキテクチャーによって異なります。
問題は単価ではなく、 従量課金にある
クラウド推論は、最先端の推論、 予測の難しい需要への対応、実験用途において、今後も欠かせません。利用量が少ないうちは安価で、 しかも単価は下がり続けています。
ここで問題にしているのは、クラウドが高価かどうかではありません。重要なのは 利用量です。トークン増幅が進むと、ユーザーの目に見えないところで 大量のトークンが消費され、その量を自分で把握したり制御したりすることが難しくなります。 しかも、出力トークンのコストは通常、入力トークンの5倍以上です。たとえ単価が下がっても、 消費するトークン数が大幅に増えれば、総コストは膨らみます。 そして何より、依然として利用量に応じて課金される仕組みであることに変わりはありません。
その結果、ユーザーはAIを使う量を意識せざるを得なくなります。そして、実際にAIの利用を控えるようになります。 使うたびに料金が発生するからです。プロンプトを4回目まで練り直すのをやめたり、 エージェントを一晩中動かすのをためらったりするようになります。
従量課金に縛られないAIなら、こうしたためらいはなくなります。日常的に使うAIが、 自分の所有するハードウェア上で動作すれば、質問するたびに頭の中でコストを計算する必要はありません。
そして、価格が下がっても 解決しない問題がある
レイテンシー、プライバシー、コンプライアンスは、コストの問題ではありません。これらは 制約であり、いくら価格が下がっても解決できるものではありません。
リアルタイム音声、ロボティクス、 リアルタイム分析では、クラウドとの往復通信が実用的でない場合があります。医療、金融、政府機関のワークロードでは、 機密データをサードパーティーのインフラストラクチャー経由で処理することが、 規制、契約、データガバナンス上の制約を受ける場合もあります。また、 教育計画、金融ポートフォリオの 見直し、医療記録の管理といった家庭や個人向けの用途では、ローカル推論によって プライベートなデータをデバイス上に保持しやすくなります。ローカル環境で実行すれば、バージョンを固定して 微調整できるモデルを利用できるため、プロバイダー側で機能やサービスが 廃止されても、使用中のモデルが意図せず変わることを避けられます。
AIが デバイス上で動作するとき、処理速度を左右するのはメモリとストレージ
推論処理がデバイス上に移ると、インフラストラクチャーのボトルネックも デバイス側に移ります。プロセッサーは、性能を左右する要素の一つにすぎません。
1リクエストあたりのトークン数が増えれば、生成にかかる時間も長くなります。 また、オンデバイスでの生成速度はメモリ帯域幅によって制約されます。より広い帯域幅と 大容量のメモリを備えることで、システムはより大規模なモデルを実行し、 より長いコンテキストウィンドウを維持しながら、エッジでより高速にトークンを生成できます。マイクロン 独自のLPDDR5Xテストでも、スピードグレードが上がるごとにデコード性能が向上することが 示されています2。
AIが回答を生成するには、まずモデルをストレージからメモリに読み込む 必要があります。数十億ものパラメーターを持つモデルが低速なストレージに保存されていると、 AIが最初の言葉を生成するまでに待ち時間が生じます。また、エージェント型のワークフローでは、 複数のモデルを呼び出すことも珍しくありません。高性能なPCIe Gen5 SSDを使用すれば、 モデルの読み込み時間を短縮できます。また、ストレージ容量が大きければ、 さまざまなタスクに対応するより多くのモデルをデバイス上に保持できます3,4。
ストレージはAIの起動速度を左右し、メモリはAIの思考速度を 左右します。
これからの主流はハイブリッド
エッジ推論がクラウドに取って代わるわけではありません。エッジ推論によって、AIはスマートフォン、 AI PC、ワークステーション、エンタープライズエッジサーバー、 自動車、産業用プラットフォームなど、日常的に使われるさまざまなデバイスや システムへと広がっていきます。
ハイブリッドアーキテクチャーでは、それぞれのワークロードを 最も適した場所で実行します。クラウドは、最先端の推論、変動する需要への対応、 特に難易度の高いタスクを担います。一方、エッジは、処理量が多く予測可能なワークロードや、 プライバシー保護が重要なワークロード、低レイテンシーが求められるワークロードを担います。
押さえておきたい3つのポイント
- トークン増幅は、今や重要な設計変数です。ユーザーから見えるやり取りは、実際のワークロードのごく一部にすぎません。システムにコンテキスト、ツール、検証、再試行、マルチエージェント間の連携が加わるにつれて、トークン消費量は大幅に増加する可能性があります。
- レイテンシー、プライバシー、コンプライアンスの問題は、価格が下がっても解決しません。これらは、トークンの価格にかかわらず、特定のワークロードをローカルで処理する必要性を生じさせる制約です。
- メモリとストレージは、ローカルAIのパフォーマンスを支える基盤です。メモリ容量と帯域幅は、モデルの能力やトークン生成を左右します。一方、ストレージの性能と容量は、モデルの読み込み速度やデバイス上に保持できるモデル数に影響します。
重要なのは、トークンを安くすることではありません。ユーザーや組織がやり取りのたびにコストを気にすることなく、すぐに応答し、プライバシーが守られ、いつでも利用できるAIを実現することです。ネットワークの応答を待つ必要がないため、瞬時に応答するAIであり、あなたの予定表やファイル、習慣を把握し、ワークロードが許す範囲で機密性の高いコンテキストを手元に保持できるAIです。
メモリとストレージのイノベーションは、まさにそのためにあります。
コストモデリングや導入ガイダンスを含む詳細な分析については、マイクロンのホワイトペーパー「エッジかクラウドか? AI推論導入のためのトークンレベルのフレームワーク」をご覧ください。
参考資料
1. マイクロンのホワイトペーパー「Edge or Cloud? A Token-Level Framework for AI Inference Deployment(エッジかクラウドか? AI推論導入のためのトークンレベルのフレームワーク)」、2026年11月、https://www.micron.com/content/dam/micron/global/public/products/memory/mobile-dram/lpddr5/documents/ai-tokenomics-white-paper.pdf
2. マイクロンのホワイトペーパー「Decode at the edge: the role of LPDRAM in accelerating AI inference(エッジでのデコード:AI推論の高速化におけるLPDRAMの役割)」、2026年1月、https://www.micron.com/content/dam/micron/global/public/products/memory/mobile-dram/lpddr5/documents/mobile-memory-foundation-edge-ai-white-paper.pdf
3. マイクロン3610プレスリリース「Micron Launches World's First Gen5 G9 QLC SSD for Client Computing(マイクロン、世界初となるクライアントコンピューティング向けGen5 G9 QLC SSDを発表)」、2026年1月6日、https://www.micron.com/about/press/news/micron-launches-worlds-first-gen5-g9-qlc-ssd-for-client-computing
4. マイクロン4600プレスリリース「Micron Redefines Performance for AI PCs, Gamers and Professionals(マイクロン、AI PC、ゲーマー、プロフェッショナル向けのパフォーマンスを再定義)」、2025年2月18日、https://investors.micron.com/news/press-release/2025/Micron-Redefines-Performance-for-AI-PCs-Gamers-and-Professionals-02-18-2025/default.aspx