推論はトレーニングのフォローアップ行為であり、目立たない事後的なものでした。しかし、どうやら突如としてすべてが変わったようです。現在では、推論はAIインフラストラクチャにおけるメインイベントとなり、ストレージに注目が集まっています。
あなたがチャットボットに質問したり、画像を生成したり、「Copilotを使った」タスクを実行したりするたびに、推論が作業を実行します。これらはトレーニングのように予測可能で、繰り返し可能なプロセスではありません。推論はオンデマンドで、リアルタイムに、ユーザーの行動によって形作られます。このため、推論はさらに複雑なものになり、最適化は非常に難しくなります。
ラッシュアワーの混雑する町を移動するのを想像してみてください。ドライバーにはそれぞれの目的地があり、交通パターンは常に変化しています。現在の状況に基づいてリアルタイムで意思決定を行い、渋滞を避けて目的地に効率的にたどり着けるようルートを調整する必要があります。この予測不可能性と迅速な調整の必要性は、AIにおける推論のランダム性によく似ています。一つ一つのインタラクションが、独自のプロセスと計算のトリガーとなり、システムに高い性能と応答性を要求します。
推論=IOPS
現実はこうです：トレーニングワークロードとは違い、推論ワークロードは直線的には実行されません。ループバックし、改良と再処理を行います。つまり、各インタラクションにより、読み取り、書き込み、検索が立て続けに行われます。入出力操作毎秒（IOPS）は急速に増加します。推論は大きな容量を必要とするだけでなく、高い性能を必要とします。注目されることが多いのはコンピューティングですが、「大規模なコンピューティングを支えている」のはストレージです。
そしてこれらのモデルが拡大し、何十億人ものあなたのようなユーザーにほぼリアルタイムでサービスを提供するようになると、インフラストラクチャへの負荷は急激に増大します。AIイノベーションは光の速度で進む必要がありますが、実際は最も遅いコンポーネントの速度でしか進めません。
MetaのチーフAIサイエンティストであるヤン・ルカン氏は「AIのインフラストラクチャコストのほとんどは推論、つまり数十億もの人にAIアシスタントを提供するためのものです」と的確に表現しています。
その規模は、大容量なだけではなく高いIOPSも備えた、より高速で応答性のあるストレージシステムの必要性に直接つながります。推論アプリケーションは、従来のCPUベースのコンピューティングアプリケーションの数百倍、または数千倍もの同時I/Oを実行できます。
推論=IOPS
マイクロンでは、実際の導入環境でこの変化を確認しています。大規模言語モデル（LLM）やその他の推論を多用するワークロードを実行している顧客は、予測できない負荷の下でのテールレイテンシーを低減し、応答性を向上させる方法を探しています。
このような場合に真の違いを生み出すのが、Micron 9550や次世代PCIe Gen6 NVMe SSDのようなドライブです。これらは汎用ストレージデバイスではありません。AI推論のようなデータ負荷の高い、低レイテンシー環境のために特別に設計されています。
推論=IOPS
最近、NVIDIAのジェンスン・ハン氏は「エージェンティックAIやリーズニングAIの登場により、私たちが必要とする計算量は、昨年の同時期に予想していた量の100倍を優に超えています」と指摘しました。
単にモデルが賢くなるという話ではありません。インフラストラクチャがスタック全体でこれ対応する必要があります。特に多くのGPU、アクセラレーター、メモリ層を駆使して推論が行われるシステムでは、ストレージもこれに対応していなければなりません。
チャットボット、検索、Copilot、エッジに組み込まれたAIの使用が増えるにつれ、I/Oパイプライン全体の見直しが行われています。ストレージが追いついていなければ、超高速コンピューティング構造の長所を生かすことはできません。
推論=IOPS
推論の時代が訪れ、IOPSに対する要求は高まっています。そして、その変革をリードするのはマイクロンです。
