入力が無効です。特殊文字には対応していません。
30年以上にわたるシステムアーキテクチャーの進化を経て、メモリは地味な裏方から主役へと変貌を遂げました。初期の頃は、キャッシュミスやDRAMのレイテンシーが懸念材料でしたが、今日では、帯域幅や電力のボトルネックに直面することなく、数兆パラメーター規模のAIモデルにどのようにデータを供給するかという課題に直面しています。「メモリの壁」は消えたわけではなく、ただ場所を変えただけです。そしてAI時代によって、その壁はさらに高くなりました。
「メモリの壁」の再考
1994年、ウルフとマッキーは「メモリの壁」、つまりCPU速度がメモリアクセス時間を上回ることで生じるボトルネックについて警告しました。2人の予測は、マルチレベルキャッシュ、投機的実行、アウトオブオーダー処理といった、アーキテクチャー的な対策を促しました。しかし、そういった対策には限界がありました。
今、AIワークロードによってこの問題が再定義されています。もはやレイテンシーだけでなく、スケール、帯域幅、エネルギー効率も問題となっています。大規模言語モデルの学習では、ペタバイト規模のデータをストリーミングし、数百ギガバイト規模の重みを保存し、そのすべてをリアルタイムで実行する必要があります。従来のメモリアーキテクチャーは、このような処理を想定して設計されていませんでした。
AIのメモリ消費量
AIモデルはメモリを大量に消費します。具体的な要件は以下のとおりです。
- 高帯域幅：GPUやアクセラレーターをフル稼働させるため。
- 大容量：膨大なデータセットやモデルパラメーターを保持するため。
- 低レイテンシー：リアルタイムでの推論と応答性を実現するため。
- エネルギー効率：データセンターをサステナブルに維持するため。
推論への注目が高まるにつれて、新たな課題が生まれています。
- GPT-3（1,750億パラメーター）やGPT-4などの最新のLLMは、重みを保存するだけで数百ギガバイトのメモリを必要とします。
- 複数のリクエストが同時に処理されると、メモリ使用量は劇的に増加します。たとえば、128,000トークンのコンテキストを持つ660億パラメーターのモデルが10件のリクエストを処理する場合、3TBを超えるメモリを消費することがあります。
- コンテキストウィンドウが長くなると（例：128,000トークン）、アテンションメカニズムによりメモリ使用量が一気に増加します。
- トレーニングとは異なり、推論はリアルタイム処理（例：チャットボット、検索エンジン）が一般的であり、メモリレイテンシーはユーザーエクスペリエンスに直接影響します。メモリへのアクセスが遅いと、応答時間も遅くなります。
フラッシュストレージ：パイプラインへのデータ供給
AIはメモリだけでなく、ストレージにも依存します。GPUに十分な速度でデータを供給するには、それに対応できるストレージが必要です。Micron 9650 PCIe Gen6 SSDは、最大28GB/秒の読み取り速度と数百万単位のIOPSを提供し、データパイプラインの停滞を防ぎます。Micron 6600 ION SSDは、最大245TBの容量でデータセット全体をコンピューティングの近くに配置し、I/Oのボトルネックを最小限に抑えます。
これらは単なるスペックの数値ではなく、新たな可能性を拓くソリューションです。AIシステムを最小限のレイテンシーと最大のスループットで大規模に運用できるようにします。
AIの「メモリの壁」問題を解決する
それでは、「AIメモリの壁」にはどう対処すればよいのでしょうか？ それには、単一のソリューションではなく、多層的な戦略が求められます。
1. 階層化メモリとストレージのアーキテクチャー
AIシステムには、スマートなメモリ階層化が必要です。つまり、ホットデータを高速メモリ（HBM、DDR5）に、ウォームデータを低速メモリ（LPDDR5、フラッシュ）に、コールドデータをアーカイブストレージに配置するのです。この階層化は、新しいユースケースを発見するにつれて進化し続けています。キーバリューキャッシュには、メモリ階層を補完する高性能ストレージが必要です。RAGやベクトル埋め込みを中心とした新しい推論開発には、より多くのメモリと、小規模IOストレージへの高速アクセスが不可欠です。マイクロンのポートフォリオはこれらすべての層を網羅し、シームレスなデータ移動と最適なパフォーマンスを実現します。
2. メモリ内処理（PIM）
データをコンピューティングに移動するのではなく、コンピューティングをデータに移動するのはどうでしょうか？ マイクロンはPIMアーキテクチャーを研究しています。これは、メモリモジュールにロジックを組み込み、フィルタリングや行列乗算などの演算をメモリ内で直接実行するものです。これにより、データ移動が削減され、消費電力が低減し、AIタスクが加速します。
3. エネルギー効率の高いメモリとストレージ
AIワークロードは電力を大量に消費します。データセンターのエネルギー消費のうち、メモリが30%以上を占めることもあります。マイクロンは、低消費電力DRAMや、MRAMやReRAMといった新興の不揮発性メモリにおけるイノベーションにより、このエネルギー消費量の削減を目指しています。同様に、Micron 9550やMicron 9650 SSDなどのストレージソリューションは、高いパフォーマンスと電力効率、極めて高い信頼性を兼ね備えており、大規模なAI導入におけるラックスペース、エネルギー、交換コストを削減することで、総所有コスト（TCO）を抑えることができます。
4. ソフトウェア主導の最適化
ハードウェアは、課題の半分にすぎません。コンパイラー、ランタイム、オーケストレーション層といった、よりスマートなソフトウェアは、メモリの使用量を最適化し、データを圧縮し、バッファをインテリジェントに管理できます。マイクロンはこれらの技術領域でパートナーとのコラボレーションを進めることで、単に大容量のメモリを提供するだけでなく、その容量が効率的に活用されることを目指しています。
今後に向けて
私たちは、メモリがもはやボトルネックではなく、戦略的資産となるコンピューティングの新たな段階に突入しています。AI時代には、高速で、スケーラブルで、永続性があり、電力効率を考慮したメモリとストレージシステムが求められます。これから先、AIにおける次の飛躍は、プロセッサーの高速化だけでは実現することはなく、大規模展開において最適なTCOを提供する、よりスマートなメモリとストレージシステムから生まれるでしょう。TCOは現在、特定のユースケースに対応するために、IOPS/W/$とTB/$の組み合わせで測定されています。私たちは、AI時代の要件を念頭に置いてメモリとストレージを再構築することで、AIの弱点を新たな強みへと変えることを目指しています。そうすることで、30年前のフロッピーディスクと32MB RAMの時代から飛躍的な進化を遂げたのと同じように、現時点では想像することしかできないコンピューティング能力を解き放つことができるでしょう。
そして、マイクロンは、そのような未来を夢見ているだけでなく、実際に築いているのです。
