人間の壮大な挑戦に応えるメモリ

2.8TB/秒を超えるHBM4の帯域幅は、テラバイト規模のデータを高速で移動する必要があるAIやHPCのアプリケーションで特に重要です。たとえば高度な推論モデルでは、問題を処理する過程で何百もの中間的な論理ステップを評価しなければなりません。そのため、計算が進むにつれて、メインメモリとプロセッサーの間で毎秒数テラバイトのデータが行き来する必要があります。

HBM4は他の種類のメモリに置き換わるものではなく、それらと組み合わせて使用されます。たとえば最新のシステムでは、CPUがLPDDR5やDDR5を使用してシステム全体を制御し、GPUはHBM4を使用して高負荷の演算処理、つまり複雑なアルゴリズムの処理を担います。

HBM4は、HBM3およびHBM3Eで優れていた要素をすべて受け継ぎ、さらに強化したものです。より広帯域のインターフェースが11.0Gbpsを超える速度で動作し、前世代の2倍を超える帯域幅を実現します。これは、数百万トークンに及ぶ超大容量コンテキストウィンドウを持つAIワークロードから、次世代スーパーコンピューター上で実行される科学シミュレーションまで、新たな要件に対応できることを意味します。

DDRメモリなどの従来のDRAMは一般的なコンピューティングタスクを担う一方、HBMはテラバイト級のデータ処理の継続を必要とするAIやHPCのアプリケーションを支えます。HBMのアーキテクチャーでは、極薄のDRAMダイを積層し、数千本のシリコン貫通ビア（TSV）で接続しています。この垂直設計には、より高い製造精度が求められるため、HBMは製造が特に難しいメモリ製品の1つとなっています。

HBM4 12-highは、前世代と同じく1スタック当たり36GBのメモリ容量を提供しながら、2.8TB/秒を超える帯域幅を実現しています。この帯域幅の向上（HBM3Eの2倍超）により、プロセッサーはこの容量のデータにはるかに高速にアクセスできるようになり、同じ容量の前世代メモリでは処理できなかった、より高負荷のAIワークロードや科学シミュレーションに対応できます。

容量はメモリが保持できるデータ量を指し、帯域幅はそのデータのうち1秒間にどれだけ流せるかを示します。HBM4 12-highスタックは36GBのデータを格納できます。また、2.8TB/秒とは、HBMとプロセッサーの間で1秒間に2.8テラバイト（TB）相当のデータをやり取りできることを意味します。容量は、どれだけのデータをメモリに格納できるかを決定し、帯域幅は、そのデータにどれだけ速くアクセスできるかを決定します。

広帯域メモリの製造は、3種類のシリコンウエハーの製造から始まります。1つは、電気的接続のためのシリコン貫通ビア（TSV）を備えたダイを製造します。もう1つは、TSVを持たない、より厚いトップダイを製造します。3つ目は、システムとのインターフェース用に、TSVを備えたロジックダイを製造します。

検査に合格したダイだけが、その後の組み立て工程に進みます。その後、専用装置を使用して、ロジックダイの上に複数のDRAMダイを積層します。より厚いトップDRAMダイによってスタックが完成し、メモリ機能と構造的な安定性が確保されます。組み立て後、完成したHBMキューブは、すべての接続が正常に機能することを確認するための最終テストを受けます。

はい、HBM4はGPUとカスタムASIC（特定用途向け集積回路）の両方で使用できます。このメモリは、その広帯域インターフェースに対応し、適切なパッケージを備えたあらゆるプロセッサーに接続できます。

ハイエンドコンピューティングシステム（スーパーコンピューターなど）は、エクサバイト規模のデータを用いてAIモデルをトレーニングし、科学的課題を解決します。これを効率的に行うには、何千ものプロセッサーコアを常に稼働させ続けられるだけの速度でデータを移動できるメモリが必要です。2.8TB/秒を超える帯域幅を備えたHBM4は、AIトレーニングを高速化し、KVキャッシュへの高速アクセスによって推論レイテンシーを低減し、より詳細な科学シミュレーションを可能にします。