Micron 9400 NVMe SSD：AIストレージのためのトップレベルのPCIe Gen4

MLCommonsのウェブサイトによると、同コンソーシアムは、機械学習のイノベーションを加速させ、社会への肯定的な影響を高めるために、2018年に開始されました。現在、MLCommonsは、6種類のAIベンチマーク一式を維持・開発し、今後の最新AIワークロードモデルの開発をサポートするよう、オープンデータベースを開発しています。MLPerf Storage Benchmark Suiteは、ベンチマークコレクションの最新作です。

MLCommonsストレージワーキンググループの一員として、私はベンチマークルールとプロセスを開発し、ベンチマークの結果が研究者、顧客、ベンダーにとって確実に有意義なものになるよう、AIベンチマークルールとプロセスを開発しました。先ごろ、Micron 9400 SSDの結果を含む初めてのベンチマークルールを発行しました。

しかし、AIのワークロードに特化した、新規のAIベンチマークユーティリティがなぜ必要なのでしょうか？

AI学習システム用ストレージワークロードの特性分析は、MLPerf Storage Benchmark Suiteが解決を目指している2つの特有の課題に直面しています。AIアクセラレーターにコストがかかることと、利用可能なデータセットの規模が小さいことです。

まず最初に、AIアクセラレーターは高額で複雑なコンピュートシステムになる可能性があり、ほとんどのストレージベンダーは、ストレージソリューションに関する自社の製品のスケーラビリティを分析できるほどのAIシステムを備えていないことになります。

2番目の問題は、AI業界で一般的に使われているデータセットよりも、自由に使えるデータセットが小さいということです。MLCommonsとその参加者が利用できるデータセットは、150ギガバイトの大きさになる可能性がありますが、製造に使用しているデータセットは通常数10代か100代のテラバイトです。現代のサーバーは、DRAMが優に1～2テラバイトになることがあり、最初のトレーニングエポックの後、DRAM内のデータを起動させた後に、システムメモリの小さなベンチマークデータセットのキャッシュに影響します。しかし生産データセットはサイズが異なるため、同じ状況は起こらないと言えます。

MLPerfストレージは、標準的なCPUベースサーバーのアクセラレーターをエミュレートすることで、最初の問題に対処します。低レベルでは、MLPerfストレージは、一般的に使用されているワークロード（pytorch、tensorflowなど）と同じAIワークロードフレームワークを使用していますが、MLPerfはプラットフォームの計算の部分を「スリープタイム」でバイパスします。スリープタイムは、実際のAIアクセラレーターを用いたシステムの実際のワークロードを起動することで、実験的に見つかったものです。

エミュレートされたアクセラレーターと本物のアクセラレーターを比較すると、AIワークロードが非常に似ていることが分かりました。

MLPerfストレージは、実際の生産データセットに似ているが、より大きく再現したデータセットを作成することで、2番目の問題に対処します。このAIベンチマークは、ファイルシステムやオブジェクトストレージの他、シリアライズされたNumpyアレイ、TFRecordファイル、HDF5ファイルなどの複数データなど、様々なデータストレージテクノロジーをサポートします。

このような問題を解決する他、ジョン・マジーによる過去のブログでは、AIトレーニングワークロードは多くの側面でより複雑で、AIワークロードはバースト性があり、レイテンシー感度を備えていることを示しました。

MLPerf Storage Benchmark Suiteは、高額なAIアクセラレーターを必要とせず、現実のデータセットを代表するデータセットサイズに対応して、現実のトレーニングワークロードに即した形でAIストレージシステムを演習できる、優れた手段です。

マイクロン9400 NVMe SSDは、3D医療イメージングベンチマーク（Unet3D）の中の17xアクセラレーターをサポートします。つまり、1秒間に41サンプル、または、IOスループットの6.1GB/秒という意味になります。

簡単に起動でき、実際のAIトレーニング環境を代表するこのAIベンチマークを武器に、マイクロンデータセンターワークロードエンジニアリングチームは、ストレージデバイスとソリューション全体のデータを提示して、アクセラレーターの使用率を高めるためのAIストレージの調整と設計方法を全員がよりよく理解できるようにします。

Micron 9400 NVMe SSDが事業にどのように貢献できるかについて詳しく知りたい方は、いますぐセールスサポートチームまでお問い合わせください。