エッジにおけるAI:インテリジェンスの加速化における将来のメモリとストレージ
産業分野におけるAIの活用拡大により、機械学習(ML)、ディープラーニング、さらには大規模言語モデルなど、いちだんと複雑なアプローチが加速しています。これらの進歩から、エッジで使用されることが予想される膨大な量のデータの一端を垣間見ることができます。現在の焦点はニューラルネットワークの演算をいかに高速化するかということに置かれていますが、マイクロンはエッジAI向けに改良されたメモリとストレージの開発に注力しています。
合成データとは?
IDC1 は2025年までに世界中で175ゼタバイト(1ゼタバイト==10億テラバイト)の新しいデータが生成されると予測しています。これは計り知れない数値ですが、AIの進歩により、データ不足のシステムはいつでもその限界を超えるよう迫られるでしょう。
実際、かつてないほどAIモデルは増え続けていますが、直接測定や物理的な画像から得られる実際の物理データの量によってその数は抑えられてきました。オレンジのサンプル画像が1万枚あれば、オレンジを識別するのは簡単です。しかし、比較する特定の場面が必要な場合、例えば、無作為の群衆と秩序だった行進、あるいは失敗した手作りのクッキーと完璧なクッキーなど、ベースラインモデルを作成するためのすべてのバリエーションサンプルがない限り、結果を正確に導き出すのは困難です。
業界では、合成データ2 の利用がますます増えています。合成データは、例えば同じ画像について、統計のうえで現実とされるシミュレーションモデルに基づいて人工的に生成されます。このアプローチが特に当てはまるのは、産業用ビジョンシステムです。このシステムでは、物理的な画像のベースラインが独特で、有効なモデルとなる表象を提供できるウェブ上の「ウィジェット」が十分に存在しません。
出典: 「Forget About Your Real Data – Synthetic Data Is the Future of AI」、Maverick Research、2021年、「What Is Synthetic Data」、Gerard Andrews、NVIDIA、2021年
当然ながら、こうした新しい形式のデータがどこに保存されるかが課題となります。作成される新しいデータセットは、クラウドに保存されるか、より独特な表象の場合は、データを分析する必要がある場所、つまりエッジにより近い場所に保存される必要があります。
モデルの複雑性とメモリの壁
アルゴリズムの効率性とAIモデルのパフォーマンスの最適なバランスを見つけるのは、データ特性や量、リソースの可用性、消費電力、ワークロード要件などの要因に依存するため、複雑な作業になります。
AIモデルはパラメーターの数によって特徴づけられる複雑なアルゴリズムであり、パラメーターの数が多いほど、結果の精度も高くなります。業界では、実装が簡単でネットワークパフォーマンスのベースラインとなったResNet50のような共通のベースラインモデルから使い始めています。しかし、そのモデルは限られたデータセットと限られたアプリケーションに焦点を当てたものでした。これらの革新的なモデルが進化するにつれ、メモリ帯域幅3 の増加に伴いパラメーターも増加していることが分かります。これは明らかに負担となっています。モデルが処理できるデータ量に関わらず、モデルとパラメーターに使用できるメモリとストレージの帯域幅によって制限が生じるからです。
最先端(SOTA)モデルのパラメーター数の年ごとの推移と、AIアクセラレーターのメモリ容量(緑色の点)。出典:「AI and Memory Wall」、Amir Gholami、Medium、2021年
簡単な比較として、組み込まれているAIシステムの性能では1秒あたり何兆回の演算が可能か(TOPS)を見てみましょう。ここでは、100TOPS未満のAIエッジデバイスには約225GB/秒、100TOPS以上のデバイスには451GB/秒のメモリ帯域幅が必要になる可能性があることが分かります(表1)。
エンドポイントインテリジェンス | 顧客構内エッジ | インフラストラクチャーエッジ | |
---|---|---|---|
INT 8 TOPS | 20未満 | 100未満 | <100~200 |
必要なメモリ帯域幅* | 90GB/秒 | 225GB/秒 | 451GB/秒 |
IO幅要件 | x16、x32 | x64、x128 | X256 |
メモリソリューション | |||
演算DRAM | LPDDR4 ピンあたり4.2GT/秒 |
LPDDR5;LPDDR5x ピンあたり6.4GT/秒;8.5GT/秒 |
|
ピンあたりの最大転送レート | |||
最大デバイス帯域幅(x32) | 13GB/秒 | 26GB/秒;34GB/秒 |
表1 – AIシステムのメモリ帯域幅要件とメモリテクノロジーデバイスの帯域幅の比較。(* INT8 Resnet 50モデルのDLAの飽和に必要な推定帯域幅)。マイクロン。
モデルを最適化する一つの方法として、より高性能で消費電力が最も低いメモリを検討することが挙げられます。
メモリは、新しい標準に合わせて進化することで、AIアクセラレーテッドソリューションに追いつこうとしています。たとえば、LPDDR4/4X(低電力DDR4 DRAM)およびLPDDR5/5X(低電力DDR5 DRAM)ソリューションは、従来のテクノロジーに比べてパフォーマンスが大幅に改善しています。
LPDDR4はピンあたり最大4.2GT/秒(ピンあたりのギガビット毎秒)で動作し、最大x64のバス幅をサポートします。 LPDDR5XはLPDDR4と比較してパフォーマンスが50%向上することによりパフォーマンスは倍増し、ピンあたり8.5GT/秒にもなります。また、LPDDR5はLPDDR4Xよりも20%優れた電力効率を実現します(出典:マイクロン)。これらは、AIエッジのユースケースが拡大しつつある中、これに対応していかなければならない環境において重要な進展です。
ストレージについて検討すべきことは?
コンピューティングリソースが、処理ユニットの生のTOPまたはメモリアーキテクチャーの帯域幅によって制限されると考えるだけでは不十分です。機械学習モデルが洗練されるにつれて、モデルのパラメーター数も指数関数的に増加しています。
機械学習モデルとデータセットは、より良いモデル効率の実現に向けて拡張されるため、より高性能な組み込みストレージも必要になります。3.2GB/秒のeMMC 5.1などの典型的なマネージドNANDソリューションは、コードの起動だけでなく、リモートデータストレージにも最適です。さらに、UFS3.1などのソリューションは、7倍の速さである23.2Gb/秒で動作し、より複雑なモデルに対応できます。
新しいアーキテクチャーにより、従来はクラウドやITインフラが担っていた機能がエッジに移りつつあります。例えば、エッジソリューションでは、制限された運用データとIT/クラウドドメインの間にエアギャップを設けるセキュアレイヤーが実装されます。また、エッジでのAIは、保存データの分類、タグ付け、取得などのインテリジェントな自動化もサポートします。
3D TLC NANDをサポートするNVMeTMSSDなどのメモリストレージの開発により、さまざまなエッジワークロードのパフォーマンスが向上します。例えば、マイクロンの7450 NVMe SSDは、ほとんどのエッジとデータセンターのワークロードに最適な176層NAND技術を活用しています。2ミリ秒のサービス品質(QoS)レイテンシーにより、SQLサーバープラットフォームのパフォーマンス要件に最適です また、FIPS 140-3 Level 2とTAAコンプライアンスに対応したオプションにより、米国連邦政府のプロキュアメント要件を満たします。
拡大するAIエッジプロセッサーのエコシステム
Allied Market Researchの予測によると、AIエッジプロセッサー市場は2030年までに96億ドルに成長すると見込まれています。4 しかし興味深いことに、この新しいAIプロセッサーのスタートアップ企業群は、スペースと電力の制約が多いエッジアプリケーション向けのASICや独自仕様のASSPを開発しています。これらの新しいチップセットも、メモリやストレージソリューションに関しては、パフォーマンスと電力のトレードオフを図ったうえでのバランスが必要になります。
さらに、AIチップセットベンダーは、1Uソリューションにインストールでき、ストレージサーバーに配置して、AI/ML推論からビデオ処理にいたるまで同じモジュールを使用してあらゆるワークロードを加速させるエンタープライズとデータセンター標準フォームファクタ(EDSFF)のアクセラレーターカードを開発しました。
適切なメモリとストレージパートナーを見つけるには?
AIはもはや過剰に宣伝されたものではなく、現実としてあらゆる業界で導入されています。ある調査によれば、業界の89%がエッジでのAIに関する戦略を策定済みか、今後2年以内に策定する予定であるとしています。5
しかし、AIを実装する作業は容易ではなく、適切なテクノロジーとコンポーネントによってすべてが変わります。メモリとストレージ両方の最新テクノロジーのポートフォリオを持つマイクロンは、IQ(産業指数)価値提案で産業顧客向けのサービスを牽引しています。AIエッジシステムの設計をお考えの場合は、これまで以上に迅速に製品を市場に投入できるようマイクロンがサポートいたします。詳しくは、最寄りのマイクロン代理店またはマイクロン製品のディストリビューター(www.micron.com)までお問い合わせください。
1 出典:「The Digitization of the World – From Edge to Core」、IDC/Seagate、2018年
2 出典:「Forget About Your Real Data – Synthetic Data Is the Future of AI」、Maverick Research、2021年、「What Is Synthetic Data」、Gerard Andrews、NVIDIA、2021年
3 出典:「AI and Memory Wall」、Amir Gholami、Medium、2021年
4 出典:「Edge AI Processor Market Research, 2030」 Allied Market Research、2022年6月
5 出典:「Mastering Digital Transformation in Manufacturing」、Jash Bansidhar、Advantech Connect、2023年。「Mastering Digital Transformation in Manufacturing」、Jash Bansidhar、Advantech Connect、2023年