AIと機械学習には高性能なストレージが必要

長年にわたって学術界、地球科学、官公庁業界の頼みの綱であった人工知能と機械学習（AI/ML）が、営利企業における実際的なイネーブラーとして急速に主流化しつつあります。AI/MLの仕組みと、この新しいコンピュート機能によって提起される課題をどこまで理解するかによって、投資から最大の価値を引き出すのはどの企業かが決まります。このブログおよび後に続くいくつかのブログでは、営利企業としてAI/MLの世界に参入する際に、克服すべき重要なハードルと、マイクロンがどのようにお役に立てるかをご紹介したいと思います。

簡単に概要を述べると、AI/MLのワークフローは「取り込み」、「変換」、「トレーニング」、「本稼働／実行」という4つの主要なコンポーネントで成り立っています（図を参照）。このブログでは、AI/MLベースのソリューションの導入における「取り込み」および「変換」フェーズについて述べます。

データの取り込みおよび変換プロセスは、最も重要なステップの1つであり、開発するAIシステムがどれほど早く価値を提供できるかが、ここで決まります。多くのAIソリューションで、これらのステップはAI実行プロセス全体の最大80%を占める場合があり、最近ではデータサイエンスの主な焦点となっています。なぜそうなのかをより的確に理解するには、これらの各ステップには何が必要かを理解することが重要です。

取り込み

取り込みは、読んで字のごとくです。さまざまなソース（その多くは互いに非互換なフォーマット）からデータを収集し、変換プロセスによって変換可能な形で保存し、システムをトレニーングするのに使える形式にしなければなりません。トレーニングプロセスは、現実世界でAIを「スマート」かつ有益なものにするプロセスです。AIプロセスおよびそれによって提供される応答は、大量のデータに依存します。ストレージソリューションは、高速でなければなりません。そうでないと、データが使えるようになる前に、データの変換に途方もなく長い時間がかかってしまいます。取り込みプロセス中にリポジトリに対して行われるデータの移動は、100%書き込みです。ただし、一般に「1回限りの書き込み」です。取り込まれるデータのサイズはさまざまであり、内容は一般に非構造化オブジェクト、すなわちビデオ、画像、文書、会話トランスクリプトなどのファイル形式であり、多くの場合、個別のデータレイクやその他のデータソースに存在します。このようなデータフォーマットの変動性により、その後に続く変換プロセスが必要になります。取り込みプロセスは、高速（広帯域）ネットワーク接続と、大容量の高速なデータリポジトリという、2つの主要なコンポーネントに依存します。ここで大容量と言うのは、正真正銘の大容量を意味します！データ収集は大容量であることが要求されますが、もっと重要なのは、ストレージソリューションが高速であることです。

変換

変換プロセスは、AIソリューションを形作る3つの反復的なプロセスのうち最初のものであり、おそらくAI開発に最も大きく影響します。取り込まれるデータは、非常にさまざまなサイズとフォーマットである可能性が高いので、この後のトレーニングプロセスで容易に消費できる1つのフォーマットにデータを正規化することが重要です。ほとんどのAIソリューションで、この変換プロセスの結果として作られるフォーマットは、選択したトレーニングエンジンおよび本稼働エンジンに対応するフォーマットです。これは現在、一般にオープンソース（TensorFlow™）などのAIフレームワークです。

この標準フォーマットにデータを変換するには、反復的なプロセスが必要です。このプロセスは、次の3つの主要なステップに分けられます。変換のためのデータの準備、目的とするフォーマット（例：TensorFlowデータフォーマット）へのデータの変換、そしてフォーマット化されたデータの評価と使用不可能なレコードの特定です。各データセットについてこれらのステップを繰り返し、最終的にすべてのデータを希望するデータフォーマットで書き込みます。

データを変換する速度は、各コンピュートノードに導入されているメモリの量と質、およびストレージソリューションの速度によって決まります。このフェーズにおけるストレージのアクセスは（その前の取り込みプロセスとは違って）多様であり、取り込んだデータへのシーケンシャルアクセスとランダムアクセスの両方が必要です。この読み取り／書き込みの比率は、ターゲットに使用するAIフレームワークに加え、その結果として生じるトレーニング用の標準データフォーマットの要件によって異なります。ほとんどの変換プロセスで、ワーストケースのシナリオは50%の読み取りと50%の書き込みですが、これは変換するデータセットによって大きく異なります。たとえばデータオブジェクトを変換する場合、オブジェクトごとに読み取った後、目的とするフォーマットで書き込みます。会話データを分析して、データのテキストだけを抽出しメタデータをすべて削除する場合には、読み取りの比率が約80%以上になるでしょう。

分析と結論

では、なぜマイクロンがAIソリューションについて論じているのでしょうか？

第一に、マイクロンは先進的なメモリとストレージ製品における最有力のメーカーにしてプロバイダーであり、マイクロンのSSDは現在、大量のデータを処理する高速かつ応答性に優れたストレージのスタンダードです。マイクロンは、AI使用に最適な大容量かつ高性能なSSDを提供しており、その種類もさまざまです。企業における読み取り集約型のユースケース向けの最も価格性能比に優れたSSDソリューションであるMicron 5210 ION SSD（市場で初めてのクアッドレベルセルSSD）から、最も高性能でクラスをリードする、市販SSDの中で最大の容量を備えたMicron 9200 Eco SSD（11TB）まで広範囲にわたっています。これらは多くの場合、ホットおよびウォームの階層型ストレージの中で併用されています。マイクロンはさらに、現在のSSDソリューションと比べて10倍速い不揮発性ストレージ性能の層を追加できるストレージクラスのメモリソリューションも提供しています。

大容量データレイク／オーシャン用の一般的なLinuxベースのオブジェクトストレージソリューションであるRed Hat® Cephを使用したテストでは、4個のデュアルソケット2RUのストレージノードを使用して、23 GB/秒の書き込みスループットという最速のCephパフォーマンスを提供する、容量拡張性のある（数ペタバイトのデータまで拡張可能な）ソリューションが確認されています¹。

HDDとは異なり、SSDは非常に広い帯域幅に対応します。既存のHadoopクラスターに小容量のフラッシュを追加すると、パフォーマンスが36%も向上することが確認されています。

第二に、マイクロンの先進的なDRAMソリューション は、ソリューションに含まれる各コンピュートサーバーを拡張し、変換プロセス中の全体的なシステムパフォーマンスを向上させる、高性能なメモリソリューションを提供します。エッジストレージデバイス用の低電力・大容量メモリにおけるマイクロンのイノベーションは、現場へのAI/MLの導入を可能にします。たとえば、マイクロンによる最新のGDDRグラフィックDRAMは、メモリビットレートを16 GBpsまで高速化します。

フラッシュメモリおよびストレージにより、より多くのデータを処理エンジンの近くに保存し、より高速なアナリティクスを実現できます。より高速な処理の鍵となるGPUは、何百万もの処理を並列処理することができます（CPUは逐次処理を使用します）。まとめると、商用ソリューションに導入されつつある高度なAI/MLおよび深層学習ソリューションにとって極めて重要とされる高性能なコンポーネントを、マイクロンは幅広く提供しています。AIソリューション全体の設計および実装プロセスの80%が、取り込みステップと変換ステップで構成されています。お客様のソリューションが、AIエンジンに使用可能な学習データセットを迅速に取得できればできるほど、よりスマートなエッジ機能を構築するためにこの新技術を迅速に導入し、その恩恵を受けることができます。