寄せ集められたデータは、どのような外見をしているのでしょうか? マイクロンの事業開発マネージャー、エリック・カワードによると、彼がイメージするデータの集合は、山の形をしています。1つひとつの塵や岩が、それぞれ特定の情報を表します。一見したところ、この山はビッグデータを積み上げただけのようで、その潜在力となると、人によっては大量のゴミのようにしか思えないかもしれません。しかし、経験豊富な鉱山労働者なら知っているように、山によっては金の薄片が含まれている場合があります。
データの山に潜んでいるこれらの薄片は、より詳しいインサイトを入手するために使用できる、貴重な情報です。たとえば住宅における室温測定値の集合は、それほど興味深いビッグデータの山には見えないかもしれませんが、その内部にあるトレンドは、実は信じられないほど有益な場合があります。一定の時間帯に温度が高くなりすぎるトレンドが見られる場合、そのトレンドを追跡することで、住宅所有者が暖房システムをうまく最適化し、エネルギーコストを節約できる可能性があります。
砂鉱床採掘(遊離した物質の中に金が蓄積しており、これを抽出するために水を使う必要のある採掘方法)の場合、鉱山労働者は金の薄片を集めるべく、受け皿を揺すって洗浄を開始します。しかし、受け皿を揺するのは簡単な技法ではあるものの、大規模な鉱床から金を採取するための最善の方法ではありません(ビッグデータの山から目的とする情報を取り出す場合も同じです)。そのため、より効率的な方法として、樋流し箱と遮蔽植栽を使用し、大規模な鉱床をより迅速に処理して、目的とする宝を発見します。
熟練した鉱山労働者の役割をコンピューターが果たし、この山(ビッグデータ)をふるいにかけ、金の薄片にたどり着くには、どうすればいいでしょうか? 重要な情報を効率よく抽出するには、ファストデータ分析が必要です。クラウドに保存された室温測定値のリストは、一見した限りではほとんど無価値ですが、コンピューターシステムを使ってスキャンし、その中に潜んでいるトレンドを特定してソリューションを導き出すことができれば、金を発見したことになります。ユーレカ(我、発見せり)!
コンピューターシステムでこのファストデータを最も効率よく処理するには、遅延を最小限に抑える、効率的なメモリが必要です。こうしたトレンドが塵の中に隠れたままになっていては、誰も得をしません。幸いなことに、超高速ダイナミックランダムアクセスメモリ(DRAM)ほどデータをシステム内で高速移動できるものは他にありません。
ビッグデータでファストデータに情報を提供
2016年に雑誌「Entrepreneur」に掲載された記事によると、総データ量は信じられないほど速いペースで増加しています。2020年には、オンラインでの活動によって1人あたり毎秒1.7メガバイトのデータが新たに作成され、その時点ですでに44ゼタバイトに達しているデータ量にさらに上乗せされる見通しです。
身体のバイタルサインを日常的に監視するテクノロジーが進歩すると、心拍数や睡眠パターンを検知する小型のウェアラブルデバイスにしても、血糖値や血圧を監視する医療技術のイノベーションにしても、医療機関が革新的な方法で予防医学に貢献できるようになります。IoTデバイス(ネットワークに無線接続してデータを送信できる非標準的なコンピューティングデバイス)の数が急増し、患者の健康状態についてさまざまな要素を追跡するツールが増加するにつれ、さらに多くのビッグデータが刻々と作成されます。
ソーシャルメディア上で、あるユーザー向けのニュースフィードに、どのスポンサー投稿を表示すべきかを広告代理店が判断する場合、使用可能なすべてのデータをふるいにかけ、そのユーザーに対して訴求力のある、関連性の高い情報を見つけ出さなければなりません。もしそれが当たれば、その選択は広告主にとってまさに純金に匹敵します。
人工知能(AI)プログラムで個人のプロファイルにざっと目を通すと、いくつかの閲覧データが見つかります。おそらくAmazonの閲覧履歴、YouTubeの登録チャンネル、大量のGoogle検索の組み合わせでしょう。ファストデータはこれらの情報をすばやく紐づけ、オンラインショップのカートに入った自動車関連用品、以前閲覧した「2012年型フォード・エクスプローラーのブレーキパッドの交換方法」と題するYouTube動画、DIYプロジェクトに関する連載記事への登録などを発見します。この場合、プログラムは容易に、最寄りの自動車部品専門店の広告を集中投下することができます。AIがさらにスマート化し、データがさらにファスト化するにつれ、ユーザーがすでにブレーキパッドを購入済みであることがデータから判明するでしょう。そこで、レンチやジャッキスタンドなど、ユーザーが取り組んでいると思われる作業に必要なものに焦点を当てた広告に差し替えられる可能性があります。
「データを瞬時に傍受して解釈できる、非常に高速なメモリシステムをプログラムが利用し、関連性のある広告をウェブサイトに瞬間的にプッシュすることができれば、クリックスルーが発生し、売買の成立につながる可能性があります」と、カワードは言います。
このようなデータ集合を十分に速く傍受するには、これらのAIおよび機械学習プログラムを実行するユニットに十分な帯域幅が備わっている必要があります。特定のソーシャルメディアプロファイルおよびブラウザ履歴に関して、クラウドに保存されたすべてのビッグデータを取り込み、重要な金の薄片を発見して、その分析をプロセシングユニットのすぐ近くで実行します。その重要な情報(一般にホットデータと呼ばれる)がシステムのプロセシングユニットに近ければ近いほど、ユーザーにとって見返りが大きくなると、カワードは言います。より速く、より効率的なメモリソリューションの開発にマイクロンが莫大な投資を行っている理由は、まさにこれです。
ハードディスクからSSDまで、すべてをスピードアップ
システム内におけるデータの移動をスピードアップするものは、信頼性の高いDRAMだけではありません。従来型のハードディスク(HDD)からソリッドステートドライブ(SSD)への移動により、システムは数ミリ秒に相当する貴重な時間を獲得できます。標準的なハードディスクでは、情報を入手するための技術的な移動がより多く必要となり、その後、データを読み取るために物理的に回転しなければならず、貴重な時間が費やされます。
「フラッシュ(SSD)メモリに移動すれば、物理的な移動が何も発生しないので、ずっと速くデータにアクセスできます」 マイクロンの事業開発マネージャー、エリック・カワード
カワードは次のように言います。フラッシュ(SSD)メモリに移動すれば「物理的な移動が一切発生しないので、ずっと速くデータにアクセスできます」
現在のプロセッサーは速度の可能性を広げつつあり、3ギガヘルツまたは4ギガヘルツの標準的な速度が、最大4.5ギガヘルツ、さらには5ギガヘルツへと上昇しています。「データをナノ秒単位で処理していて、データを取得するまでの待ち時間がマイクロ秒ではなくミリ秒単位である場合、CPUはその余った時間を無為に過ごしていることになります」と、カワードは言います。結果が得られるまでの、このような秒未満の無駄な時間を回避する目的で、メモリがプロセシングユニットのますます近くに配置されるようになっています。また、GDDR5、GDDR5X、GDDR6メモリの形式で、高性能コンピューティングを前提とする設計が採用されています。
このデータを低レイテンシー、高帯域幅で、できるだけ速く移動するために、メモリが「実際にコンピュートユニットの隣に接合されている」と、カワードは説明します。
ファストデータを今日のテクノロジーに応用
より高速なメモリソリューションがすでに出現して日々改良されつつある現在、機械学習とAIの応用先は無限にあります。その中には、カワードがこの世代における至高の目標と呼んでいる、自律走行車も含まれています。これらの車両に搭載されたセンサーは、交通信号、位置関係の認識、他の物体(特に車両および人)との近接性などといった入力を絶えず監視し、特定の状況に適用すべきアクションを分析します。
「基本的に、膨大な量の情報を車載のスーパーコンピューターに取り込み、そのデータを処理していることになります」と、カワードは言います。「有用性のないデータを取り去って、データを少しばかり扱いやすくします。ある種の内部処理を実行します。各種のネットワークを通じて、潜在的にクラウドに接続し、さらに多くの処理を実行させた後、それに応じた反応をします。すべては目的地に安全に到着できるようにするためです」
ファストデータは病院でも驚くべき成果をもたらします。CATスキャンの結果を3,000人の医師に送って細胞を分析してもらう代わりに、何年分にも相当する悪性細胞と良性細胞を分析することにより、悪性細胞の識別方法を学習済みのニューラルネットワークに、1回のCATスキャン結果を送信することができます。
「検出率は高まる一方です」と、カワードは述べています。「これがコンピューターに組み込まれていて、ファストデータがあれば、オートパイロットで実行可能です」
データの処理速度を高める製品を進化させているマイクロンは、このようなタイプのアプリケーションの拡張をお手伝いすることができます。プロセッサーは高速化しつつあり、処理できる情報量を増やし続けています。しかし、26コアのプロセッサーに対し、1つのコアのみが占有される程度のデータしか供給されなければ、残りのコアは何もすることがありません。ビッグデータとファストデータからは多くのものが得られますが、それはデータの潜在能力がフルに活用された場合に限られます。
「この1枚のシリコンチップで、ロジックを処理し、あらゆるものを動かし続けることができます」と、カワードは言います。「しかし、非常に高い速度で動作する以上、このチップに可能な限り速くデータを転送し続けなければなりません。そうでないと、チップの潜在能力が無駄になります」
マイクロンのDRAMとSSDを利用し、CPUにすばやくデータを移動すると、この潜在能力が無駄になりません。システムがビッグデータの山をふるいにかけ、その中に隠れている金の薄片のような貴重なデータを浮上させ、新しい結論やインサイトを導き出すことが可能になります。