Data lake（データレイク）

大量の生データを保存する必要がある場合、組織はデータレイクにより、そうしたデータを安全に保存・管理する手段を得られます。

データレイクが幅広い業界の組織をどのように支援しているのか、その理由と仕組みについてマイクロンとともに確認しましょう。詳細については、セールスサポートチームまでお問い合わせいただくこともできます。

データレイクとは何ですか？

データレイクの定義：データレイクとは、組織が構造化データ、半構造化データ、非構造化データといった膨大な量の生データを、あらゆる規模で保存できる一元化されたリポジトリです。従来のデータベースとは異なり、データレイクでは事前に定義されたスキーマが不要なため、柔軟なデータ取り込み、探索的分析、機械学習に適しています。組織はデータレイクを使用して、次のようなデータを保存します。

• 構造化データ（例：SQLデータベース）
• 半構造化データ（例：CSVファイル、HTML）
• 非構造化データ（例：マルチメディアファイル、文書、ソーシャルメディア投稿）

この柔軟性により、組織は、定量データ（センサーの測定値や売上高など）であっても、定性データ（アンケート回答や顧客フィードバックなど）であっても、生データを元の形式のまま取り込み、後で分析用に構造化できます。たとえばメーカーは、工場のセンサーから温度データを収集する、Eコマースプラットフォームから顧客の注文データをエクスポートする、動画レビューを分析するといった処理を、すべて同じデータレイク内で行えます。

データレイクは、さまざまな水源（ソース）から集まる多種多様な水（データ）を蓄えられる、巨大な貯水池のようなものだと考えてください。水を貯蔵する前に浄化する必要はありません。必要に応じて処理し、使用できます。このため、データレイクは、多様で変化し続けるデータセットを管理する組織にとって特に大きな価値があります。

データへの要求がますます複雑化する中、組織はこの基盤を発展させ、ネットワーク化されたデータレイクを構築しています。これは、数々の部門やプラットフォームを網羅しつつ複数のデータレイクを連携させるフェデレーション型、つまり相互接続型のシステムです。こうしたシステムでは、データを分散させたまま、統一されたフレームワークを通じてアクセスできます。これにより、組織横断的な共有、一元的なガバナンス、拡張性の高い分析に対応できます。ネットワーク化されたデータレイクは、パイプラインでつながった貯水池群のようなものだと考えるとわかりやすいでしょう。こうした相互接続システムにより、以下が強化されます。

• セキュリティ：分散したデータソース全体に一元的なガバナンスとアクセス制御を適用することで、データ保護と長期的な信頼性が向上します。
• スケーラビリティ：データ量の増加に合わせてシームレスに拡張できます。
• アクセシビリティ：分析に必要なタイミングで生データを構造化できます。

多様で変化し続けるデータセットを扱う柔軟で拡張性の高いリポジトリとして、データレイクが果たすこうした基盤的な役割は、次世代アーキテクチャーであるデータレイクハウスの登場にもつながっています。データレイクハウスは、データレイクの生データ保存機能と、データウェアハウスのパフォーマンス、ガバナンス、トランザクション処理機能を統合したものです。これらの強みを統合することで、データレイクハウスはリアルタイム分析や構造化・非構造化データに対応するだけでなく、エンタープライズレベルの信頼性も維持します。

この進化は、データ集約型産業で高まる需要と合致しています。こうした分野では、マイクロンの大容量SSDのようなソリューションが、AIデータレイク、ハイパフォーマンスコンピューティング、高度な分析ワークロードを支えるために必要なパフォーマンス、効率性、容量を提供します。

データレイクはどのように機能しますか？

データレイクは、リレーショナル（表形式）データと非リレーショナル（非表形式）データの両方の形式に対応しています。データレイクでは、以下に対応できます。

• ビッグデータ分析
• リアルタイムデータ処理
• 機械学習アプリケーション

これらの機能により、組織はインサイトを引き出し、顧客体験をパーソナライズし、意思決定の質を高めることができます。たとえば、データレイク内の構造化データ（電話番号など）と、同じデータレイク内の非構造化データ（画像など）を組み合わせることで、顧客行動をより深く分析できます。

データレイクは、アプリ、デバイス、ウェブサイト、データベースなど、さまざまなソースから生データを収集します。その際、事前にデータを整理する必要はありません。つまり、企業はあらゆるデータをそのまま保存しておき、答えを求めたいときの問いに応じて、後から使用方法を決められます。この柔軟性により、大量の情報を迅速に探索・分析しやすくなります。データを整理しておくために、データレイクではデータにラベルを付けてカタログ化するツールが使用され、必要なときに見つけやすく、かつ使用しやすい状態に保たれます。

ネットワーク化されたデータレイクは、この考え方をさらに進めたものです。異なるチームや拠点にある複数のデータレイクを接続します。これにより、組織はインサイトを共有し、より大規模なデータセットを使用し、人工知能（AI）などのテクノロジーを支えられます。そうしたテクノロジーは、正確な予測を行い、業務を改善するために膨大なデータを必要とします。

データレイクの歴史とはどのようなものですか？

データレイクの歴史を理解するには、データストレージとデータベース全体の歴史を把握する必要があります。

• 1970年代、データベースの初期利用：データベースにより、組織は社内でデータを収集、保存、分析できるようになりました。リレーショナルデータベースにより、企業は構造化クエリ言語（SQL）を使用して構造化データを分析できるようになりました。
• 1980～90年代、データウェアハウスとデータサイロ：20年にわたるテクノロジーの進歩により、収集されるデータ量が増え、その保存が必要になりました。データウェアハウスやデータサイロが登場し、断片化したデータを保存するための、安全な分散型ソリューションが提供されるようになりました。
• 2000年代、ビッグデータ：ビッグデータとは、従来のデータ処理ツールでは分析できない、より複雑なデータセットを指します。データレイクは、多種多様なデータを大量に保存できることから、注目されるソリューションとなりました。
• 2010年代、データレイクの登場：「データレイク」という用語は2010年に生まれました。小川から絶えず水が流れ込む大きな湖沼になぞらえた表現です。データレイクは、大量のデータを生成する組織にとって、汎用的なデータストレージソリューションとして急速に定着しました。

データレイクアーキテクチャーの種類には主にどのようなものがありますか？

組織は、さまざまな種類のデータレイクアーキテクチャーから選んで導入することができます。

オンプレミス 

オンプレミスのデータレイクは、組織のインフラストラクチャー内に配置されます。保存データに対する柔軟性と制御性が高まります。ただし、保守コストや運用コストが高くなるため、一般的にはクラウドベースのデータレイクアーキテクチャーより費用対効果が低くなります。

クラウドベース 

クラウドベースのデータレイクアーキテクチャーはスキーマが不要なため、ビッグデータを保存するにあたって柔軟性と利点を得られます。

Amazon^TM、Microsoft^TM、Google^TMなどの企業は、さまざまな企業向けにクラウドベースのデータレイクストレージソリューションを提供しています。

ハイブリッド

ハイブリッドデータレイクは、オンプレミス型とクラウドベースのソリューションの組み合わせであり、コスト効率と制御性を両立できます。ただし、異なるデータレイクアーキテクチャーを組み合わせるため、管理がより複雑になる場合があります。

データレイクはどのように活用されていますか？

データレイクの一般的な用途は、以下のとおりです。

エンターテインメントストリーミングプラットフォームでは、ネットワーク化されたデータレイクを使用して個人データや情報を保存し、顧客行動に関するインサイトを得ています。データレイクを活用することで、組織はこうしたインサイトをもとに、個々のニーズに合わせたストリーミングのおすすめを提供できます。

データレイクは医療分野でも使用されています。複雑なデータセットを保存・管理できるため、医療従事者が患者ケアを向上させ、コストを削減するための効率的な手段となります。

金融業界も、特に機械学習や人工知能の機能強化において、データレイクの大きなメリットを得ています。投資会社はデータレイクを使用して、ポートフォリオをより効果的に管理し、金融リスクをリアルタイムで分析し、市場動向をより迅速に把握しています。

たとえば、ヘッジファンドはネットワーク化されたデータレイクを使用して、世界中の証券取引所からストリーミングデータを取り込み、分析できます。これにより、AIモデルが異常を検知したときは、ミリ秒単位で取引戦略を調整できます。