マイクロンのテクノロジー用語集

データパイプライン

データの流れを示す色とりどりの光の筋

組織がAI データセンター、クラウドプラットフォーム、エッジデバイスにわたって前例のない量のデータを生成する中、そのデータを移動させ、 効率的に処理する能力は、競争力の維持に不可欠なものになりました。   データパイプラインは、生データの取り込みから分析可能なアウトプットまでの道のりを自動化し、 企業が実効性のある知見を大規模に 抽出できるようにします。大規模 言語モデル(LLM)の学習から、リアルタイムの財務判断の支援に至るまで、 データパイプラインは、現代のあらゆるデータ活用の取り組みにおいて中心的な役割を担っています。  

データパイプラインとは?

データパイプラインとは、複数のソースから生データを取得し、 分析、レポート作成、業務ワークフローで利用可能な形式に変換する 自動化されたシステムです。データがクレンジングされ標準化されると、 通常はデータレイクやデータウェアハウスなどの中央リポジトリに保存され、 アナリティクスプラットフォームや 機械 学習ワークフローなどの下流ツールですぐに利用できる状態になります。

AIモデルが大規模かつ複雑になるにつれ、データパイプラインは、 取り込み、変換、学習、および推論の各段階を通じて、情報を迅速かつ確実に伝送するよう求められます。   そのため、実用的なインテリジェンスを大規模に提供するうえで、 メモリとストレージの優れたパフォーマンスが不可欠になります。

AIデータパイプラインとは?

AIデータパイプラインは、モデルの学習、グラウンディング、 推論、継続的な改善に向けてデータを準備します。構造化および非構造化データの入力を整理し、 メタデータとデータリネージを保持することで、 最新データを評価や再学習へと再び取り込み、 AIのライフサイクル全体を支えます。

これは、生成AI、検索拡張生成、そしてリアルタイム機械学習にとって重要です。 モデルが本番環境の規模で信頼性の高い出力を生成するには、最新かつ関連性が高く、 適切にガバナンスされたデータを必要とするためです。

データパイプラインにはどのような主要なステップがあるか?  

データパイプラインは、ビジネス用途のためにデータを収集、準備、保存、監視する 一連の接続されたステップを通じてデータを移動させる仕組みです。それぞれのステップは、 データが正確で一貫性を持ち、アナリティクス、レポート作成、アプリケーション、またはその他の下流ワークフローで データをすぐに利用できる状態にするうえで役立ちます。

1. データの取り込み

データの取り込みはデータパイプラインの最初のステップであり、生データが アプリケーション、データベース、アプリケーションプログラミングインターフェース(API)、 ドキュメント、センサー、接続されたデバイスなどのソースから収集されます。 その目的は、異なるシステムから取得したデータを一つのワークフローに集約し、 より効果的に処理・利用できるようにすることです。

このステップでは、どのデータがパイプラインに取り込まれるか、またどのくらいの頻度で 収集されるか、さらにバッチ処理で、あるいは継続的にキャプチャされるのかを決定します。堅牢な データ取り込みプロセスは、データの欠落、重複データ、 および不要な遅延を削減するうえで役立ちます。

2. データの検証

データの検証(バリデーション)では、入力データがパイプラインの後続処理に進む前に、 そのデータが正確かつ完全で、使用可能かどうかを確認します。これには、 フィールドの欠落、重複データ、誤った形式、 予期しない値、または品質基準を満たさないデータの検出が含まれます。

検証は、不正確な情報や不完全な情報が、 レポート、ダッシュボード、アプリケーション、あるいはビジネス上の意思決定に影響を及ぼす前に、 問題を早期発見する手助けをします。

3. データの変換

データの変換は、検証済みのデータを変換することで 適切な詳細レベル、形式、構造に整理し、使用可能な状態にします。これには、 テキストのクレンジング、単位の標準化、値の正規化、 データセットの結合、記録の集計、またはビジネスルールの適用が含まれます。

データ変換により、データはシステム全体において比較、分析、共有が容易になります。   また、さまざまなチームが一貫性のある情報に基づいて作業できるようにするうえで役立ちます。  

4. データのエンリッチメント

データのエンリッチメントとは、既存のデータに有用なコンテキストを追加し、 より多くの情報を提供できるようにすることです。追加するコンテキストには、メタデータ、タグ、分類、 顧客属性、位置情報、またはその他の信頼できる 内部・外部ソースからの情報などがあります。

エンリッチメントにより、チームはデータ内の関係性、トレンド、およびパターンを より深く理解できるようになります。また、フィルタリング、セグメンテーション、 レポート作成や分析の改善にも役立ちます。

5. データストレージ

データストレージでは、準備されたデータをデータベース、 データレイク、データウェアハウス、またはレイクハウスなどのリポジトリに保持します。ストレージ層は、チーム やシステムに、レポート作成、アナリティクス、アプリケーション、または 業務ワークフローのためにデータにアクセスする一元的な場所を提供します。

効果的なストレージは、データアクセス、セキュリティ、ガバナンス、そして データ量の増加に伴うスケーラビリティを支援します。

6. パイプラインの監視

パイプラインの監視では、パフォーマンス、信頼性、データ品質を データパイプライン全体にわたって追跡します。チームは、スループット、 レイテンシー、ジョブの失敗、スキーマの変更、データの鮮度といった要素を監視し、 下流のユーザーに影響が及ぶ前に問題を検出できるようにします。

また監視は、データフローの遅延や品質低下、あるいは対応が必要なプロセスの発生を可視化することで、 パイプラインに対する信頼性を維持するのに役立ちます。  

データパイプラインは 実際にどのように機能しているか?

小売業者は、データパイプラインを使用して、自社のウェブサイトの売上データ、 店舗システムの在庫データ、およびロイヤリティプログラムの顧客データを統合することができます。   パイプラインは各ソースからデータを取り込み、 正確性を検証し、一貫した形式に変換し、製品や顧客の詳細情報でデータのエンリッチメントを行い、 レポート作成や分析のためにデータウェアハウスに格納します。  

ビジネスチームは、このパイプラインを使用して製品需要を把握し、 在庫不足を特定し、ダッシュボードを更新し、価格設定や補充の 意思決定を行います。この例では、パイプラインは分断された運用データを チームが迅速かつ一貫して活用できる情報へと変換します。

データパイプラインはどのような歴史をたどってきたのか?  

データパイプラインは、単純な逐次バッチスクリプトから、 ペタバイト規模のデータをリアルタイムで処理できる、 高度な分散システムへと進化しました。この進化は、データ量の指数関数的な増加と、 AIワークロードに対する高まる需要を反映しています。

  • 2000年代初頭:エンタープライズ向けパイプラインが、 スケジュールされたバッチ抽出・変換・ロード(ETL)プロセスに依存して、 リレーショナルデータベースとレポート作成システムの間で構造化データを移動させていました。  
  • 2004年:バッチ処理アルゴリズムのMapReduceが 特許を取得し、その後、Hadoop、CouchDB、MongoDBといったオープンソースシステムに統合され、 スケーラブルな分散データ処理の時代を確立しました。  
  • 2010年代:ストリーミングデータパイプライン(イベント駆動型アーキテクチャーとも呼ばれます)が登場し、 センサーやユーザーの操作によって生成されるイベントを 継続的に処理するとともに、Apache Kafkaなどのメッセージングシステムによって リアルタイムのデータフローを実現するようになりました。
  • 2010年代半ば以降:クラウドネイティブなパイプラインが成熟し、 SnowflakeやBigQueryなどの最新プラットフォームが、変換済みデータを 大規模に保存・提供するための弾力的なマネージドインフラストラクチャーを実現しています。  
  • 現在:AIデータパイプラインが、キャプチャ、取り込み、 変換、学習、推論にわたっており、各フェーズにおいて、基盤インフラストラクチャーに 特有のメモリおよびストレージ性能が求められるため、 適切なハードウェアを選択することが、AIの成功にとって不可欠になります。  

データパイプラインには主に どのような種類があるのか?

データパイプラインは複数のアーキテクチャーパターンにまたがっており、それぞれが 異なるレイテンシー、ボリューム、処理要件に合わせて最適化されています。適切なタイプの選択は、 下流のコンシューマーがリアルタイムのデータ鮮度を必要としているか、 あるいは定期的なバッチ配信を許容できるかによって決まります。

1. バッチ処理パイプライン

バッチ処理パイプラインは、継続的ではなく、スケジュールされた間隔で データを収集・処理します。このアプローチは、 即時の更新を必要としないワークロード(例:月次の 会計処理、定型レポート、大規模なバックオフィス向けデータジョブなど)に有効です。

多くの場合、バッチパイプラインは組織が オフピーク時に大量のデータを効率的に処理する必要がある場合に使用されます。バッチ処理パイプラインは、 システムの負荷を軽減し、予測可能なレポートサイクルを支え、 リアルタイム情報に依存しないワークロードの管理を容易にします。  

2. ストリーミングデータパイプライン

ストリーミングデータパイプラインは、イベントデータを発生と同時に継続的に処理します。   これは、データがほぼリアルタイムで最新の状態でなければならない場合に使用され、たとえば 在庫システム、POS(販売時点情報管理)プラットフォーム、センサー、または不正 検知ワークフローなどが該当します。

ストリーミングパイプラインは、高速な応答時間が重要となる場合に役立ちます。組織が 変化を発生と同時に検知し、システムを継続的に更新できるようにし、 遅延を伴うバッチ更新よりも、最新のデータに依存するアプリケーションを支援します。  

3. データ統合パイプライン

データ統合パイプラインは、複数の ソースからの情報を1つの統合ビューへと結合します。多くの場合、ETLプロセスを使用し、 生データのクリーンアップ、エンリッチメント、または再フォーマットを行ったうえで、データウェアハウスなどの 中央リポジトリに格納します。

データ統合パイプラインは、顧客関係管理プラットフォーム、 財務ツール、製品データベースやマーケティングアプリケーションなど、 もともと相互に連携しないシステムからの情報を接続させる場合に役立ちます。   こういったデータを統合することで、 組織はより包括的なレポートを作成し、データサイロを削減し、 より一貫性のある意思決定を支援できるようになります。

4. ETLパイプライン

ETLパイプラインは、ソースシステムからデータを抽出し、 必要な形式に変換してから、宛先システムに読み込みます。このアプローチでは、 読み込みの前に変換が行われるため、データがデータウェアハウスやその他の 集中リポジトリに到達する前にクレンジング、標準化、マスキング、 またはガバナンスが必要な場合に有用です。

ETLは、構造化データ、コンプライアンスが重視されるワークフロー、 分析開始前に一貫性のある信頼できるデータが必要となる レポート作成環境でよく使用されます。また、準備作業の多くは パイプラインのより早い段階で行われるため、下流のユーザーにとって複雑さを 軽減することもできます。

5. ELTパイプライン

抽出・読み込み・変換(ELT)パイプラインはデータを抽出し、それを 宛先システムに読み込み、そこで変換します。変換が読み込み後に行われるため、 このモデルは、組織がまず生データを保存し、その後に クラウドデータウェアハウスやレイクハウスを使用して 大量のデータをオンデマンドで変換したい場合に有用です。  

ELTは、同一の生データをさまざまなレポート作成、アナリティクス、 アプリケーションのニーズに合わせて再利用できる柔軟性を持つため、 現代のクラウドアナリティクス環境において普及しています。また、読み込みの前にデータを完全に変換する必要がないため、 宛先システムへのより高速なデータ取り込みを支援します。  

6. クラウドネイティブパイプライン

クラウドネイティブパイプラインは、スケーラブルなマネージドインフラストラクチャーを活用して クラウド環境で動作するように構築されています。これにより、組織はオンプレミスシステムのみに 依存することなく、高い柔軟性をもってデータを収集、クレンジング、変換、分析することができます。  

クラウドネイティブパイプラインは、ワークロードの需要に基づいて リソースを増減させることができます。そのため、データ量が変動する組織や分散型チームにとって 特に便利です。また、 クラウドベースのシステム全体でデータを容易に移動、処理、アクセスできるようにすることで、 最新のアナリティクス、アプリケーション開発、およびAIワークフローを支援します。

データパイプラインの用途

データパイプラインは、アナリティクス、AIの学習、 業務システムにおけるデータの利用可能性を加速することで、ほぼすべての業界に 価値をもたらします。組織は、ビジネス価値創出のために生データを 加工する必要があるあらゆる場所でデータパイプラインを導入します。

業界別および用途別のユースケースは次のとおりです。

  • 人工知能:パイプラインは データの収集、取り込み、変換、セグメンテーションなどを通してデータを移動させ、 処理済みのデータを学習、検証、テストの各データセットに分割することで、AIモデルの開発を支援しています。  
  • 金融サービス:リアルタイムのストリーミング パイプラインはトランザクションイベントをミリ秒単位で処理し、不正 検知や即時の運用対応を可能にします。
  • ヘルスケア:統合パイプラインは 異なるシステムから取得した患者のデータを集約し、診断の ワークフローを加速させ、臨床における意思決定を支援しています。
  • 小売およびeコマース:ストリーミングパイプラインが 在庫と販売履歴をリアルタイムで更新し、販売者が 在庫について消費者に正確に伝えられるようにします。
  • データ移行:組織はクラウド移行や インフラのアップグレード中にパイプラインを使用して あるシステムから別のシステムへデータを移動させ、転送プロセス全体を通じてデータリネージが保持されるようにします。  
  • ビジネスインテリジェンス:適切に整理されたデータパイプラインは、 経営幹部の意思決定を支える探索的データ分析、データの可視化、 および機械学習タスクの基盤を提供します。  

データパイプラインにおけるマイクロンの役割  

データパイプラインおよびAIデータパイプラインは、 取り込み、変換、ストレージ、学習、推論、分析といった ワークフロー全体にわたり、高速かつ信頼性の高い方法で情報を移動できるかにかかっています。マイクロンは、 システムが大量のデータに効率よくアクセスし、処理、保持できるように設計された メモリおよびストレージソリューションでこれらのワークロードを支えています。組織が 生成AIやリアルタイムアナリティクスなどのデータ集約型のアプリケーションを構築するにあたり、 高性能なメモリやストレージは、ボトルネックの削減と、これらのパイプラインが必要とする 拡張性、速度、信頼性を獲得するうえで役立ちます。  

よくある質問

データパイプラインに関するよくある質問

ETLパイプラインはデータパイプラインの一種ですが、すべてのデータ パイプラインがETLパイプラインであるとは限りません。ETLパイプラインはデータを抽出し、変換を行い、 事前に定義されたワークフローに従ってデータリポジトリに読み込みます。 他の種類のデータパイプラインはより広範な範囲を対象とし、 追加の処理や配信段階を含めることができます。モダンアーキテクチャーでは、 ELT(抽出、読み込み、変換)パターンやリアルタイム ストリーミングフローの導入が進み、これらは従来のETLが対象とする範囲をはるかに超えています。

ETLは抽出、変換、読み込みを意味し、一方ELTは 抽出、読み込み、変換を意味します。ETLパイプラインでは、データは 宛先システムに読み込まれる前に変換されます。ELTパイプラインでは、 最初にデータが読み込まれ、次に宛先システム内で変換されます。 その際、多くの場合、クラウドデータウェアハウスまたは レイクハウスの拡張可能な計算資源が使用されます。

バッチデータパイプラインは定期的な間隔でデータを処理しますが、 ストリーミングデータパイプラインは、データが生成されると同時に継続的に処理します。 バッチパイプラインは、定期的なレポート作成や、 即時の更新を必要としない大規模なジョブに役立ちます。ストリーミングパイプラインは、 在庫の更新、不正検知、センサー監視など、ニアリアルタイムの情報に依存する ユースケースに適しています。

信頼性の高いデータパイプラインは、手作業による介入を最小限に抑えて 正確かつ完全でタイムリーなデータを配信します。信頼性は、強固な 検証、一貫した監視、明確なエラー処理、セキュアなアクセス制御、 そして変化するデータ量に対応できるスケーラブルなインフラストラクチャーに依存します。  

また、信頼性の高いパイプラインを利用することで、データがどこから来たか、 どのように変化したか、そして下流における利用に十分な鮮度があるかどうかを追跡しやすくなります。これにより、 チームはパイプラインに依存するレポート、アプリケーション、AIシステム、そしてビジネス 上の意思決定を信頼できるようになります。

データパイプラインは、AIモデルがクリーンで構造化された、 継続的に更新される学習用データを受け取ることを保証する、不可欠なインフラストラクチャーです。 たった1つの破損したデータセットが、数百万ドル規模の学習の実行を 壊滅的な失敗に追い込む可能性があるため、データパイプラインの信頼性は、 AI開発における最も重要なエンジニアリング課題の一つとなっています。マイクロンのデータ センター向けSSDおよび大容量メモリソリューションは、 AIデータパイプラインが大規模な運用で必要とする広帯域幅および 低レイテンシーの要件を満たせるよう設計されています。