Data Lake

データレイクは、必要になるまで大量の生データを元の形式で保持する、集中型のストレージリポジトリです。データを格納する前に構造化する必要がある従来のストレージシステムとは異なり、データレイクは構造化データ（行と列）、半構造化データ（CSV、ログ、XML、JSON）、非構造化データ（メール、ドキュメント、PDF）、バイナリデータ（画像、音声、動画）など、データを「そのまま」受け入れます。このアーキテクチャ上の柔軟性により、データレイクは現代のビッグデータ戦略の中核となっており、特に人工知能 (AI)や機械学習 (ML)を活用する組織にとって重要です。データの収集と利用を分離することで、組織は膨大な情報を比較的低コストで保存し、具体的な分析上の問いを後から検討できます。

AIと機械学習におけるデータレイクの役割#

AI開発において、データレイクの主な価値は深層学習 (DL)ワークフローをサポートできる点にあります。高度なニューラルネットワークで高い精度を達成するには、多様かつ大量のトレーニングデータが必要です。データレイクは、コンピュータビジョン (CV)用の数百万枚の高解像度画像や、音声認識用の数千時間分の音声など、生のアセットを処理前に保管する準備領域として機能します。

データサイエンティストは、データレイク内で「スキーマ・オン・リード」手法を使用します。これは、ストレージに書き込む時点ではなく、処理のために読み取る時点でのみデータに構造を適用する方法です。これにより大きな柔軟性が得られ、元のソースを変更せずに、同じ生データセットを異なる予測モデリングタスク向けに複数の方法で処理できます。さらに、堅牢なデータレイクは、Amazon S3やAzure Blob Storageなどのクラウドコンピューティングサービスと統合されることが多く、YOLO26のような大規模モデルのトレーニングに必要な、スケーラブルな並列処理を可能にします。

データレイクとデータウェアハウスの比較#

混同されることが多いものの、データレイクはデータウェアハウスとは異なります。データウェアハウスはデータを構造化されたテーブルに格納し、高速なSQLクエリやビジネスインテリジェンスレポート向けに最適化されています。データウェアハウスでは「スキーマ・オン・ライト」を使用するため、システムに格納する前にETL (抽出、変換、ロード)プロセスを通じてデータをクリーンアップし、変換する必要があります。

一方、データレイクは、ストレージ容量と多様性に最適化されています。教師なし学習や探索的分析をサポートしており、目的がまだ定まっていない場合にも利用できます。例えば、データウェアハウスからは先月販売された製品数が分かる一方、データレイクには、AIモデルが製品が売れた理由を理解するのに役立つ生の顧客感情ログや画像データが保持されています。

実世界での利用例#

データレイクは、自動化の限界を押し広げるさまざまな業界で重要な役割を果たしています。

• 自動運転車: 自動運転技術の開発には、ペタバイト規模のセンサーデータを処理する必要があります。自動運転車は、LiDAR点群、レーダー信号、高精細動画を継続的に生成します。データレイクはこの生のテレメトリデータを保存し、エンジニアが現実世界のシナリオを再現して、さまざまな気象条件下で歩行者や障害物を識別する物体検出モデルをトレーニングできるようにします。
• 医療診断: 現代の医用画像解析では、病院が患者の病歴、ゲノムデータ、画像ファイル（MRI、CTスキャン）を安全なデータレイクに集約します。研究者はその後、この匿名化された非構造化データにアクセスして、腫瘍検出や疾患予測のモデルをトレーニングできます。多くの場合、医用画像内の関心領域を分離するためにセグメンテーション技術が使用されます。

Ultralyticsでデータレイクを活用する#

Ultralyticsプラットフォームを使用する際、ユーザーは多くの場合、組織のデータレイクから生データのサブセットを取得し、トレーニング用のアノテーション付きデータセットを作成します。生画像を取得してラベル付けすると、最先端のモデルのトレーニングに使用できます。

次の例では、開発者がローカルデータセット（データレイクからの取得を模したもの）を読み込み、検出タスク向けにYOLO26モデルをトレーニングする方法を示します。

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")