Data Lake

Ein Data Lake ist ein zentrales Repository, das Daten in ihrem Rohformat speichert – von Datenbankexporten und JSON-Protokollen bis hin zu Bildern, Videos, Audio und Dokumenten –, meist in kostengünstigem Cloud-Objektspeicher, und die Struktur erst beim Lesen der Daten anwendet. James Dixon, damals Chief Technology Officer von Pentaho, prägte den Begriff 2010, um einen Data Mart, den er mit gereinigtem und abgefülltem Flaschenwasser verglich, einem großen Datenbestand in seinem natürlichen Zustand gegenüberzustellen, aus dem viele Nutzer schöpfen können. Da nichts im Voraus modelliert werden muss, kann ein Data Lake alles aufbewahren, was eine Organisation erfasst. Das eignet sich für maschinelles Lernen: Trainingsdaten für das Modell von morgen sind oft Rohdaten, deren spätere Verwendung zum Zeitpunkt der Speicherung noch niemand kannte.

So funktioniert ein Data Lake#

Ein Data Lake trennt Speicher und Rechenleistung. Dateien liegen in einem Objektspeicher wie Amazon S3, Google Cloud Storage oder Azure Data Lake Storage, und Engines wie Spark, Trino oder ein Python-Prozess lesen sie direkt. So kann jedes Team seine eigene Rechenleistung skalieren, ohne Daten zu kopieren. Tabellarische Daten werden üblicherweise in offenen spaltenorientierten Formaten wie Apache Parquet gespeichert, während Bilder und Videos gewöhnliche Dateien bleiben, oft neben JSON- oder Parquet-Manifesten, die Metadaten und Labels enthalten.

Die meisten Data Lakes sind nach Verarbeitungsgrad in Zonen organisiert, was Databricks als Medaillonarchitektur bezeichnet: Eine Rohzone (Bronze) bewahrt Daten genau so auf, wie sie eingegangen sind, eine bereinigte Zone (Silber) enthält validierte und deduplizierte Daten, und eine aufbereitete Zone (Gold) enthält Tabellen und Datensätze, die für Berichte oder das Training bereit sind. Ein Metadatenkatalog wie der AWS Glue Data Catalog, Hive Metastore oder Unity Catalog verzeichnet, welche Inhalte jeder Datensatz enthält, wem er gehört und wer ihn lesen darf. Ein Data Lake ohne diesen Katalog und Datenbereinigung verkommt zu einem „Datensumpf“: Dateien, die niemand finden, denen niemand vertrauen und die niemand sicher löschen kann.

Schema beim Lesen#

Ein Data Lake wendet ein Schema beim Lesen der Daten an; dies wird als Schema-on-Read bezeichnet. Daten können eingespielt werden, sobald sie vorliegen, selbst wenn sich zwei Quellen bei den Feldern widersprechen, und jeder Leser entscheidet selbst, welche Spalten und Datentypen benötigt werden. Dieses Beispiel schreibt zwei JSON-Rohdateien mit unterschiedlichen Feldern und liest sie anschließend mit einem gemeinsamen Schema mithilfe von Polars ein:

import json
from pathlib import Path

import polars as pl

# Rohzone: Zwei Kameras schreiben Erkennungsereignisse als JSON-Zeilen, jeweils mit eigenen Feldern
Path("lake/raw").mkdir(parents=True, exist_ok=True)
Path("lake/raw/dock-1.jsonl").write_text(json.dumps({"label": "forklift", "conf": 0.91}))
Path("lake/raw/dock-2.jsonl").write_text(json.dumps({"label": "person", "conf": 0.62, "lux": 120}))

# Schema-on-Read: Dieser Leser wählt die Spalten und Datentypen bei der Abfrage der Dateien aus
schema = {"label": pl.String, "conf": pl.Float32, "lux": pl.Int32}
events = pl.scan_ndjson("lake/raw/*.jsonl", schema=schema, include_file_paths="source")
print(events.collect())

Das Ergebnis enthält zwei Zeilen mit den Spalten label, conf, lux und source. Die erste Kamera hat lux nie aufgezeichnet, daher wird für diesen Wert null zurückgegeben; source gibt an, aus welcher Rohdatei die jeweilige Zeile stammt. Ein zweiter Auftrag könnte dieselben Dateien mit einem anderen Schema lesen, ohne sie neu zu schreiben.

Data Lake vs. Data Warehouse vs. Lakehouse#

• Data Warehouse: Speichert bereinigte, strukturierte Tabellen in einem festen Schema, dem die Daten beim Laden entsprechen müssen (Schema-on-Write), üblicherweise nach einem Schritt zum Extrahieren, Transformieren und Laden (ETL). Data Warehouses wie Snowflake, BigQuery und Redshift beantworten SQL- und Business-Intelligence-Abfragen schnell, sind aber weniger flexibel bei Bildern, Text und anderen unstrukturierten Daten.
• Data Lake: Speichert beliebige Formate kostengünstig und transformiert die Daten nach dem Laden (ELT), was Exploration, Data Mining und maschinelles Lernen begünstigt. Einfache Data-Lake-Dateien bieten keine Transaktionen, sodass gleichzeitige Schreibvorgänge dazu führen können, dass Leser unvollständig geschriebene Ergebnisse erhalten.
• Lakehouse: Ergänzt den Data-Lake-Speicher um Funktionen eines Data Warehouses durch offene Tabellenformate wie Apache Iceberg, Delta Lake und Apache Hudi, die ACID-Transaktionen, Schemaerzwingung und den Zugriff auf frühere Tabellenversionen ermöglichen. Forschende von Databricks beschrieben die Architektur 2021 in einer Facharbeit.

Data Lakes im maschinellen Lernen#

Für Teams im Bereich Computer Vision enthält der Data Lake jedes Kamerabild, die Erfassungsmetadaten, die Annotationen und die Vorhersagen, die bereitgestellte Modelle dazu treffen. Programme für autonome Fahrzeuge laden Fahrprotokolle ihrer Flotten hoch und durchsuchen sie nach seltenen Szenen, etwa einem Fußgänger bei Nacht und Regen, um diese zu labeln und den Trainingsdatensätzen hinzuzufügen. Im Gesundheitswesen liefern anonymisierte Scans und Berichte, die in einem Data Lake gesammelt werden, die Daten für Modelle zur medizinischen Bildanalyse. Produktionsvorhersagen, die zur Überprüfung und erneuten Labelung in den Data Lake zurückfließen, schließen einen Datenkreislauf, und Tabellensnapshots oder Tools wie DVC halten die genaue Datenversion fest, mit der jedes Modell trainiert wurde. Feature Stores und Vektordatenbanken bauen oft auf einem Data Lake auf und stellen daraus abgeleitete Merkmale oder Einbettungen aus den Rohdateien bereit.

Die Ultralytics Platform kann einen Ordner in Amazon S3, Google Cloud Storage oder Azure Blob Storage ohne Hochladen einer Kopie in einen Trainingsdatensatz umwandeln: Sie indiziert beim Import vor Ort bis zu 500.000 Objekte mit schreibgeschützten Zugangsdaten, liest YOLO-Labeldateien .txt neben den Bildern ein und weist anhand der Ordnernamen Aufteilungen für Training, Validierung und Test zu. Jedes indizierte Bild wird einer bestimmten Objektversion zugeordnet, sodass die Platform den Zugriff verweigert, wenn eine Bilddatei im Data Lake überschrieben wird.