Data Lake

Ein Data Lake ist ein zentralisiertes Speicherrepository, das eine große Menge Rohdaten in ihrem ursprünglichen Format vorhält, bis sie benötigt werden. Anders als herkömmliche Speichersysteme, bei denen Daten vor dem Speichern strukturiert werden müssen, akzeptiert ein Data Lake Daten „wie sie sind“ – einschließlich strukturierter Daten (Zeilen und Spalten), semi-strukturierter Daten (CSV, Protokolle, XML, JSON), unstrukturierter Daten (E-Mails, Dokumente, PDFs) und Binärdaten (Bilder, Audio, Video). Diese architektonische Flexibilität macht Data Lakes zu einem Grundpfeiler moderner Big-Data-Strategien, insbesondere für Organisationen, die künstliche Intelligenz (AI) und maschinelles Lernen (ML) einsetzen. Durch die Entkopplung der Datenerfassung von der Datennutzung können Organisationen riesige Informationsmengen relativ kostengünstig speichern und die konkreten Analysefragen zu einem späteren Zeitpunkt klären.

Die Rolle von Data Lakes in AI und maschinellem Lernen#

Im Kontext der AI-Entwicklung liegt der wesentliche Wert eines Data Lakes in seiner Fähigkeit, Workflows für tiefes Lernen (DL) zu unterstützen. Fortschrittliche neuronale Netze benötigen vielfältige und umfangreiche Trainingsdaten, um eine hohe Genauigkeit zu erreichen. Ein Data Lake dient als Bereitstellungsbereich, in dem Rohdaten – beispielsweise Millionen hochauflösender Bilder für maschinelles Sehen (CV) oder Tausende Audiostunden für die Spracherkennung – vor ihrer Verarbeitung gespeichert werden.

Datenwissenschaftler verwenden in Data Lakes Methoden nach dem Prinzip „Schema beim Lesen“. Das bedeutet, dass die Struktur erst beim Lesen der Daten zur Verarbeitung angewendet wird und nicht bereits beim Schreiben in den Speicher. Dies ermöglicht eine enorme Flexibilität: Derselbe Rohdatensatz kann für verschiedene Aufgaben der prädiktiven Modellierung auf mehrere Arten verarbeitet werden, ohne die ursprüngliche Quelle zu verändern. Darüber hinaus sind robuste Data Lakes häufig in Cloud-Computing-Dienste wie Amazon S3 oder Azure Blob Storage integriert und ermöglichen so die skalierbare, parallele Verarbeitung, die für das Training umfangreicher Modelle wie YOLO26 erforderlich ist.

Data Lake im Vergleich zu Data Warehouse#

Obwohl sie häufig verwechselt werden, unterscheiden sich Data Lakes von Data Warehouses. Ein Data Warehouse speichert Daten in strukturierten Tabellen und ist für schnelle SQL-Abfragen sowie Berichte zur Geschäftsintelligenz optimiert. Es verwendet das Prinzip „Schema beim Schreiben“. Das bedeutet, dass Daten vor ihrer Aufnahme in das System mithilfe eines Prozesses zum Extrahieren, Transformieren und Laden (ETL) bereinigt und umgewandelt werden müssen.

Ein Data Lake hingegen ist auf Speichervolumen und Datenvielfalt optimiert. Er unterstützt unüberwachtes Lernen und explorative Analysen, bei denen das Ziel möglicherweise noch nicht feststeht. Beispielsweise kann dir ein Data Warehouse sagen, wie viele Produkte im vergangenen Monat verkauft wurden, während ein Data Lake die rohen Protokolle zur Kundenstimmung und Bilddaten enthält, die einem AI-Modell helfen zu verstehen, warum sie verkauft wurden.

Anwendungen in der Praxis#

Data Lakes spielen in verschiedenen Branchen, die die Grenzen der Automatisierung erweitern, eine wichtige Rolle:

• Autonome Fahrzeuge: Die Entwicklung selbstfahrender Technologien erfordert die Verarbeitung von Petabytes an Sensordaten. Autonome Fahrzeuge erzeugen kontinuierliche Datenströme aus LiDAR-Punktwolken, Radarsignalen und hochauflösenden Videodaten. Ein Data Lake speichert diese rohen Telemetriedaten und ermöglicht es Ingenieuren, reale Szenarien wiederzugeben, um Modelle zur Objekterkennung zu trainieren, die Fußgänger und Hindernisse unter verschiedenen Wetterbedingungen erkennen.
• Medizinische Diagnostik: In der modernen medizinischen Bildanalyse führen Krankenhäuser Patientengeschichte, Genomdaten und Bilddateien (MRT- und CT-Aufnahmen) in einem sicheren Data Lake zusammen. Forschende können anschließend auf diese anonymisierten, unstrukturierten Daten zugreifen, um Modelle zur Tumorerkennung oder zur Vorhersage von Krankheiten zu trainieren. Dabei nutzen sie häufig Segmentierungstechniken, um interessierende Bereiche in medizinischen Bildern zu isolieren.

Data Lakes mit Ultralytics nutzen#

Bei der Arbeit mit der Ultralytics-Plattform rufen Benutzer häufig Teilmengen von Rohdaten aus dem Data Lake ihrer Organisation ab, um annotierte Datensätze für das Training zu erstellen. Sobald die Rohbilder abgerufen und beschriftet wurden, können sie zum Trainieren hochmoderner Modelle verwendet werden.

Das folgende Beispiel zeigt, wie ein Entwickler einen lokalen Datensatz laden kann, der den Abruf aus einem Data Lake nachahmt, um das YOLO26-Modell für eine Erkennungsaufgabe zu trainieren.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")