Data Lake

Ein Data Lake ist ein zentrales Speicherrepository, das eine riesige Menge an Rohdaten in ihrem nativen Format speichert, bis sie benötigt werden. Im Gegensatz zu herkömmlichen Speichersystemen, bei denen Daten vor dem Speichern strukturiert werden müssen, akzeptiert ein Data Lake Daten „wie sie sind“, einschließlich strukturierter Daten (Zeilen und Spalten), semistrukturierter Daten (CSV, Protokolle, XML, JSON), unstrukturierter Daten (E-Mails, Dokumente, PDFs) und binärer Daten (Bilder, Audio, Video). Diese architektonische Flexibilität macht Data Lakes zu einem Grundpfeiler moderner Big Data-Strategien, insbesondere für Unternehmen, die Artificial Intelligence (AI) und Machine Learning (ML) nutzen. Durch die Entkopplung der Datenerfassung von der Datennutzung können Unternehmen riesige Informationspools relativ günstig speichern und die spezifischen Analysefragen später klären.

Die Rolle von Data Lakes in der KI und beim Machine Learning#

Im Kontext der KI-Entwicklung liegt der Hauptwert eines Data Lake in seiner Fähigkeit, Deep Learning (DL)-Workflows zu unterstützen. Fortgeschrittene neuronale Netze erfordern diverse und umfangreiche training data, um eine hohe Genauigkeit zu erreichen. Ein Data Lake fungiert als Bereitstellungsbereich, in dem Rohelemente – wie Millionen hochauflösender Bilder für Computer Vision (CV) oder Tausende von Audiostunden für Speech Recognition – verweilen, bevor sie verarbeitet werden.

Data Scientists verwenden in Data Lakes „Schema-on-Read“-Methoden. Das bedeutet, dass die Struktur erst dann auf die Daten angewendet wird, wenn sie zur Verarbeitung gelesen werden, und nicht beim Schreiben in den Speicher. Dies ermöglicht eine enorme Agilität; dasselbe Rohdatenset kann auf verschiedene Weise für unterschiedliche predictive modeling-Aufgaben verarbeitet werden, ohne die Originalquelle zu verändern. Darüber hinaus lassen sich robuste Data Lakes häufig in cloud computing-Dienste wie Amazon S3 oder Azure Blob Storage integrieren, was die skalierbare, parallele Verarbeitung ermöglicht, die für das Training schwerer Modelle wie YOLO26 erforderlich ist.

Data Lake vs. Data Warehouse#

Obwohl sie oft verwechselt werden, unterscheidet sich ein Data Lake von einem Data Warehouse. Ein data warehouse speichert Daten in strukturierten Tabellen und ist für schnelle SQL-Abfragen und Business-Intelligence-Berichte optimiert. Es verwendet „Schema-on-Write“, was bedeutet, dass Daten vor dem Betreten des Systems bereinigt und über einen ETL (Extract, Transform, Load)-Prozess transformiert werden müssen.

Umgekehrt ist ein Data Lake für Speichervolumen und -vielfalt optimiert. Er unterstützt unsupervised learning und explorative Analysen, bei denen das Ziel möglicherweise noch nicht definiert ist. Beispielsweise kann Ihnen ein Data Warehouse sagen, wie viele Produkte sich letzten Monat verkauft haben, während ein Data Lake die rohen customer sentiment-Protokolle und Bilddaten bereithält, die einem KI-Modell helfen zu verstehen, warum sie sich verkauft haben.

Praxisanwendungen#

Data Lakes sind maßgeblich für verschiedene Branchen, die die Grenzen der Automatisierung erweitern:

• Autonome Fahrzeuge: Die Entwicklung von Selbstfahrtechnologie erfordert die Verarbeitung von Petabytes an Sensordaten. Autonomous vehicles erzeugen kontinuierliche Streams von LiDAR-Punktwolken, Radarsignalen und hochauflösendem Video. Ein Data Lake speichert diese Rohtelemetrie, sodass Ingenieure reale Szenarien wiederholen können, um Object Detection-Modelle darauf zu trainieren, Fußgänger und Hindernisse unter wechselnden Wetterbedingungen zu identifizieren.
• Gesundheitsdiagnostik: In der modernen medical image analysis konsolidieren Krankenhäuser Patientenakten, genomische Daten und Bilddateien (MRT, CT-Scans) in einem sicheren Data Lake. Forscher können dann auf diese anonymisierten, unstrukturierten Daten zugreifen, um Modelle zur tumor detection oder Krankheitsvorhersage zu trainieren, oft unter Verwendung von segmentation-Techniken, um Interessengebiete innerhalb der medizinischen Bildgebung zu isolieren.

Nutzung von Data Lakes mit Ultralytics#

Bei der Arbeit mit der Ultralytics Platform ziehen Benutzer oft Teilmengen von Rohdaten aus dem Data Lake ihrer Organisation, um annotierte Datensätze für das Training zu erstellen. Sobald die Rohbilder abgerufen und beschriftet sind, können sie verwendet werden, um modernste Modelle zu trainieren.

Das folgende Beispiel veranschaulicht, wie ein Entwickler einen lokalen Datensatz laden könnte (als Nachahmung eines Abrufs aus einem Data Lake), um das YOLO26-Modell für eine Erkennungsaufgabe zu trainieren.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")