Data Lake

Un data lake è un repository di archiviazione centralizzato che conserva una vasta quantità di dati grezzi nel loro formato nativo finché non sono necessari. A differenza dei sistemi di archiviazione tradizionali che richiedono che i dati siano strutturati prima dell'inserimento, un data lake accetta i dati "così come sono", inclusi dati strutturati (righe e colonne), dati semi-strutturati (CSV, log, XML, JSON), dati non strutturati (email, documenti, PDF) e dati binari (immagini, audio, video). Questa flessibilità architetturale rende i data lake una pietra miliare delle moderne strategie di Big Data, in particolare per le organizzazioni che sfruttano l'Intelligenza Artificiale (AI) e il Machine Learning (ML). Disaccoppiando l'acquisizione dei dati dal loro utilizzo, le organizzazioni possono archiviare enormi pool di informazioni in modo relativamente economico e definire in seguito le specifiche domande di analisi.

Link to this sectionIl ruolo dei data lake nell'AI e nel Machine Learning#

Nel contesto dello sviluppo di AI, il valore principale di un data lake risiede nella sua capacità di supportare i flussi di lavoro di Deep Learning (DL). Le reti neurali avanzate richiedono dati di addestramento diversificati e voluminosi per raggiungere un'elevata precisione. Un data lake funge da area di staging dove risiedono le risorse grezze — come milioni di immagini ad alta risoluzione per la Computer Vision (CV) o migliaia di ore di audio per il Riconoscimento Vocale — prima di essere elaborate.

I data scientist utilizzano metodologie di "schema-on-read" all'interno dei data lake. Ciò significa che la struttura viene applicata ai dati solo quando vengono letti per l'elaborazione, anziché quando vengono scritti nell'archiviazione. Questo consente un'immensa agilità; lo stesso dataset grezzo può essere elaborato in modi multipli per diverse attività di modellazione predittiva senza alterare la fonte originale. Inoltre, i data lake robusti si integrano spesso con servizi di cloud computing come Amazon S3 o Azure Blob Storage, consentendo l'elaborazione parallela e scalabile necessaria per addestrare modelli pesanti come YOLO26.

Link to this sectionData Lake vs. Data Warehouse#

Sebbene vengano spesso confusi, un data lake è distinto da un data warehouse. Un data warehouse archivia i dati in tabelle strutturate ed è ottimizzato per query SQL rapide e report di business intelligence. Utilizza lo "schema-on-write", il che significa che i dati devono essere puliti e trasformati tramite un processo ETL (Extract, Transform, Load) prima di entrare nel sistema.

Al contrario, un data lake è ottimizzato per il volume e la varietà di archiviazione. Supporta l'apprendimento non supervisionato e l'analisi esplorativa in cui l'obiettivo potrebbe non essere ancora definito. Ad esempio, un data warehouse potrebbe dirti quanti prodotti sono stati venduti il mese scorso, mentre un data lake contiene i log grezzi del sentiment dei clienti e i dati immagine che aiutano un modello AI a capire perché sono stati venduti.

Link to this sectionApplicazioni nel mondo reale#

I data lake sono fondamentali in diversi settori che stanno spingendo i confini dell'automazione:

• Veicoli autonomi: lo sviluppo della tecnologia di guida autonoma richiede l'elaborazione di petabyte di dati dai sensori. I veicoli autonomi generano flussi continui di nuvole di punti LiDAR, segnali radar e video ad alta definizione. Un data lake archivia questa telemetria grezza, consentendo agli ingegneri di riprodurre scenari del mondo reale per addestrare modelli di Object Detection a identificare pedoni e ostacoli in diverse condizioni meteorologiche.
• Diagnostica sanitaria: nella moderna analisi delle immagini mediche, gli ospedali consolidano la storia clinica dei pazienti, i dati genomici e i file di imaging (MRI, TAC) in un data lake sicuro. I ricercatori possono quindi accedere a questi dati anonimizzati e non strutturati per addestrare modelli per la rilevazione dei tumori o la previsione di malattie, spesso utilizzando tecniche di segmentazione per isolare le regioni di interesse all'interno dell'immaginario medico.

Link to this sectionUtilizzo dei data lake con Ultralytics#

Quando lavori con la Ultralytics Platform, spesso estrai sottoinsiemi di dati grezzi dal data lake della tua organizzazione per creare dataset annotati per l'addestramento. Una volta recuperate ed etichettate le immagini grezze, queste possono essere utilizzate per addestrare modelli all'avanguardia.

Il seguente esempio mostra come uno sviluppatore potrebbe caricare un dataset locale (imitando un recupero da un data lake) per addestrare il modello YOLO26 per un'attività di rilevamento.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")