Data Lake

Un data lake è un repository centralizzato che archivia i dati nel loro formato nativo e grezzo, dalle esportazioni di database e dai log JSON a immagini, video, audio e documenti, di solito in uno storage di oggetti cloud a basso costo, e applica una struttura solo quando i dati vengono letti. James Dixon, allora direttore tecnico di Pentaho, coniò il termine nel 2010 per contrapporre un data mart, che paragonò ad acqua in bottiglia, filtrata e confezionata, a una grande massa di dati nel suo stato naturale da cui molti utenti possono attingere. Poiché non è necessario modellare i dati in anticipo, un lake può conservare tutto ciò che un'organizzazione raccoglie, caratteristica utile per il machine learning: i dati di addestramento per il modello di domani sono spesso dati grezzi, il cui utilizzo era ignoto al momento dell'archiviazione.

Come funziona un data lake#

Un lake separa lo storage dal calcolo. I file risiedono in uno storage di oggetti come Amazon S3, Google Cloud Storage o Azure Data Lake Storage, e motori come Spark e Trino o un processo Python li leggono direttamente, così ogni team può dimensionare autonomamente le proprie risorse di calcolo senza copiare i dati. I dati tabellari sono solitamente archiviati in formati colonnari aperti come Apache Parquet, mentre immagini e video restano file ordinari, spesso affiancati da manifesti JSON o Parquet che contengono metadati ed etichette.

La maggior parte dei lake è organizzata in zone in base al livello di elaborazione, secondo la cosiddetta architettura a medaglione di Databricks: una zona grezza (bronze) conserva i dati esattamente come sono arrivati, una zona ripulita (silver) contiene dati convalidati e deduplicati, e una zona selezionata (gold) contiene tabelle e dataset pronti per i report o l'addestramento. Un catalogo di metadati come AWS Glue Data Catalog, Hive Metastore o Unity Catalog registra il contenuto di ogni dataset, chi ne è responsabile e chi può leggerlo. Un lake senza quel catalogo e la pulizia dei dati si trasforma in una «palude di dati»: file che nessuno riesce a trovare, considerare affidabili o eliminare senza rischi.

Schema alla lettura#

Un lake applica uno schema quando i dati vengono letti: questo approccio si chiama schema alla lettura. I produttori possono caricare i dati non appena sono disponibili, anche quando due fonti non concordano sui campi, e ogni lettore decide quali colonne e tipi gli servono. Questo esempio scrive due file JSON grezzi con campi diversi, poi li legge entrambi usando un unico schema con Polars:

import json
from pathlib import Path

import polars as pl

# Zona grezza: due telecamere scrivono eventi di rilevamento come righe JSON, ciascuna con i propri campi
Path("lake/raw").mkdir(parents=True, exist_ok=True)
Path("lake/raw/dock-1.jsonl").write_text(json.dumps({"label": "forklift", "conf": 0.91}))
Path("lake/raw/dock-2.jsonl").write_text(json.dumps({"label": "person", "conf": 0.62, "lux": 120}))

# Schema alla lettura: questo lettore sceglie le colonne e i tipi quando interroga i file
schema = {"label": pl.String, "conf": pl.Float32, "lux": pl.Int32}
events = pl.scan_ndjson("lake/raw/*.jsonl", schema=schema, include_file_paths="source")
print(events.collect())

Il risultato contiene due righe con le colonne label, conf, lux e source. La prima telecamera non ha mai registrato lux, quindi il suo valore risulta null, mentre source indica il file grezzo di provenienza di ogni riga. Un secondo processo potrebbe leggere gli stessi file con uno schema diverso senza riscriverli.

Data lake, data warehouse e lakehouse a confronto#

• Data warehouse: archivia tabelle strutturate e ripulite in uno schema fisso, a cui i dati devono conformarsi al momento del caricamento (schema alla scrittura), di solito dopo una fase di estrazione, trasformazione e caricamento (ETL). I warehouse come Snowflake, BigQuery e Redshift rispondono rapidamente alle query SQL e di business intelligence, ma sono meno flessibili con immagini, testo e altri dati non strutturati.
• Data lake: archivia qualsiasi formato a basso costo e trasforma i dati dopo averli caricati (ELT), favorendo l'esplorazione, il data mining e il machine learning. I file di un lake tradizionale non supportano le transazioni, perciò le scritture simultanee possono lasciare ai lettori risultati scritti solo in parte.
• Lakehouse: aggiunge funzionalità da warehouse allo storage di un lake attraverso formati di tabelle aperti come Apache Iceberg, Delta Lake e Apache Hudi, che offrono transazioni ACID, applicazione dello schema e la possibilità di tornare a versioni precedenti di una tabella. I ricercatori di Databricks hanno descritto questa architettura in un articolo del 2021.

Data lake nel machine learning#

Per i team di computer vision, il lake contiene ogni fotogramma acquisito dalla telecamera, i relativi metadati di acquisizione, le annotazioni e le predizioni che i modelli distribuiti generano su di esso. I programmi per i veicoli autonomi caricano i log di guida delle proprie flotte e li analizzano per trovare scene rare, come un pedone di notte sotto la pioggia, da etichettare e aggiungere ai set di addestramento. In ambito sanitario, scansioni e referti de-identificati raccolti in un unico lake forniscono i dati per i modelli di analisi delle immagini mediche. Le predizioni di produzione che tornano nel lake per essere esaminate e rietichettate chiudono un volano dei dati, mentre gli snapshot delle tabelle o strumenti come DVC fissano la versione esatta dei dati su cui è stato addestrato ciascun modello. I feature store e i database vettoriali sono spesso realizzati sopra un lake e forniscono feature o embedding derivati dai suoi file grezzi.

Ultralytics Platform può trasformare una cartella in Amazon S3, Google Cloud Storage o Azure Blob Storage in un dataset di addestramento senza caricarne una copia: indicizza sul posto fino a 500.000 oggetti per importazione con credenziali di sola lettura, analizza i file di etichette YOLO .txt accanto alle immagini e assegna le suddivisioni train, val e test in base ai nomi delle cartelle. Ogni immagine indicizzata viene associata alla versione del proprio oggetto, quindi Platform blocca l'operazione per qualsiasi immagine il cui file venga sovrascritto nel lake.