Data Lake
Un lac de données stocke des données brutes de tout format dans un stockage d’objets peu coûteux et leur applique un schéma lors de la lecture. Découvre ses différences avec les entrepôts de données et les architectures lakehouse.
Un lac de données est un référentiel central qui stocke les données dans leur format natif brut, des exports de bases de données et des journaux JSON aux images, vidéos, fichiers audio et documents, généralement dans un stockage d’objets cloud à faible coût, et qui ne leur applique une structure qu’au moment de leur lecture. James Dixon, alors directeur technique de Pentaho, a forgé le terme en 2010 pour opposer le lac de données au magasin de données, qu’il comparait à de l’eau en bouteille filtrée et conditionnée, tandis que le lac contient une grande quantité de données à l’état naturel dans laquelle de nombreux utilisateurs peuvent puiser. Comme rien ne doit être modélisé à l’avance, un lac peut conserver tout ce qu’une organisation collecte, ce qui convient à l’apprentissage automatique : les données d’entraînement du modèle de demain sont souvent des données brutes dont personne ne connaissait l’utilité au moment de leur stockage.
Fonctionnement d’un lac de données#
Un lac dissocie le stockage du calcul. Les fichiers résident dans un stockage d’objets comme Amazon S3, Google Cloud Storage ou Azure Data Lake Storage, et des moteurs comme Spark, Trino ou un processus Python les lisent directement. Chaque équipe peut ainsi faire évoluer ses propres ressources de calcul sans copier les données. Les données tabulaires sont généralement stockées dans des formats en colonnes ouverts comme Apache Parquet, tandis que les images et les vidéos restent des fichiers ordinaires, souvent accompagnés de manifestes JSON ou Parquet contenant leurs métadonnées et leurs étiquettes.
La plupart des lacs sont organisés en zones selon leur degré de transformation, selon une architecture dite en médaillon chez Databricks : une zone brute (bronze) conserve les données exactement telles qu’elles sont arrivées, une zone nettoyée (argent) contient des données validées et dédupliquées, et une zone sélectionnée (or) contient des tables et des jeux de données prêts pour les rapports ou l’entraînement. Un catalogue de métadonnées comme AWS Glue Data Catalog, Hive Metastore ou Unity Catalog répertorie le contenu de chaque jeu de données, son propriétaire et les personnes autorisées à le lire. Sans ce catalogue ni nettoyage des données, un lac se dégrade en « marécage de données » : des fichiers que personne ne peut trouver, auxquels personne ne peut se fier ni qu’on peut supprimer en toute sécurité.
Schéma à la lecture#
Un lac applique un schéma au moment de la lecture des données : on parle de schéma à la lecture. Les auteurs peuvent déposer les données dès qu’elles existent, même si deux sources n’utilisent pas les mêmes champs, et chaque lecteur choisit les colonnes et les types dont il a besoin. Cet exemple écrit deux fichiers JSON bruts avec des champs différents, puis les lit tous deux avec un même schéma à l’aide de Polars :
import json
from pathlib import Path
import polars as pl
# Zone brute : deux caméras écrivent des événements de détection sous forme de lignes JSON, chacune avec ses propres champs
Path("lake/raw").mkdir(parents=True, exist_ok=True)
Path("lake/raw/dock-1.jsonl").write_text(json.dumps({"label": "forklift", "conf": 0.91}))
Path("lake/raw/dock-2.jsonl").write_text(json.dumps({"label": "person", "conf": 0.62, "lux": 120}))
# Schéma à la lecture : ce lecteur choisit les colonnes et les types au moment d’interroger les fichiers
schema = {"label": pl.String, "conf": pl.Float32, "lux": pl.Int32}
events = pl.scan_ndjson("lake/raw/*.jsonl", schema=schema, include_file_paths="source")
print(events.collect())Le résultat comporte deux lignes avec les colonnes label, conf, lux et source. La première caméra n’a jamais enregistré lux ; sa valeur est donc null, et source indique le fichier brut d’origine de chaque ligne. Une autre tâche pourrait lire les mêmes fichiers avec un schéma différent sans les réécrire.
Lac de données, entrepôt de données et lakehouse#
- Entrepôt de données : stocke des tables structurées et nettoyées dans un schéma fixe auquel les données doivent correspondre lors de leur chargement (schéma à l’écriture), généralement après une étape d’extraction, de transformation et de chargement (ETL). Les entrepôts comme Snowflake, BigQuery et Redshift répondent rapidement aux requêtes SQL et d’informatique décisionnelle, mais offrent moins de souplesse pour les images, le texte et les autres données non structurées.
- Lac de données : stocke tous les formats à faible coût et transforme les données après leur chargement (ELT), ce qui favorise l’exploration, l’exploration de données et l’apprentissage automatique. Les fichiers d’un lac classique ne prennent pas en charge les transactions ; des écritures concurrentes peuvent donc laisser les lecteurs avec des résultats partiellement écrits.
- Lakehouse : ajoute des fonctionnalités d’entrepôt au stockage d’un lac grâce à des formats de table ouverts comme Apache Iceberg, Delta Lake et Apache Hudi, qui fournissent des transactions ACID, l’application de schémas et la possibilité de revenir à des versions antérieures d’une table. Des chercheurs de Databricks ont décrit cette architecture dans un article publié en 2021.
Les lacs de données en apprentissage automatique#
Pour les équipes de vision par ordinateur, le lac contient chaque image capturée par une caméra, ses métadonnées de capture, ses annotations et les prédictions produites par les modèles déployés. Les projets de véhicules autonomes téléversent les journaux de conduite de leurs flottes et les exploitent pour trouver des scènes rares, comme un piéton sous la pluie, la nuit, afin de les annoter et de les ajouter aux jeux d’entraînement. Dans le secteur de la santé, les examens et les comptes rendus dépersonnalisés rassemblés dans un même lac fournissent les données des modèles d’analyse d’images médicales. Les prédictions de production réinjectées dans le lac pour être examinées et réétiquetées bouclent le cycle vertueux des données, et les instantanés de tables ou des outils comme DVC identifient précisément la version des données utilisée pour entraîner chaque modèle. Les magasins de caractéristiques et les bases de données vectorielles sont souvent construits au-dessus d’un lac et servent des caractéristiques ou des représentations vectorielles dérivées de ses fichiers bruts.
Ultralytics Platform peut transformer un dossier dans Amazon S3, Google Cloud Storage ou Azure Blob Storage en jeu de données d’entraînement sans en téléverser de copie : il indexe sur place jusqu’à 500 000 objets par import avec des identifiants en lecture seule, analyse les fichiers d’étiquettes YOLO .txt situés à côté des images et attribue les partitions train, val et test à partir des noms de dossiers. Chaque image indexée est associée à la version de son objet ; Platform refuse donc par défaut toute image dont le fichier est écrasé dans le lac.
