Lac de données

Un lac de données (Data Lake) est un référentiel centralisé qui vous permet de stocker toutes vos données structurées, semi-structurées et non structurées à n'importe quelle échelle. Contrairement à un entrepôt de données traditionnel qui stocke les données dans un format prédéfini et traité, un lac de données contient une grande quantité de données brutes dans leur format natif jusqu'à ce qu'elles soient nécessaires. Pour l'intelligence artificielle (IA) et l'apprentissage automatique (ML), cette architecture est incroyablement puissante car elle fournit aux data scientists un pool flexible et massif de données originales, parfait pour entraîner des modèles complexes, effectuer des analyses exploratoires et découvrir de nouveaux modèles sans être contraints par un schéma initial.

Comment fonctionnent les Data Lakes dans l'IA et l'apprentissage automatique

Dans un flux de travail typique de l'IA, un lac de données sert de principale source de vérité pour toutes les sources de données potentielles. Le processus commence par l'ingestion des données, où les données brutes provenant de diverses sources — telles que les journaux d'utilisateurs, les flux de médias sociaux, les lectures de capteurs IoT, les images et les vidéos — sont chargées dans le lac. Ces données sont stockées dans leur état original et non modifié. Lorsqu'un projet commence, comme l'entraînement d'un nouveau modèle de vision par ordinateur (CV), les ingénieurs peuvent accéder au lac pour extraire un sous-ensemble pertinent de données. Cette approche de « schéma à la lecture » signifie que la structure est appliquée pendant les étapes d'analyse des données et de prétraitement des données, et non lors de l'ingestion. Cette flexibilité est essentielle pour le développement itératif du ML, où les exigences en matière de données peuvent changer à mesure que le modèle évolue. Les principaux fournisseurs d'informatique en nuage comme AWS et Google Cloud offrent des services robustes pour la construction et la gestion des lacs de données.

Applications réelles de l'IA/ML

Les Data Lakes sont fondamentaux pour développer des solutions d'IA à grande échelle qui reposent sur des ensembles de données divers et volumineux.

1. Développement de véhicules autonomes : Une flotte de voitures autonomes génère quotidiennement des téraoctets de données brutes de capteurs, notamment des nuages de points LiDAR, des vidéos haute résolution et des relevés radar. Ces Big Data sont diffusées dans un lac de données (Data Lake). Les ingénieurs et les chercheurs peuvent ensuite interroger ce référentiel massif pour trouver des scénarios rares ou difficiles (comme un piéton traversant inopinément une route la nuit) afin de les utiliser pour l'entraînement et la simulation des modèles. Cela permet d'améliorer continuellement les modèles de perception pour des tâches telles que la détection d'objets et garantit qu'ils sont robustes face aux cas limites. Des plateformes comme Databricks sont souvent utilisées pour gérer ces flux de travail.
2. Analyse d'images médicales : Les hôpitaux et les institutions de recherche collectent des images médicales (IRM, radiographies, tomodensitométries) provenant de diverses machines dans différents formats. En centralisant ces données dans un lac de données, ils créent un ensemble de données riche et diversifié pour la recherche et le développement. Les scientifiques des données peuvent accéder à ces données d'imagerie brutes pour développer des modèles d'IA de diagnostic, par exemple, en entraînant un modèle YOLO sur une collection comme l'ensemble de données sur les tumeurs cérébrales. Le stockage des données brutes préserve les détails essentiels qui pourraient être perdus dans les formats prétraités, soutenant ainsi des solutions d'IA plus précises dans le domaine de la santé.

Distinction par rapport aux concepts connexes

Il est important de différencier les Data Lakes des autres paradigmes de stockage de données.

• Entrepôt de données vs. Lac de données : La principale différence réside dans la structure et la finalité des données. Un entrepôt de données stocke des données structurées et filtrées qui ont été traitées dans un but spécifique, généralement l'analyse commerciale. En revanche, un lac de données stocke des données brutes et non filtrées de tous types (structurées, semi-structurées et non structurées) sans schéma prédéfini. Cela rend les lacs de données plus adaptés à la nature exploratoire de l'apprentissage automatique.
• Base de données vs. Lac de données : Une base de données traditionnelle, en particulier une base de données relationnelle comme SQL, exige que les données correspondent à un schéma strict et prédéfini avant de pouvoir être écrites. C'est ce qu'on appelle le "schema-on-write". Les lacs de données utilisent une approche "schema-on-read", offrant la flexibilité nécessaire pour gérer les divers formats de données courants dans l'IA, tels que les images, le texte et les journaux de capteurs. Alors que les bases de données sont optimisées pour les requêtes transactionnelles rapides, les lacs de données sont conçus pour le traitement analytique à grande échelle à l'aide d'outils comme Apache Spark.
• Exploration de données vs. Lac de données : Un lac de données est un référentiel de stockage. L'exploration de données, en revanche, est le processus de découverte de modèles et d'informations à partir de grands ensembles de données. Les techniques d'exploration de données sont appliquées aux données stockées dans un lac de données.

Avantages et défis

Avantages :

• Flexibilité : Stocke tout type de données provenant de n'importe quelle source sans structuration préalable.
• Évolutivité : Gère facilement des volumes massifs de données, des téraoctets aux pétaoctets, en utilisant des systèmes de stockage distribués comme Apache Hadoop.
• Rentabilité : Tire parti du stockage de produits de base à faible coût, ce qui rend abordable la conservation de grandes quantités de données.
• Démocratisation des données : Rend les données brutes accessibles à diverses équipes (scientifiques des données, analystes, ingénieurs en ML) pour de nombreux cas d'utilisation, allant du reporting à l'apprentissage profond.
• Pérennisation : Préserve les données brutes indéfiniment, permettant une analyse future avec de nouveaux outils et techniques qui n'existent pas aujourd'hui.

Défis :

• Gouvernance des données : Assurer la qualité, la traçabilité et le contrôle d'accès des données peut s'avérer complexe.
• Sécurité : La protection des données brutes sensibles nécessite des mesures robustes de sécurité des données et de confidentialité des données.
• Risque de marécage de données : Sans gestion, métadonnées et catalogage appropriés, un lac de données peut devenir désorganisé et difficile à utiliser efficacement, se transformant en un "marécage de données", un concept expliqué par les principales sociétés de gestion de données.
• Complexité : Nécessite des compétences spécialisées pour la gestion et l'analyse. Des pratiques MLOps efficaces sont essentielles pour gérer le cycle de vie, de l'ingestion des données au déploiement du modèle.