Lac de données

Un lac de données est un référentiel centralisé qui vous permet de stocker toutes vos données structurées, semi-structurées et non structurées à n'importe quelle échelle. Contrairement à un entrepôt de données traditionnel qui stocke les données dans un format prédéfini et traité, un lac de données conserve une grande quantité de données brutes dans leur format natif jusqu'à ce qu'elles soient nécessaires. Pour l'intelligence artificielle (IA) et l'apprentissage machine (ML), cette architecture est incroyablement puissante car elle fournit aux data scientists un pool flexible et massif de données originales, parfait pour entraîner des modèles complexes, effectuer des analyses exploratoires et découvrir de nouveaux modèles sans être contraint par un schéma initial.

Comment les lacs de données fonctionnent-ils dans l'IA et l'apprentissage automatique ?

Dans un flux de travail d'IA typique, un lac de données sert de source primaire de vérité pour toutes les sources de données potentielles. Le processus commence par l'ingestion des données, où les données brutes provenant de diverses sources - telles que les journaux d'utilisateurs, les flux de médias sociaux, les lectures de capteurs IoT, les images et les vidéos - sont chargées dans le lac. Ces données sont stockées dans leur état d'origine, sans modification. Lorsqu'un projet commence, par exemple l'entraînement d'un nouveau modèle de vision par ordinateur, les ingénieurs peuvent accéder au lac pour extraire un sous-ensemble pertinent de données. Cette approche "schema-on-read" signifie que la structure est appliquée pendant les étapes d'analyse et de prétraitement des données, et non lors de l'ingestion. Cette flexibilité est essentielle pour le développement itératif de ML, où les exigences en matière de données peuvent changer au fur et à mesure que le modèle évolue. Les principaux fournisseurs d'informatique en nuage, comme AWS et Google Cloud, proposent des services robustes pour la création et la gestion de lacs de données.

Applications IA/ML dans le monde réel

Les lacs de données sont essentiels au développement de solutions d'IA à grande échelle qui s'appuient sur des ensembles de données divers et volumineux.

1. Développement devéhicules autonomes: Une flotte de voitures autonomes génère quotidiennement des téraoctets de données brutes de capteurs, notamment des nuages de points LiDAR, des vidéos haute résolution et des relevés radar. Ces données sont stockées dans un lac de données (Data Lake). Les ingénieurs et les chercheurs peuvent ensuite interroger ce gigantesque référentiel pour trouver des scénarios rares ou difficiles, comme un piéton traversant inopinément une route la nuit, et les utiliser pour l'entraînement et la simulation de modèles. Cela permet d'améliorer en permanence les modèles de perception pour des tâches telles que la détection d'objets et de s'assurer qu'ils sont robustes face aux cas extrêmes. Des plateformes telles que Databricks sont souvent utilisées pour gérer ces flux de travail.
2. Analyse d'images médicales: Les hôpitaux et les instituts de recherche collectent des images médicales (IRM, rayons X, tomodensitométrie) à partir de différents appareils et dans différents formats. En centralisant ces données dans un Data Lake, ils créent un ensemble de données riche et diversifié pour la recherche et le développement. Les scientifiques des données peuvent accéder à ces données d'imagerie brutes pour développer des modèles d'IA de diagnostic, par exemple en entraînant un modèle YOLO sur une collection telle que l'ensemble de données sur les tumeurs cérébrales. Le stockage des données brutes préserve les détails critiques qui pourraient être perdus dans les formats prétraités, ce qui favorise des solutions d'IA plus précises dans le domaine de la santé.

Distinguer les concepts apparentés

Il est important de différencier les lacs de données des autres paradigmes de stockage de données.

• Entrepôt de données et lac de données : La principale différence réside dans la structure et l'objectif des données. Un entrepôt de données stocke des données structurées et filtrées qui ont été traitées dans un but spécifique, généralement l'analyse commerciale. En revanche, un lac de données stocke des données brutes et non filtrées de tous types (structurées, semi-structurées et non structurées) sans schéma prédéfini. Les lacs de données sont donc mieux adaptés à la nature exploratoire de l'apprentissage automatique.
• Base de données vs. lac de données : Une base de données traditionnelle, en particulier une base de données relationnelle comme SQL, exige que les données correspondent à un schéma strict et prédéfini avant de pouvoir être écrites. C'est ce qu'on appelle le "schéma à l'écriture". Les lacs de données utilisent une approche "schéma sur lecture", offrant la flexibilité nécessaire pour gérer les divers formats de données courants en IA, tels que les images, le texte et les journaux de capteurs. Alors que les bases de données sont optimisées pour les requêtes transactionnelles rapides, les lacs de données sont conçus pour le traitement analytique à grande échelle à l'aide d'outils tels qu'Apache Spark.
• Data Mining vs. Data Lake : Un lac de données est un référentiel de stockage. Le Data Mining, quant à lui, est le processus qui consiste à découvrir des modèles et des idées à partir de grands ensembles de données. Les techniques d'exploration de données sont appliquées aux données stockées dans un lac de données.

Avantages et défis

Avantages :

• Flexibilité : Stocke n'importe quel type de données provenant de n'importe quelle source sans structuration préalable.
• Évolutivité : Traite facilement des volumes de données considérables, de l'ordre du téraoctet au pétaoctet, à l'aide de systèmes de stockage distribués tels qu'Apache Hadoop.
• Rentabilité : Exploite le stockage de marchandises à faible coût, ce qui rend abordable la conservation de grandes quantités de données.
• Démocratisation des données : Rend les données brutes accessibles à différentes équipes (data scientists, analystes, ingénieurs ML) pour de multiples cas d'utilisation, du reporting à l'apprentissage profond.
• Protection de l'avenir : Les données brutes sont conservées indéfiniment, ce qui permet de les analyser à l'avenir avec de nouveaux outils et de nouvelles techniques qui n'existent pas aujourd'hui.

Défis :

• Gouvernance des données : Garantir la qualité des données, le suivi et le contrôle d'accès peut s'avérer complexe.
• Sécurité : La protection des données brutes sensibles nécessite de solides mesures de sécurité et de confidentialité des données.
• Risque de marécage de données : sans une gestion, des métadonnées et un catalogage appropriés, un lac de données peut devenir désorganisé et difficile à utiliser efficacement, se transformant en un "marécage de données", un concept expliqué par les principales sociétés de gestion de données.
• Complexité : Nécessite des compétences spécialisées pour la gestion et l'analyse. Des pratiques MLOps efficaces sont essentielles pour gérer le cycle de vie depuis l'ingestion des données jusqu'au déploiement du modèle.