Causal Representation Learning

L’apprentissage de représentations causales (CRL) consiste à apprendre, à partir d’observations de grande dimension telles que des pixels, un petit ensemble de variables latentes correspondant aux causes réelles ayant généré les données, ainsi que les relations causales entre elles. Un modèle doté d’une telle représentation peut prédire ce qui se passe lorsqu’un facteur change, par exemple lorsqu’on déplace une lumière ou pousse un objet, et reste efficace lorsque les corrélations dans ses données d’entraînement changent, une forme de dérive des données. En 2021, Bernhard Schölkopf, Francesco Locatello, Yoshua Bengio et leurs collègues ont défini ce programme de recherche dans Toward Causal Representation Learning, en combinant l’apprentissage de représentations de l’apprentissage profond aux modèles causaux structurels de l’inférence causale, qui supposent que les variables causales sont déjà données.

Pourquoi les représentations ordinaires ne suffisent pas#

Un réseau entraîné pour la classification d’images associe chaque image à un espace latent dont les caractéristiques prédisent le mieux possible l’étiquette dans la distribution d’entraînement, sans rien empêcher ces caractéristiques de mêler l’objet à son environnement. En 2018, Sara Beery, Grant Van Horn et Pietro Perona ont montré que des classificateurs capables de reconnaître des vaches dans des pâturages verdoyants pouvaient échouer face à une vache sur une plage, car l’arrière-plan était devenu partie intégrante de ce que signifiait « vache ». Cet échec, appelé apprentissage par raccourci, découle du biais de jeu de données, et davantage de données issues de la même distribution ne le fait pas disparaître.

Le CRL repose sur l’idée que le monde est constitué de mécanismes causaux indépendants : un changement dans le monde réel, comme une nouvelle caméra, un nouvel éclairage ou une action d’un robot, ne modifie que quelques mécanismes et laisse les autres inchangés. Dans une représentation dont les variables correspondent à ces mécanismes, un tel changement ne touche que quelques variables. Le jeu de données synthétique Pendulum, utilisé pour évaluer CausalVAE, un autoencodeur variationnel causal de 2021, illustre la structure visée : l’angle du pendule et celui de la lumière déterminent ensemble la position et la longueur de l’ombre, et les quatre éléments sont rendus dans une seule image.

Identifiabilité : quand les variables causales peuvent être retrouvées#

De nombreux ensembles de variables latentes peuvent expliquer les mêmes images ; le CRL commence donc par déterminer dans quelles conditions les véritables variables sont identifiables. En 2019, Locatello et ses collègues ont démontré qu’il est impossible d’apprendre des facteurs disentrelacés par apprentissage non supervisé sans hypothèses sur le modèle et les données. Une étude portant sur plus de 12 000 modèles entraînés sur sept jeux de données a confirmé que les méthodes non supervisées ne parvenaient pas à retrouver les vrais facteurs de manière fiable. L’analyse en composantes indépendantes (ICA), le cas linéaire de base, montre ce qu’apporte une telle hypothèse. Si des facteurs indépendants sont mélangés linéairement, l’ICA peut les retrouver à condition qu’au plus l’un d’eux soit gaussien, car toute rotation de variables gaussiennes indépendantes donne à nouveau un ensemble de gaussiennes indépendantes :

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA retrouve correctement les deux facteurs non gaussiens avec une corrélation de 1.0. Pour les facteurs gaussiens, elle renvoie une rotation arbitraire dont les composantes ne correspondent à chaque facteur réel qu’avec une corrélation de 0.85.

Les facteurs causaux posent une deuxième difficulté, car les causes et leurs effets sont statistiquement dépendants. Les méthodes de CRL remplacent donc l’hypothèse d’indépendance par des informations supplémentaires sur la manière dont les données ont été générées. Des données recueillies lors d’interventions ou dans plusieurs environnements, par exemple un robot qui déplace un objet à la fois ou des images médicales provenant de plusieurs hôpitaux, révèlent quelles variables chaque changement affecte. La vidéo est utile lorsque les variables évoluent progressivement et que des actions interviennent sur certaines d’entre elles, comme dans la méthode CITRIS de Phillip Lippe et ses collègues en 2022. Les vues appariées sont également utiles : Julius von Kügelgen et ses collègues ont démontré à NeurIPS 2021 que l’apprentissage contrastif sur des paires d’images augmentées retrouve le contenu laissé inchangé par les augmentations, à une transformation inversible près et en le séparant du style qu’elles modifient, même lorsque le contenu et le style sont liés par des relations causales. L’entraînement supervisé utilise la même séparation entre contenu et style. Par défaut, l’entraînement d’un modèle de classification Ultralytics YOLO26 applique des recadrages aléatoires conservant de 50 % à 100 % de la surface de l’image, des retournements horizontaux, RandAugment et un effacement aléatoire avec une probabilité de 0,4 : une recette d’augmentation des données qui modifie le style tandis que l’étiquette de classe, c’est-à-dire le contenu, reste fixe.

Le CRL et les concepts apparentés#

• Découverte causale : apprend le graphe causal entre des variables déjà mesurées, comme les colonnes de température et de pression d’un tableau. Le CRL doit apprendre les variables ainsi que le graphe, à partir des pixels.
• Apprentissage de représentations disentrelacées : vise des dimensions latentes qui capturent chacune un facteur indépendant. Le CRL permet aux facteurs de se causer mutuellement et modélise ces liens.
• Apprentissage auto-supervisé : fournit les signaux d’entraînement, tels que les vues augmentées et l’ordre temporel, sur lesquels reposent de nombreux résultats d’identifiabilité du CRL.
• IA explicable (XAI) : explique quelles entrées ont déterminé la prédiction d’un modèle entraîné, sans exiger que ses variables internes correspondent à des causes du monde réel.