Causal Representation Learning

Kausales Repräsentationslernen (CRL) bezeichnet das Problem, aus hochdimensionalen Beobachtungen wie Pixeln eine kleine Menge latenter Variablen zu lernen, die den tatsächlichen Ursachen der Datengenerierung entsprechen, sowie die kausalen Beziehungen zwischen ihnen. Ein Modell mit einer solchen Repräsentation kann vorhersagen, was geschieht, wenn ein Faktor verändert wird, etwa wenn eine Lampe bewegt oder ein Objekt angestoßen wird, und funktioniert weiterhin, wenn sich Korrelationen in den Trainingsdaten ändern – eine Form von Datenverschiebung. Bernhard Schölkopf, Francesco Locatello, Yoshua Bengio und Kollegen legten das Forschungsprogramm 2021 in Toward Causal Representation Learning dar. Sie verbanden dabei das Repräsentationslernen des Deep Learning mit den strukturellen Kausalmodellen der kausalen Inferenz, die davon ausgehen, dass die kausalen Variablen bereits bekannt sind.

Warum gewöhnliche Repräsentationen nicht ausreichen#

Ein für die Bildklassifizierung trainiertes Netzwerk bildet jedes Bild auf einen latenten Raum ab, dessen Merkmale die Bezeichnungen in der Trainingsverteilung möglichst gut vorhersagen. Nichts hindert diese Merkmale daran, das Objekt mit seiner Umgebung zu vermischen. 2018 zeigten Sara Beery, Grant Van Horn und Pietro Perona, dass Klassifikatoren, die Kühe auf grasbewachsenen Weiden erkennen, bei einer Kuh am Strand versagen können, weil der Hintergrund Teil dessen geworden war, was „Kuh“ bedeutete. Dieses als Abkürzungslernen bezeichnete Versagen ergibt sich aus der Verzerrung des Datensatzes, und mehr Daten aus derselben Verteilung beheben es nicht.

CRL beruht auf der Idee, dass die Welt aus unabhängigen kausalen Mechanismen besteht: Eine Veränderung in der realen Welt, etwa eine neue Kamera, eine neue Beleuchtung oder die Aktion eines Roboters, verändert nur wenige Mechanismen und lässt den Rest unverändert. In einer Repräsentation, deren Variablen diesen Mechanismen entsprechen, wirkt sich eine solche Veränderung nur auf wenige Variablen aus. Der synthetische Pendulum-Datensatz, der 2021 zur Evaluierung von CausalVAE, einem kausalen Variational Autoencoder, verwendet wurde, veranschaulicht die Zielstruktur: Der Winkel des Pendels und der Winkel des Lichts verursachen gemeinsam die Position und Länge des Schattens, und alle vier Größen werden in einem Bild dargestellt.

Identifizierbarkeit: Wann sich kausale Variablen rekonstruieren lassen#

Viele verschiedene Mengen latenter Variablen können dieselben Bilder erklären. Deshalb fragt CRL zuerst, unter welchen Bedingungen sich die tatsächlichen Variablen identifizieren lassen. 2019 bewiesen Locatello und Kollegen, dass sich entkoppelte Faktoren mit unüberwachtem Lernen ohne Annahmen über das Modell und die Daten nicht lernen lassen. Eine Studie mit mehr als 12.000 trainierten Modellen auf sieben Datensätzen bestätigte, dass unüberwachte Methoden die tatsächlichen Faktoren nicht zuverlässig finden konnten. Die unabhängige Komponentenanalyse (ICA), der lineare Grundfall, zeigt, welchen Nutzen eine solche Annahme hat. Werden unabhängige Faktoren linear vermischt, kann ICA sie rekonstruieren, solange höchstens einer davon gaußverteilt ist, denn jede Rotation unabhängiger gaußverteilter Variablen ergibt wieder eine Menge unabhängiger gaußverteilter Variablen:

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA rekonstruiert beide nicht gaußverteilten Faktoren mit einer Korrelation von 1.0. Bei gaußverteilten Faktoren liefert das Verfahren eine beliebige Rotation, deren Komponenten jeweils nur eine Korrelation von 0.85 mit dem entsprechenden tatsächlichen Faktor aufweisen.

Kausale Faktoren bringen eine zweite Schwierigkeit mit sich, denn Ursachen und ihre Wirkungen sind statistisch abhängig. Deshalb ersetzen CRL-Methoden die Unabhängigkeitsannahme durch zusätzliche Informationen darüber, wie die Daten erzeugt wurden. Daten, die unter Interventionen oder in mehreren Umgebungen aufgezeichnet wurden, etwa wenn ein Roboter jeweils ein Objekt bewegt oder medizinische Bilder aus mehreren Krankenhäusern stammen, zeigen, welche Variablen von den einzelnen Veränderungen betroffen sind. Videos sind hilfreich, wenn sich Variablen gleichmäßig entwickeln und Aktionen auf einige davon einwirken, wie bei der 2022 von Phillip Lippe und Kollegen vorgestellten CITRIS-Methode. Auch Bildpaare helfen: Julius von Kügelgen und Kollegen bewiesen auf der NeurIPS 2021, dass kontrastives Lernen mit augmentierten Bildpaaren den Inhalt rekonstruiert, den die Augmentierungen unverändert lassen – bis auf eine invertierbare Transformation und getrennt von dem Stil, den sie verändern. Das gilt sogar dann, wenn Inhalt und Stil kausal abhängig sind. Überwachtes Training nutzt dieselbe Trennung von Inhalt und Stil. Beim Training eines Ultralytics YOLO26-Klassifizierungsmodells werden standardmäßig zufällige Ausschnitte verwendet, die 50 % bis 100 % der Bildfläche beibehalten, horizontale Spiegelungen, RandAugment und zufälliges Löschen mit einer Wahrscheinlichkeit von 0.4. Diese Datenaugmentierung verändert den Stil, während die Klassenbezeichnung – der Inhalt – gleich bleibt.

CRL im Vergleich zu verwandten Begriffen#

• Kausale Entdeckung: Lernt den kausalen Graphen zwischen bereits gemessenen Variablen, etwa Temperatur- und Druckspalten in einer Tabelle. CRL muss sowohl die Variablen als auch den Graphen lernen und geht dabei von Pixeln aus.
• Entkoppeltes Repräsentationslernen: Sucht nach latenten Dimensionen, die jeweils einen unabhängigen Faktor erfassen. CRL lässt zu, dass die Faktoren einander verursachen, und modelliert diese Beziehungen.
• Selbstüberwachtes Lernen: Liefert die Trainingssignale, etwa augmentierte Ansichten und zeitliche Reihenfolgen, auf die sich viele Ergebnisse zur Identifizierbarkeit in CRL stützen.
• Erklärbare KI (XAI): Erklärt, welche Eingaben die Vorhersage eines trainierten Modells beeinflusst haben, ohne vorauszusetzen, dass die internen Variablen des Modells tatsächlichen Ursachen in der realen Welt entsprechen.