Causal Representation Learning

Causal Representation Learning (CRL) ist ein Machine-Learning-Ansatz, der darauf abzielt, komplexe Beobachtungen – wie Bilder, Videos, Audio- oder Sensorwerte – in hochstufige Variablen umzuwandeln, die widerspiegeln, wie das zugrunde liegende System Ursache-Wirkungs-Beziehungen erzeugt. Anstatt Merkmale zu lernen, die lediglich Labels vorhersagen, sucht CRL nach Repräsentationen, die aussagekräftigen Faktoren wie Objektposition, Beleuchtung, Maschinenzustand oder menschlichem Handeln entsprechen.

Das Ziel besteht darin, Modelle dazu zu bringen, darüber nachzudenken, was passieren kann, wenn sich ein Faktor ändert, anstatt sich nur auf Korrelationen zu verlassen, die während des Trainings beobachtet wurden. Dies kombiniert konventionelles Representation Learning durch Embeddings mit Ideen aus der kausalen Inferenz und hilft KI-Systemen dabei, über Umgebungen hinweg zu generalisieren sowie Interventionen, kontrafaktische Fragen und die Entscheidungsfindung zu unterstützen.

Wie Causal Representation Learning funktioniert#

Ein neurales Netzwerk bildet hochdimensionale Eingaben normalerweise in einen internen latent space ab. Wie in Googles Einführung in Machine-Learning-Embeddings erläutert, können diese kompakten Vektoren nützliche Beziehungen bewahren und gleichzeitig die Eingangskomplexität reduzieren. Ein gewöhnliches Embedding kann jedoch kausale Eigenschaften mit zufälligen Mustern vermischen.

Ein Wildtier-Klassifikator könnte beispielsweise Schnee mit Wölfen assoziieren, da die meisten Wolfsbilder in seinem Trainingsset schneebedeckte Hintergründe aufweisen. Eine kausale Repräsentation sollte die Tieridentität von den Hintergrundbedingungen trennen, sodass das Modell Wölfe in Wäldern oder Graslandschaften erkennen kann.

CRL umfasst typischerweise drei miteinander verbundene Ziele:

• Aussagekräftige latente Variablen wiederherstellen: Die Repräsentation sollte zugrunde liegende Faktoren erfassen, die Beobachtungen erzeugen, und nicht nur bequeme prädiktive Abkürzungen.
• Kausale Struktur modellieren: Beziehungen zwischen Variablen können durch einen gerichteten Graphen ausgedrückt werden, wobei Prinzipien gefolgt wird, die in Modellrahmen für kausale Zusammenhänge beschrieben sind.
• Unter Interventionen stabil bleiben: Das Ändern eines Faktors sollte eine entsprechende, lokalisierte Änderung in der Repräsentation hervorrufen. Die DoWhy-Interventionsdokumentation veranschaulicht, wie sich Interventionen von der bloßen Konditionierung auf beobachtete Daten unterscheiden.

Eine Intervention setzt aktiv eine Variable, wie etwa das Ändern der Geschwindigkeit eines Roboters. Ein Kontrafaktum fragt stattdessen, was unter einer anderen Einstellung passiert wäre, etwa ob eine Kollision stattgefunden hätte, wenn sich der Roboter langsamer bewegt hätte.

Verwandte Konzepte und Hauptunterschiede#

CRL überschneidet sich mit mehreren Machine-Learning-Ideen, verfolgt jedoch ein eigenständiges Ziel.

• Kontrastives Lernen lernt Repräsentationen, indem es zusammenhängende Beispiele einander annähert und nicht zusammenhängende trennt. Es kann CRL unterstützen, aber Ähnlichkeit allein begründet noch keine Kausalität.
• Selbstüberwachtes Lernen erstellt Trainingssignale aus unbeschrifteten Daten. CRL kann diese Signale nutzen und dabei Annahmen über Interventionen, Umgebungen, Zeit oder kausale Strukturen hinzufügen.
• Die kaukale Inferenz schätzt normalerweise Effekte zwischen bereits definierten Variablen wie Behandlung, Alter und Genesung. CRL entdeckt zunächst nützliche kausale Variablen aus rohen Wahrnehmungseingaben. Diese Unterscheidung steht im Mittelpunkt der umfassenderen Übersicht zum Causal Representation Learning.
• Disentangled Representation Learning versucht, unabhängigen Faktoren separate latente Dimensionen zuzuordnen. Eine entwirrte Repräsentation ist nicht zwangsläufig kausal, da getrennte Faktoren möglicherweise dennoch ihre Wirkungsrichtung oder Reaktion auf Interventionen auslassen.
• Causal Discovery sucht nach Beziehungen zwischen Variablen. CRL lernt zusätzlich die Variablen selbst. Kandidatenstrukturen sollten nach Möglichkeit getestet werden, wie in DoWhy-Graphenwiderlegung beschrieben.

Beim Multi-View-CRL beobachten verschiedene Kameras oder Sensoren dasselbe System aus unterschiedlichen Perspektiven. Partielle Beobachtbarkeit bedeutet, dass jede Ansicht nur einige kausale Faktoren offenbart. Ungepaarte Multi-Domain-Einstellungen sind schwieriger, da Beobachtungen aus verschiedenen Umgebungen nicht Instanz für Instanz korrespondieren.

Praxisanwendungen#

Autonome Robotik: Ein Lagerroboter erhält Kamera-, Tiefen- und Bewegungsdaten, die Informationen über Hindernisposition, Beleuchtung, Bodenbeschaffenheit und seine eigene Bewegung enthalten. Eine kausale Repräsentation kann steuerbare Faktoren wie die Lenkung von Umgebungsfaktoren wie Schatten trennen. Das Training mit Domain-Randomisierung kann das System kontrollierten Variationen aussetzen, während die kausale Struktur dabei hilft zu bestimmen, welche Änderungen Navigationsentscheidungen beeinflussen sollten.

Fertigungsinspektion: Ein Defektdetektor kann eine Produktionslinie, einen Kamerawinkel oder eine Materialfarbe fälschlicherweise mit defekten Produkten assoziieren. CRL kann dabei helfen, Defekttyp, Maschineneinstellungen und Beleuchtung als separate Faktoren zu isolieren. Dies reduziert das Erlernen von Abkürzungen, wenn sich Geräte oder Fabriken ändern, und erleichtert die Untersuchung, ob Prozesstemperatur oder -druck zu einem Defekt beigetragen hat, anstatt nur neben ihm aufzutreten.

Praktischer Workflow und Einschränkungen#

Ultralytics YOLO kann standardmäßige visuelle Embeddings generieren, die Entwickler überprüfen können, bevor sie eine separate kausale Lernpipeline entwerfen:

from ultralytics import YOLO

# Load a pretrained image classification model
model = YOLO("yolo26n-cls.pt")

# Generate an ordinary visual representation
source = "https://ultralytics.com/images/bus.jpg"
embeddings = model.embed(source)

# Inspect the selected image embedding
embedding = embeddings[0]
print(embedding.shape)

Dieser dokumentierte Ultralytics YOLO26-Workflow extrahiert ein Embedding, macht die Repräsentation dadurch jedoch nicht von sich aus kausal. Die Etablierung von Kausalität erfordert geeignete Daten, Annahmen, Interventionen, mehrere Umgebungen oder temporale Evidenz.

Anwender sollten vermutete Störfaktoren variieren, die Leistung über Domänen hinweg bewerten und Dataset Bias auditieren. Die Ultralytics Platform kann die Datensatzannotation, das Training, die Bereitstellung und die kontrollierte Datensatzversionierung unterstützen. Nach der Bereitstellung ist eine kontinuierliche Modellüberwachung unerlässlich, da eine stabile Validierungsgenauigkeit keine kausale Gültigkeit garantiert. Die Evaluierung sollte zudem den umfassenderen NIST-Leitlinien zur KI-Validität und -Robustheit folgen und Untergruppenprüfungen umfassen, wie sie in Googles Leitfaden zur Identifizierung von Dataset Bias dargelegt sind.