Causal Representation Learning

Kausales Repräsentationslernen (CRL) ist ein Ansatz des maschinellen Lernens, der darauf abzielt, komplexe Beobachtungen – etwa Bilder, Videos, Audiodaten oder Sensormessungen – in Variablen auf hoher Ebene umzuwandeln, die widerspiegeln, wie das zugrunde liegende System Ursache-Wirkungs-Beziehungen hervorbringt. Anstatt Merkmale zu lernen, die lediglich Labels vorhersagen, sucht CRL nach Repräsentationen, die bedeutungsvollen Faktoren wie Objektposition, Beleuchtung, Maschinenzustand oder menschlicher Handlung entsprechen.

Ziel ist es, Modelle dazu zu befähigen, darüber nachzudenken, was passieren könnte, wenn sich ein Faktor ändert, statt sich ausschließlich auf während des Trainings beobachtete Korrelationen zu stützen. Dazu werden herkömmliches Repräsentationslernen durch Embeddings und Konzepte aus der kausalen Inferenz kombiniert. So können KI-Systeme besser auf verschiedene Umgebungen generalisieren und Interventionen, kontrafaktische Fragen sowie Entscheidungsprozesse unterstützen.

Funktionsweise des kausalen Repräsentationslernens#

Ein neuronales Netzwerk bildet hochdimensionale Eingaben normalerweise auf einen internen latenten Raum ab. Wie in Googles Einführung in Embeddings im maschinellen Lernen erläutert, können diese kompakten Vektoren nützliche Beziehungen bewahren und gleichzeitig die Komplexität der Eingabe reduzieren. Ein gewöhnliches Embedding kann jedoch kausale Eigenschaften mit zufälligen Mustern vermischen.

Ein Klassifikator für Wildtiere könnte beispielsweise Schnee mit Wölfen assoziieren, weil die meisten Wolfsbilder in seinem Trainingsdatensatz verschneite Hintergründe zeigen. Eine kausale Repräsentation sollte die Identität des Tiers von den Hintergrundbedingungen trennen, damit das Modell Wölfe auch in Wäldern oder Graslandschaften erkennt.

CRL umfasst typischerweise drei miteinander verbundene Ziele:

• Bedeutungsvolle latente Variablen zurückgewinnen: Die Repräsentation sollte die zugrunde liegenden Faktoren erfassen, die Beobachtungen hervorbringen, und nicht nur zweckmäßige Abkürzungen für Vorhersagen.
• Kausale Strukturen modellieren: Beziehungen zwischen Variablen können durch einen gerichteten Graphen dargestellt werden, entsprechend den in Frameworks für kausale Modelle beschriebenen Prinzipien.
• Unter Interventionen stabil bleiben: Die Änderung eines Faktors sollte eine angemessene, lokal begrenzte Änderung in der Repräsentation bewirken. Die Dokumentation zu Interventionen in DoWhy veranschaulicht, wie sich Interventionen von der bloßen Konditionierung auf beobachtete Daten unterscheiden.

Bei einer Intervention wird eine Variable aktiv gesetzt, etwa indem die Geschwindigkeit eines Roboters geändert wird. Eine kontrafaktische Frage untersucht dagegen, was unter einer anderen Einstellung passiert wäre, beispielsweise ob es zu einer Kollision gekommen wäre, wenn sich der Roboter langsamer bewegt hätte.

Verwandte Konzepte und wichtige Unterschiede#

CRL überschneidet sich mit mehreren Konzepten des maschinellen Lernens, verfolgt jedoch ein eigenständiges Ziel.

• Kontrastives Lernen lernt Repräsentationen, indem es verwandte Beispiele einander annähert und nicht verwandte voneinander trennt. Es kann CRL unterstützen, aber Ähnlichkeit allein stellt keine Kausalität her.
• Selbstüberwachtes Lernen erzeugt Trainingssignale aus nicht gelabelten Daten. CRL kann diese Signale nutzen und zusätzlich Annahmen über Interventionen, Umgebungen, Zeit oder kausale Strukturen einbeziehen.
• Kausale Inferenz schätzt normalerweise Effekte zwischen bereits definierten Variablen wie Behandlung, Alter und Genesung. CRL entdeckt nützliche kausale Variablen zunächst aus rohen Wahrnehmungseingaben. Dieser Unterschied ist zentral für den umfassenderen Überblick zum kausalen Repräsentationslernen.
• Disentangled Representation Learning versucht, unabhängigen Faktoren jeweils separate latente Dimensionen zuzuordnen. Eine entflechtete Repräsentation ist jedoch nicht zwangsläufig kausal, da getrennte Faktoren möglicherweise weiterhin die Richtung ihres Einflusses oder ihre Reaktion auf eine Intervention nicht abbilden.
• Kausale Entdeckung sucht nach Beziehungen zwischen Variablen. CRL lernt zusätzlich die Variablen selbst. Kandidatenstrukturen sollten nach Möglichkeit überprüft werden, wie in der Widerlegung von DoWhy-Graphen beschrieben.

Beim CRL mit mehreren Ansichten beobachten verschiedene Kameras oder Sensoren dasselbe System aus unterschiedlichen Perspektiven. Die teilweise Beobachtbarkeit bedeutet, dass jede Ansicht nur einige kausale Faktoren sichtbar macht. Nicht gepaarte Einstellungen mit mehreren Domänen sind schwieriger, weil Beobachtungen aus verschiedenen Umgebungen nicht für jede Instanz einander zugeordnet werden können.

Anwendungen in der Praxis#

Autonome Robotik: Ein Lagerroboter erhält Kamera-, Tiefen- und Bewegungsdaten, die Informationen über die Position von Hindernissen, Beleuchtung, Bodenbeschaffenheit und seine eigene Bewegung enthalten. Eine kausale Repräsentation kann steuerbare Faktoren wie das Lenken von Umgebungsfaktoren wie Schatten trennen. Das Training mit Domänenrandomisierung kann das System kontrollierten Variationen aussetzen, während die kausale Struktur dabei hilft zu bestimmen, welche Änderungen Navigationsentscheidungen beeinflussen sollten.

Fertigungsinspektion: Ein Fehlerdetektor kann eine Produktionslinie, einen Kamerawinkel oder die Materialfarbe fälschlicherweise mit fehlerhaften Produkten verknüpfen. CRL kann dabei helfen, Fehlertyp, Maschineneinstellungen und Beleuchtung als separate Faktoren zu isolieren. Dadurch wird das Lernen von Abkürzungen bei Änderungen an Ausrüstung oder Fabriken reduziert, und es lässt sich leichter untersuchen, ob Prozesstemperatur oder -druck zu einem Fehler beigetragen haben, statt lediglich gemeinsam mit ihm aufzutreten.

Praktischer Arbeitsablauf und Einschränkungen#

Ultralytics YOLO kann standardisierte visuelle Embeddings erzeugen, die Entwickler vor der Entwicklung einer separaten Pipeline für kausales Lernen untersuchen können:

from ultralytics import YOLO

# Load a pretrained image classification model
model = YOLO("yolo26n-cls.pt")

# Generate an ordinary visual representation
source = "https://ultralytics.com/images/bus.jpg"
embeddings = model.embed(source)

# Inspect the selected image embedding
embedding = embeddings[0]
print(embedding.shape)

Dieser dokumentierte Arbeitsablauf mit Ultralytics YOLO26 extrahiert ein Embedding, macht die Repräsentation dadurch jedoch nicht automatisch kausal. Um Kausalität festzustellen, sind geeignete Daten, Annahmen, Interventionen, mehrere Umgebungen oder zeitliche Belege erforderlich.

Praktiker sollten vermutete Störfaktoren variieren, die Leistung über verschiedene Domänen hinweg bewerten und Verzerrungen im Datensatz überprüfen. Die Ultralytics Platform kann die Annotation von Datensätzen, das Training, die Bereitstellung und eine kontrollierte Versionierung von Datensätzen unterstützen. Nach der Bereitstellung ist eine kontinuierliche Überwachung des Modells unerlässlich, da eine stabile Validierungsgenauigkeit keine kausale Validität garantiert. Die Bewertung sollte außerdem den übergeordneten NIST-Leitlinien zur Gültigkeit und Robustheit von KI folgen und Prüfungen nach Untergruppen enthalten, wie sie in Googles Leitfaden zur Erkennung von Verzerrungen in Datensätzen beschrieben sind.