Visual Reasoning

Visuelles Schlussfolgern ist die Fähigkeit eines KI-Modells, anhand visueller Informationen über mehrere Schlussfolgerungsschritte zu einem Ergebnis zu gelangen. Dazu gehören das Zählen von Objekten, die eine Bedingung erfüllen, der Vergleich ihrer Größen oder Positionen, das Nachverfolgen räumlicher Beziehungen, die Anwendung physikalischen Allgemeinwissens oder die Vervollständigung eines abstrakten visuellen Musters. Eine Tasse zu erkennen, erfordert einen Wahrnehmungsschritt. Die Frage „Steht die Tasse links vom größten Objekt, das aus demselben Material wie der Tisch besteht?“ erfordert mehrere Schritte, denn die Antwort verknüpft Angaben zu vier Objekten. Diese Fähigkeit liegt zwischen Computer Vision, die diese Angaben liefert, und Schlussfolgerungsmodellen, die Schlussfolgerungen in Text verketten. Sie wird mit Benchmarks für visuelle Fragebeantwortung (VQA) geprüft, wenn deren Fragen über das bloße Benennen der Bildinhalte hinausgehen.

Benchmarks für visuelles Schlussfolgern#

Tests zum visuellen Schlussfolgern gab es schon vor der KI. John C. Ravens Progressive Matrizen (1938) fordern dazu auf, das Kärtchen auszuwählen, das ein 3×3-Muster vervollständigt. Mikhail Bongards Aufgaben aus dem Jahr 1967 fragen, welche Regel sechs Bilder von sechs anderen unterscheidet. Benchmarks für Maschinen übernahmen beide Ideen und ergänzten Sprache:

• CLEVR: Justin Johnson und Kollegen von Stanford und Facebook AI Research veröffentlichten diesen Diagnosedatensatz auf der CVPR 2017. Er enthält 100.000 gerenderte Szenen mit einfachen 3D-Formen und etwa einer Million generierter Fragen zu Zählaufgaben, Vergleichen, räumlichen Beziehungen und Logik. Zugleich minimiert er Verzerrungen in den Daten, durch die Modelle raten könnten.
• RAVEN: Ein Datensatz aus dem Jahr 2019 mit prozedural erzeugten Matrizen nach dem Vorbild von Raven-Aufgaben zum Trainieren und Testen des maschinellen Vervollständigens von Mustern.
• ARC: François Chollets Abstraction and Reasoning Corpus aus dem Jahr 2019 mit Rasterrätseln, bei denen die Transformationsregel anhand weniger Beispiele erschlossen werden muss.
• MathVista: Ein Benchmark aus dem Jahr 2023 mit Mathematikaufgaben in Diagrammen, Plots, Geometriezeichnungen und Fotos.
• BLINK: Eine Sammlung aus dem Jahr 2024 mit 14 klassischen Sehaufgaben, darunter relative Tiefe und visuelle Korrespondenz, die als Multiple-Choice-Fragen formuliert wurden.

BLINK zeigte, wie weit flüssig formulierende multimodale Modelle noch von der menschlichen Wahrnehmung entfernt waren: Menschen erreichten durchschnittlich 95,70 Prozent, während GPT-4V 51,26 Prozent und Gemini 45,72 Prozent erzielten – nur 13,17 beziehungsweise 7,63 Punkte über dem Wert des Zufallsratens. Auf dieselben Aufgaben kamen spezialisierte Bildverarbeitungsmodelle deutlich besser zurecht.

Ansätze für visuelles Schlussfolgern#

End-to-End-Bild-Sprach-Modelle (VLMs) antworten direkt anhand von Bild-Tokens. Beim Chain-of-Thought-Prompting formulieren sie vor der Antwort Zwischenschritte. OpenAI erweiterte dies im April 2025 mit den veröffentlichten Modellen o3 und o4-mini auf das Schlussfolgern mit Bildern: Während des Schlussfolgerns kann das Modell das Bild zuschneiden, vergrößern und drehen und das Ergebnis erneut betrachten.

Neuro-symbolische Methoden trennen das Sehen vom Schlussfolgern. Die neuronalen Modulnetzwerke von Jacob Andreas und Kollegen (CVPR 2016) stellten für jede Frage ein kleines Netz aus wiederverwendbaren Modulen wie „beachten“ und „erneut beachten“ zusammen. NS-VQA von Kexin Yi und Kollegen (NeurIPS 2018) zerlegte jede CLEVR-Szene in eine Objekttabelle mit Attributen und Positionen, übersetzte die Frage in ein Programm und führte dieses auf der Tabelle aus. Der Ansatz erreichte eine Genauigkeit von 99,8 % und lieferte vollständig nachvollziehbare Antworten. Er beruht auf symbolischer KI. Visuelle Programmierung übertrug dieselbe Idee auf echte Fotos: VisProg, das den Preis für den besten Beitrag bei CVPR 2023 gewann, und ViperGPT (ICCV 2023) lassen ein großes Sprachmodell (LLM) ein Python-Programm schreiben, das ein Modell für Objekterkennung, ein Modell für Tiefenschätzung und weitere Bildverarbeitungswerkzeuge aufruft und anschließend ausgeführt wird.

Erkennung und Tiefe als Eingaben für das Schlussfolgern#

Die relative Tiefe gehört zu den BLINK-Aufgaben und ist genau die Art von Frage, die ein visuelles Programm an ein spezialisiertes Modell delegiert. YOLO26 liefert beide benötigten Eingaben: Ein Objekterkennungsmodell wandelt das Foto in benannte Begrenzungsrahmen um, und ein monokulares Tiefenmodell erstellt eine Tiefenkarte mit einem Wert in Metern pro Pixel. Mit wenigen Zeilen Logik lässt sich so die Frage „Ist jemand näher an der Kamera als der Bus?“ beantworten:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Jede Antwort lässt sich auf einen bestimmten Begrenzungsrahmen und Tiefenwert zurückführen, anders als die Antwort eines End-to-End-Modells. Dasselbe Muster lässt sich auf Aufgaben in der Robotik und der räumlichen Intelligenz übertragen, bei denen ein Roboter entscheiden muss, nach welchem Objekt er zuerst greifen soll, sowie auf agentische Arbeitsabläufe, die eine Szene vor einer Aktion überprüfen.

Visuelles Schlussfolgern und verwandte Begriffe#

VQA ist ein Aufgabenformat: eine Frage zu einem Bild mit einer kurzen Antwort. Visuelles Schlussfolgern ist die mehrstufige Fähigkeit, die schwierigere VQA-Fragen erfordern. Multimodale KI umfasst jedes Modell, das verschiedene Datentypen kombiniert, unabhängig davon, ob es Schlussfolgerungen zieht. Räumliches Schlussfolgern ist der Teilbereich zu Positionen, Entfernungen und Ausrichtungen. Die einfachsten Fragen dazu benötigen überhaupt kein Sprachmodell: Bei BLINK-Aufgaben zur relativen Tiefe wird gefragt, welcher von zwei markierten Punkten näher an der Kamera liegt. Das lässt sich anhand zweier Pixelwerte aus einer Tiefenkarte beantworten.