Spatial Intelligence

Räumliche Intelligenz in der KI bezeichnet die Fähigkeit eines Systems, die dreidimensionale Struktur der Welt wahrzunehmen, über die Positionen von Dingen und ihre Beziehungen zueinander nachzudenken und dieses Verständnis zum Handeln, Beantworten von Fragen oder Erzeugen neuer Szenen zu nutzen. Ein räumlich intelligentes Modell weiß, dass eine Tasse auf einem Tisch steht und erreichbar ist, dass sich ein Flur hinter einer Ecke fortsetzt und wie eine Szene aus einem anderen Blickwinkel aussieht. Der Begriff stammt aus der Psychologie. Dort zählt räumliche Intelligenz zu den Fähigkeiten in Howard Gardners Theorie der multiplen Intelligenzen (1983). In der KI machte Fei-Fei Li den Begriff populär. In ihrem Essay From Words to Worlds aus dem Jahr 2025 bezeichnete sie räumliche Intelligenz als nächste Herausforderung nach Sprache. Sie bildet die Grundlage für Robotik, erweiterte Realität und autonomes Fahren.

Grundlagen räumlicher Intelligenz#

Räumliches Verständnis vereint mehrere Fähigkeiten:

• Tiefe und 3D-Geometrie: Tiefenschätzung, Stereosehen und 3D-Objekterkennung ermitteln Entfernungen und Ausdehnungen von Objekten aus Bildern. Feed-forward-Rekonstruktionsmodelle wie Metas und Oxfords VGGT, der beste Beitrag auf der CVPR 2025, sagen Kamerapositionen, Tiefenkarten und 3D-Punktkarten aus einem bis zu Hunderten von Bildern in Sekunden voraus.
• Lokalisierung und Kartierung: Visuelles SLAM verfolgt eine bewegte Kamera und erstellt dabei eine Karte ihrer Umgebung.
• Orientierung und Gelenkigkeit: Die Posenschätzung ermittelt die Haltung von Menschen und Objekten. Orientierte Bounding-Boxen erfassen die Drehung von Objekten aus der Vogelperspektive, etwa in Luftbildern.
• 3D-Darstellungen: Punktwolken, Netze, neuronale Strahlungsfelder und Gaussian Splatting speichern die rekonstruierte Szene für Rendering, Simulation und Planung.
• Räumliches Schlussfolgern: Beziehungen wie über, hinter und näher als sowie Entfernungen, Größen und Routen, ausgedrückt in Sprache oder direkt für Entscheidungen genutzt.

Verschiedene Aufgaben greifen auf unterschiedliche Weise auf dasselbe Szenenmodell zurück:

Von 2D-Erkennungen zu 3D-Positionen#

Ein Detektor gibt an, wo Objekte in einem Bild erscheinen; zusätzliche Tiefeninformationen zeigen einem System, wie weit sie entfernt sind. Ultralytics YOLO26 umfasst eine Aufgabe zur monokularen Tiefenschätzung, deren Modelle eine Tiefenkarte in Metern für jedes Pixel vorhersagen. Kombiniert man also einen YOLO26-Detektor mit einem YOLO26-Tiefenmodell, lässt sich jedes erkannte Objekt in einer bestimmten Entfernung zur Kamera verorten:

from ultralytics import YOLO

detector = YOLO("yolo26n.pt")
depth_model = YOLO("yolo26n-depth.pt")
image = "https://ultralytics.com/images/bus.jpg"

boxes = detector(image)[0].boxes
depth = depth_model(image)[0].depth.data  # per-pixel depth in meters, shape (H, W)

# Read the depth at each box center to place the objects in 3D
for cls, (x, y, w, h) in zip(boxes.cls.tolist(), boxes.xywh.tolist()):
    print(f"{detector.names[int(cls)]}: {depth[int(y), int(x)]:.1f} m")

Mit den inneren Kameraparametern lassen sich die Mittelpunkte der Begrenzungsrahmen und ihre Tiefen in x-, y- und z-Koordinaten in Metern umrechnen – genau die Art von 3D-Anordnung, die ein Greifplaner oder ein System zur Beantwortung räumlicher Fragen benötigt.

Räumliche Intelligenz und verwandte Begriffe#

• Computer Vision: Das übergeordnete Fachgebiet, in dem Informationen aus Bildern gewonnen werden. Vieles davon arbeitet auf der 2D-Bildebene, klassifiziert Bilder und markiert Objekte mit Begrenzungsrahmen. Räumliche Intelligenz baut darauf auf und ergänzt metrische 3D-Strukturen und Beziehungen.
• Räumliches Computing: Ein Paradigma der Mensch-Computer-Interaktion, bei dem digitale Inhalte im physischen Raum platziert werden und auf ihn reagieren, etwa bei Mixed-Reality-Headsets. Es ist eine Anwendung, die auf räumliche Intelligenz angewiesen ist.
• Verkörperte KI: Agenten, die durch einen physischen oder simulierten Körper wahrnehmen und handeln. Räumliche Intelligenz ist eine der Fähigkeiten, die ein solcher Agent benötigt.
• Weltmodelle: Modelle, die vorhersagen, wie sich eine Umgebung verändert. Räumlich verankerte Weltmodelle erzeugen oder simulieren konsistente 3D-Szenen.

Räumliches Schlussfolgern in multimodalen Modellen#

Vision-Language-Modelle beschreiben Bilder flüssig, hinken bei räumlichem Schlussfolgern aber hinterher. VSI-Bench, ein Benchmark mit über 5.000 Fragen zu Videos von Innenräumen, stellte 2024 fest, dass multimodale LLMs zwar konkurrenzfähige, aber menschenunterlegene visuell-räumliche Fähigkeiten zeigten und räumliches Schlussfolgern der wichtigste Engpass war. Die Aufforderung, vor der Antwort eine explizite kognitive Karte des Raums zu zeichnen, verbesserte die Einschätzung von Entfernungen. Die Ultralytics-VLM-Bestenliste misst eine engere räumliche Fähigkeit: wie genau Vision-Language-Modelle Boxen um Objekte in realen Bildern platzieren. Generative Modelle gehen das Problem von der anderen Seite an. World Labs, das von Fei-Fei Li mitgegründete Unternehmen, veröffentlichte im November 2025 Marble, ein Weltmodell, das Text, Bilder oder Videos in beständige, begehbare 3D-Umgebungen umwandelt, die als Gaussian Splats oder Netze exportiert werden können.