Spatial Intelligence

En IA, l’intelligence spatiale désigne la capacité d’un système à percevoir la structure tridimensionnelle du monde, à raisonner sur la position des objets et leurs relations, puis à s’appuyer sur cette compréhension pour agir, répondre à des questions ou générer de nouvelles scènes. Un modèle doté d’intelligence spatiale sait qu’une tasse se trouve sur une table et à portée de main, qu’un couloir se prolonge après un virage, et à quoi ressemble une scène depuis un autre point de vue. Le terme vient de la psychologie, où l’intelligence spatiale est l’une des aptitudes de la théorie des intelligences multiples de Howard Gardner (1983). En IA, le terme a été popularisé par Fei-Fei Li, dont l’essai de 2025 From Words to Worlds la présente comme la prochaine frontière après le langage. Cette notion est fondamentale pour la robotique, la réalité augmentée et la conduite autonome.

Éléments fondamentaux de l’intelligence spatiale#

La compréhension spatiale combine plusieurs capacités :

• Profondeur et géométrie 3D : L’estimation de profondeur, la vision stéréoscopique et la détection d’objets 3D permettent de retrouver les distances et les dimensions des objets à partir d’images. Des modèles de reconstruction directe, comme le VGGT de Meta et Oxford, élu meilleur article à CVPR 2025, prédisent en quelques secondes les poses de caméra, les cartes de profondeur et les cartes de points 3D à partir d’une à plusieurs centaines d’images.
• Localisation et cartographie : Le SLAM visuel suit une caméra en mouvement tout en construisant une carte de son environnement.
• Orientation et articulation : L’estimation de pose reconstitue la posture des personnes et des objets, tandis que les boîtes englobantes orientées représentent la rotation des objets vus d’en haut, comme sur les images aériennes.
• Représentations 3D : Les nuages de points, les maillages, les champs de radiance neuronaux et le splatting gaussien stockent la scène reconstruite pour le rendu, la simulation et la planification.
• Raisonnement spatial : Les relations telles que au-dessus, derrière et plus proche que, ainsi que les distances, les tailles et les itinéraires, exprimés en langage ou utilisés directement pour prendre des décisions.

Différentes tâches s’appuient de différentes façons sur un même modèle de scène :

Des détections 2D aux positions 3D#

Un détecteur indique où se trouvent les objets dans une image ; ajouter la profondeur permet à un système de savoir à quelle distance ils se trouvent. Ultralytics YOLO26 inclut une tâche d’estimation de profondeur monoculaire dont les modèles prédisent une carte de profondeur par pixel en mètres. Ainsi, associer un détecteur YOLO26 à un modèle de profondeur YOLO26 permet de situer chaque objet détecté à une certaine distance de la caméra :

from ultralytics import YOLO

detector = YOLO("yolo26n.pt")
depth_model = YOLO("yolo26n-depth.pt")
image = "https://ultralytics.com/images/bus.jpg"

boxes = detector(image)[0].boxes
depth = depth_model(image)[0].depth.data  # per-pixel depth in meters, shape (H, W)

# Read the depth at each box center to place the objects in 3D
for cls, (x, y, w, h) in zip(boxes.cls.tolist(), boxes.xywh.tolist()):
    print(f"{detector.names[int(cls)]}: {depth[int(y), int(x)]:.1f} m")

Avec les paramètres intrinsèques de la caméra, le centre de chaque boîte et sa profondeur sont convertis en coordonnées x, y, z en mètres : c’est le type de disposition 3D dont un planificateur de préhension ou un système de réponse aux questions spatiales a besoin.

L’intelligence spatiale par rapport aux concepts associés#

• Vision par ordinateur : Le domaine plus large qui consiste à extraire des informations d’images. Une grande partie de ce domaine opère dans le plan de l’image 2D, en classant les images et en encadrant les objets ; l’intelligence spatiale s’appuie dessus en y ajoutant une structure métrique 3D et des relations.
• Informatique spatiale : Le paradigme d’interaction humain-ordinateur dans lequel le contenu numérique est placé dans l’espace physique et réagit à celui-ci, comme avec les casques de réalité mixte. C’est une application qui dépend de l’intelligence spatiale.
• IA incarnée : Des agents qui perçoivent et agissent à travers un corps physique ou simulé. L’intelligence spatiale fait partie des capacités dont un tel agent a besoin.
• Modèles du monde : Des modèles qui prédisent les changements d’un environnement. Les modèles du monde ancrés dans l’espace génèrent ou simulent des scènes 3D cohérentes.

Le raisonnement spatial dans les modèles multimodaux#

Les modèles de langage et de vision décrivent les images avec aisance, mais accusent un retard en raisonnement spatial. VSI-Bench, un benchmark de plus de 5 000 questions sur des vidéos de scènes intérieures, a montré en 2024 que les LLM multimodaux présentaient une intelligence visuo-spatiale compétitive, mais inférieure à celle des humains, le raisonnement spatial constituant le principal goulot d’étranglement. Demander aux modèles de dessiner une carte cognitive explicite de la pièce avant de répondre a amélioré leurs estimations de distance. Le classement VLM d’Ultralytics mesure une compétence spatiale plus ciblée : la précision avec laquelle les modèles de langage et de vision placent des boîtes autour des objets dans des images du monde réel. Les modèles génératifs s’attaquent au problème dans l’autre sens. World Labs, l’entreprise cofondée par Fei-Fei Li, a publié Marble en novembre 2025 : un modèle du monde qui transforme du texte, des images ou des vidéos en environnements 3D persistants et explorables, exportables sous forme de splats gaussiens ou de maillages.