Visual Reasoning

Le raisonnement visuel est la capacité d’un modèle d’IA à tirer une conclusion nécessitant plusieurs étapes d’inférence à partir d’informations visuelles : compter les objets répondant à une condition, comparer leur taille ou leur position, suivre des relations spatiales, appliquer le bon sens physique ou compléter un motif visuel abstrait. Reconnaître une tasse ne nécessite qu’une étape de perception, tandis que répondre à « La tasse se trouve-t-elle à gauche de l’objet le plus grand fait du même matériau que la table ? » en nécessite plusieurs, car la réponse combine des informations sur quatre objets. Cette capacité se situe entre la vision par ordinateur, qui fournit ces informations, et les modèles de raisonnement, qui enchaînent les inférences en texte ; elle est évaluée par les benchmarks de réponse à des questions visuelles (VQA) lorsque leurs questions dépassent la simple identification des éléments de l’image.

Les benchmarks qui définissent le raisonnement visuel#

Les tests de raisonnement visuel précèdent l’IA. Les matrices progressives de John C. Raven (1938) demandent de choisir la tuile qui complète un motif en 3 × 3, et les problèmes de Mikhail Bongard, datant de 1967, demandent de trouver la règle qui sépare six images de six autres. Les benchmarks pour les machines ont repris ces deux idées et y ont ajouté le langage :

• CLEVR : Justin Johnson et ses collègues de Stanford et de Facebook AI Research ont publié ce jeu de données de diagnostic à CVPR 2017. Il contient 100 000 scènes rendues avec des formes 3D simples et environ un million de questions générées, qui évaluent le comptage, la comparaison, les relations spatiales et la logique, tout en limitant les biais du jeu de données qui permettraient aux modèles de deviner.
• RAVEN : jeu de données de 2019 composé de matrices de type Raven générées de manière procédurale pour entraîner et tester la complétion de motifs par des machines.
• ARC : corpus d’abstraction et de raisonnement de François Chollet, publié en 2019 ; il s’agit de grilles dont il faut déduire la règle de transformation à partir de quelques exemples.
• MathVista : benchmark de 2023 consacré aux problèmes mathématiques présentés dans des graphiques, des tracés, des schémas géométriques et des photos.
• BLINK : ensemble de 2024 comprenant 14 problèmes classiques de vision, notamment la profondeur relative et la correspondance visuelle, reformulés sous forme de questions à choix multiples.

BLINK a montré à quel point les modèles multimodaux fluides restaient éloignés de la perception humaine : les personnes ont obtenu une moyenne de 95,70 %, contre 51,26 % pour GPT-4V et 45,72 % pour Gemini, soit seulement 13,17 et 7,63 points de plus qu’une réponse aléatoire ; les modèles de vision spécialisés ont beaucoup mieux résolu les mêmes problèmes.

Approches du raisonnement visuel#

Les modèles vision-langage (VLM) de bout en bout répondent directement à partir des jetons d’image, et le prompting par chaîne de pensée les amène à expliciter les étapes intermédiaires avant de répondre. o3 et o4-mini d’OpenAI, publiés en avril 2025, ont étendu cette approche au raisonnement sur des images : pendant le raisonnement, le modèle peut recadrer, zoomer et faire pivoter l’image, puis examiner à nouveau le résultat.

Les méthodes neuro-symboliques dissocient la perception du raisonnement. Les réseaux neuronaux modulaires de Jacob Andreas et ses collègues (CVPR 2016) assemblaient pour chaque question un petit réseau composé de modules réutilisables tels que « attention » et « nouvelle attention ». NS-VQA de Kexin Yi et ses collègues (NeurIPS 2018) analysait chaque scène CLEVR sous forme de tableau d’objets avec leurs attributs et positions, traduisait la question en programme et exécutait le programme sur le tableau. Cette approche, ancrée dans l’IA symbolique, atteignait une exactitude de 99,8 % avec une réponse entièrement traçable. La programmation visuelle a appliqué la même idée à de vraies photos : VisProg, lauréat du prix du meilleur article de CVPR 2023, et ViperGPT (ICCV 2023) font écrire à un grand modèle de langage (LLM) un programme Python qui appelle un modèle de détection d’objets, un modèle d’estimation de profondeur et d’autres outils de vision, puis l’exécute.

La détection et la profondeur comme entrées du raisonnement#

La profondeur relative est l’une des tâches de BLINK, et c’est exactement le type de question qu’un programme visuel délègue à un modèle spécialisé. YOLO26 fournit les deux entrées : un modèle de détection d’objets transforme la photo en boîtes étiquetées, et un modèle de profondeur monoculaire renvoie une carte de profondeur en mètres pour chaque pixel. Quelques lignes de logique suffisent alors pour répondre à « Quelqu’un est-il plus près de la caméra que le bus ? » :

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Chaque réponse peut être reliée à une boîte et à une valeur de profondeur précises, contrairement à la réponse d’un modèle de bout en bout. La même approche s’étend aux tâches de robotique et d’intelligence spatiale, où un robot doit décider quel objet saisir en premier, ainsi qu’aux flux de travail agentiques qui vérifient une scène avant d’agir.

Raisonnement visuel et termes associés#

La VQA est un format de tâche : une question sur une image appelant une réponse courte. Le raisonnement visuel est la capacité à effectuer plusieurs étapes, nécessaire pour répondre aux questions VQA les plus difficiles. L’IA multimodale englobe tout modèle combinant plusieurs types de données, qu’il raisonne ou non. Le raisonnement spatial est le sous-domaine qui porte sur les positions, les distances et l’orientation ; ses questions les plus simples ne nécessitent aucun modèle de langage. Les questions sur la profondeur relative de BLINK demandent quel point parmi deux points indiqués est le plus proche de la caméra ; une carte de profondeur permet d’y répondre en comparant deux valeurs de pixel.