Visual Reasoning

El razonamiento visual es la capacidad de un modelo de IA para llegar a una conclusión que requiere varios pasos de inferencia sobre información visual: contar objetos que cumplen una condición, comparar sus tamaños o posiciones, seguir relaciones espaciales, aplicar el sentido común físico o completar un patrón visual abstracto. Reconocer una taza requiere un único paso de percepción, mientras que responder «¿Está la taza a la izquierda del objeto más grande fabricado con el mismo material que la mesa?» requiere varios, porque la respuesta combina información sobre cuatro objetos. Esta capacidad se sitúa entre la visión artificial, que proporciona esos datos, y los modelos de razonamiento, que encadenan inferencias en texto; es lo que evalúan las pruebas de respuesta a preguntas visuales (VQA) cuando las preguntas van más allá de nombrar lo que aparece en la imagen.

Pruebas de referencia que definen el razonamiento visual#

Las pruebas de razonamiento visual son anteriores a la IA. Las Matrices Progresivas de John C. Raven (1938) piden elegir la pieza que completa un patrón de 3×3, y los problemas de Mikhail Bongard de 1967 preguntan qué regla separa seis imágenes de otras seis. Las pruebas de referencia para máquinas tomaron prestadas ambas ideas y añadieron lenguaje:

• CLEVR: Justin Johnson y sus colaboradores de Stanford y Facebook AI Research publicaron este conjunto de datos de diagnóstico en CVPR 2017, con 100.000 escenas renderizadas de formas 3D sencillas y alrededor de un millón de preguntas generadas que evalúan el recuento, la comparación, las relaciones espaciales y la lógica, a la vez que reducen al mínimo los sesgos del conjunto de datos que permiten a los modelos adivinar.
• RAVEN: Conjunto de datos de 2019 con matrices de estilo Raven generadas proceduralmente para entrenar y evaluar la compleción de patrones por máquinas.
• ARC: Corpus de abstracción y razonamiento de François Chollet de 2019: rompecabezas de cuadrículas cuya regla de transformación debe inferirse a partir de unos pocos ejemplos.
• MathVista: Prueba de referencia de 2023 con problemas matemáticos planteados en gráficos, diagramas geométricos y fotografías.
• BLINK: Conjunto de 2024 con 14 problemas clásicos de visión, entre ellos la profundidad relativa y la correspondencia visual, reformulados como preguntas de opción múltiple.

BLINK mostró lo lejos que seguían estando los modelos multimodales fluidos de la percepción humana: las personas obtuvieron una media del 95,70 %, mientras que GPT-4V logró un 51,26 % y Gemini un 45,72 %, apenas 13,17 y 7,63 puntos por encima de lo que se obtendría al azar, y los modelos de visión especializados resolvieron los mismos problemas mucho mejor.

Enfoques del razonamiento visual#

Los modelos de visión y lenguaje (VLM) de extremo a extremo responden directamente a partir de los tokens de imagen, y la generación de prompts en cadena de pensamiento hace que escriban los pasos intermedios antes de responder. o3 y o4-mini de OpenAI, publicados en abril de 2025, ampliaron este enfoque al razonamiento con imágenes: durante el razonamiento, el modelo puede recortar, ampliar y girar la imagen, y volver a examinar el resultado.

Los métodos neuro-simbólicos separan la percepción del razonamiento. Jacob Andreas y sus colaboradores (CVPR 2016) ensamblaron una pequeña red para cada pregunta a partir de módulos reutilizables como «atender» y «volver a atender». NS-VQA, de Kexin Yi y sus colaboradores (NeurIPS 2018), desglosaba cada escena CLEVR en una tabla de objetos con sus atributos y posiciones, traducía la pregunta a un programa y ejecutaba el programa en la tabla. Alcanzó un 99,8 % de exactitud con una respuesta totalmente trazable, un enfoque basado en la IA simbólica. La programación visual llevó la misma idea a fotos reales: VisProg, ganador del premio al mejor artículo de CVPR 2023, y ViperGPT (ICCV 2023) hacen que un modelo de lenguaje grande (LLM) escriba un programa en Python que llama a un modelo de detección de objetos, a uno de estimación de profundidad y a otras herramientas de visión, y luego lo ejecuta.

La detección y la profundidad como entradas para el razonamiento#

La profundidad relativa es una de las tareas de BLINK y constituye exactamente el tipo de pregunta que un programa visual delega en un modelo especializado. YOLO26 proporciona ambas entradas: un modelo de detección de objetos convierte la fotografía en recuadros con nombres, y un modelo de profundidad monocular devuelve un mapa de profundidad por píxel en metros, así que unas pocas líneas de lógica responden a «¿Hay alguien más cerca de la cámara que el autobús?»:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Cada respuesta puede rastrearse hasta un recuadro y un valor de profundidad concretos, algo que no se puede hacer con la respuesta de un modelo de extremo a extremo. El mismo patrón se amplía a tareas de robótica e inteligencia espacial, en las que un robot debe decidir a qué objeto acercarse primero, y a flujos de trabajo agénticos que comprueban una escena antes de actuar.

Razonamiento visual frente a términos relacionados#

VQA es un formato de tarea: una pregunta sobre una imagen con una respuesta breve; el razonamiento visual es la capacidad de varios pasos que requieren las preguntas VQA más difíciles. La IA multimodal abarca cualquier modelo que combine tipos de datos, razone o no. El razonamiento espacial es el subconjunto relacionado con posiciones, distancias y orientación, y sus preguntas más sencillas no necesitan ningún modelo de lenguaje: los elementos de profundidad relativa de BLINK preguntan cuál de dos puntos marcados está más cerca de la cámara, algo que se responde comparando dos valores de píxel en un mapa de profundidad.