Visual Reasoning

O raciocínio visual é a capacidade de um modelo de IA chegar a uma conclusão que exige várias etapas de inferência sobre informações visuais: contar objetos que satisfazem uma condição, comparar tamanhos ou posições, seguir relações espaciais, aplicar senso comum físico ou completar um padrão visual abstrato. Reconhecer uma caneca exige uma etapa de perceção, mas responder «A caneca está à esquerda do maior objeto feito do mesmo material que a mesa?» exige várias, porque a resposta combina factos sobre quatro objetos. Essa capacidade situa-se entre a visão computacional, que fornece esses factos, e os modelos de raciocínio, que encadeiam inferências em texto; é o que os benchmarks de resposta a perguntas visuais (VQA) avaliam quando as perguntas vão além de identificar o que está na imagem.

Benchmarks que definem o raciocínio visual#

Os testes de raciocínio visual são anteriores à IA. As Matrizes Progressivas de John C. Raven (1938) pedem às pessoas que escolham a peça que completa um padrão 3×3, e os problemas de Mikhail Bongard, de 1967, perguntam qual regra separa seis imagens de outras seis. Os benchmarks de máquina aproveitaram ambas as ideias e acrescentaram linguagem:

• CLEVR: Justin Johnson e colegas da Stanford e da Facebook AI Research lançaram este conjunto de dados de diagnóstico na CVPR 2017, com 100.000 cenas renderizadas de formas 3D simples e cerca de um milhão de perguntas geradas que testam contagem, comparação, relações espaciais e lógica, minimizando os vieses do conjunto de dados que permitem aos modelos adivinhar.
• RAVEN: Conjunto de dados de 2019 com matrizes no estilo Raven geradas proceduralmente para treinar e testar a conclusão de padrões por máquinas.
• ARC: Corpus de Abstração e Raciocínio de François Chollet, de 2019: quebra-cabeças em grelha cuja regra de transformação deve ser inferida a partir de alguns exemplos.
• MathVista: Benchmark de 2023 com problemas matemáticos apresentados em gráficos, diagramas geométricos e fotografias.
• BLINK: Conjunto de 2024 com 14 problemas clássicos de visão, incluindo profundidade relativa e correspondência visual, apresentados como perguntas de escolha múltipla.

O BLINK mostrou o quanto os modelos multimodais fluentes ainda estavam distantes da perceção humana: as pessoas obtiveram uma média de 95,70%, enquanto o GPT-4V marcou 51,26% e o Gemini, 45,72% — apenas 13,17 e 7,63 pontos acima do acaso, respetivamente —, e os modelos especializados de visão resolveram os mesmos problemas muito melhor.

Abordagens ao raciocínio visual#

Os modelos de visão e linguagem (VLMs) de ponta a ponta respondem diretamente com base nos tokens da imagem, e a solicitação com cadeia de pensamento leva-os a escrever etapas intermédias antes de responder. O o3 e o o4-mini da OpenAI, lançados em abril de 2025, ampliaram esta abordagem para o raciocínio com imagens: durante o raciocínio, o modelo pode recortar, ampliar e rodar a imagem e voltar a analisar o resultado.

Os métodos neurossimbólicos separam a percepção do raciocínio. As redes neurais modulares de Jacob Andreas e colegas (CVPR 2016) montavam uma pequena rede para cada pergunta a partir de módulos reutilizáveis, como "atender" e "atender novamente". O NS-VQA de Kexin Yi e colegas (NeurIPS 2018) analisava cada cena CLEVR em uma tabela de objetos com seus atributos e posições, traduzia a pergunta em um programa e o executava na tabela, alcançando 99,8% de acurácia com uma resposta totalmente rastreável — uma abordagem fundamentada em IA simbólica. A programação visual levou a mesma ideia a fotos reais: o VisProg, vencedor do prêmio de melhor artigo da CVPR 2023, e o ViperGPT (ICCV 2023) fazem um modelo de linguagem grande (LLM) escrever um programa em Python que chama um modelo de detecção de objetos, um modelo de estimativa de profundidade e outras ferramentas de visão, e depois o executa.

Deteção e profundidade como entradas para o raciocínio#

A profundidade relativa é uma das tarefas do BLINK e é exatamente o tipo de pergunta que um programa visual delega a um modelo especializado. O YOLO26 fornece as duas entradas: um modelo de deteção de objetos transforma a fotografia em caixas identificadas, e um modelo de profundidade monocular devolve um mapa de profundidade por píxel em metros; assim, algumas linhas de lógica respondem à pergunta «Há alguém mais perto da câmara do que o autocarro?»:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Cada resposta pode ser associada a uma caixa e a um valor de profundidade específicos, ao contrário da resposta de um modelo de ponta a ponta. O mesmo padrão pode ser ampliado a tarefas de robótica e inteligência espacial, nas quais um robô tem de decidir qual objeto alcançar primeiro, e a fluxos de trabalho agênticos que verificam uma cena antes de agir.

Raciocínio visual e termos relacionados#

VQA é um formato de tarefa: uma pergunta sobre uma imagem com uma resposta curta; já o raciocínio visual é a capacidade de várias etapas exigida pelas perguntas de VQA mais difíceis. A IA multimodal abrange qualquer modelo que combine tipos de dados, quer raciocine ou não. O raciocínio espacial é a parte dedicada a posições, distâncias e orientação, e as perguntas mais simples não precisam de um modelo de linguagem: os itens de profundidade relativa do BLINK perguntam qual de dois pontos marcados está mais perto da câmara, algo que um mapa de profundidade responde comparando dois valores de píxel.