Visual Reasoning

Il ragionamento visivo è la capacità di un modello di IA di giungere a una conclusione che richiede diversi passaggi inferenziali sulle informazioni visive: contare oggetti che soddisfano una condizione, confrontarne dimensioni o posizioni, seguire relazioni spaziali, applicare il buon senso fisico o completare uno schema visivo astratto. Riconoscere una tazza richiede un solo passaggio percettivo; rispondere «La tazza si trova alla sinistra dell'oggetto più grande fatto dello stesso materiale del tavolo?» ne richiede diversi, perché la risposta combina informazioni su quattro oggetti. Questa capacità si colloca tra la visione artificiale, che fornisce tali informazioni, e i modelli di ragionamento, che concatenano inferenze testuali; è ciò che valutano i benchmark di risposta a domande visive (VQA) quando le domande vanno oltre il semplice riconoscimento degli elementi nell'immagine.

I benchmark che definiscono il ragionamento visivo#

I test di ragionamento visivo precedono l'IA. Le Matrici progressive di John C. Raven (1938) chiedono alle persone di scegliere la tessera che completa uno schema 3×3, e i problemi di Mikhail Bongard del 1967 chiedono quale regola distingua sei immagini da altre sei. I benchmark per le macchine hanno ripreso entrambe le idee, aggiungendovi il linguaggio:

• CLEVR: Justin Johnson e colleghi di Stanford e Facebook AI Research hanno pubblicato questo dataset diagnostico al CVPR 2017: contiene 100.000 scene renderizzate con semplici forme 3D e circa un milione di domande generate che verificano conteggio, confronto, relazioni spaziali e logica, riducendo al minimo i bias del dataset che permettono ai modelli di tirare a indovinare.
• RAVEN: dataset del 2019 composto da matrici in stile Raven generate proceduralmente, per addestrare e testare il completamento di schemi da parte delle macchine.
• ARC: Abstraction and Reasoning Corpus del 2019 di François Chollet, una raccolta di rompicapi su griglia in cui occorre dedurre, da pochi esempi, la regola di trasformazione.
• MathVista: benchmark del 2023 con problemi matematici presentati in grafici, diagrammi geometrici e fotografie.
• BLINK: raccolta del 2024 di 14 classici problemi di visione, tra cui profondità relativa e corrispondenza visiva, riformulati come domande a scelta multipla.

BLINK ha mostrato quanto i modelli multimodali fluenti fossero ancora lontani dalla percezione umana: le persone hanno ottenuto in media il 95,70%, mentre GPT-4V ha totalizzato il 51,26% e Gemini il 45,72%, appena 13,17 e 7,63 punti sopra il risultato casuale; i modelli di visione specializzati hanno risolto gli stessi problemi molto meglio.

Approcci al ragionamento visivo#

I modelli visione-linguaggio (VLMs) end-to-end rispondono direttamente a partire dai token dell'immagine, e il prompting a catena di pensiero li induce a esplicitare i passaggi intermedi prima di rispondere. o3 e o4-mini di OpenAI, rilasciati nell'aprile 2025, hanno esteso questo approccio al ragionamento sulle immagini: durante il ragionamento, il modello può ritagliare, ingrandire e ruotare l'immagine, quindi esaminare di nuovo il risultato.

I metodi neuro-simbolici separano la percezione dal ragionamento. Jacob Andreas e i suoi colleghi hanno creato reti neurali modulari (CVPR 2016), assemblando per ogni domanda una piccola rete composta da moduli riutilizzabili come «attend» e «re-attend». NS-VQA di Kexin Yi e colleghi (NeurIPS 2018) analizzava ogni scena CLEVR in una tabella di oggetti con attributi e posizioni, traduceva la domanda in un programma ed eseguiva il programma sulla tabella; l'approccio, radicato nell'IA simbolica, raggiungeva il 99,8% di accuratezza con una risposta del tutto tracciabile. La programmazione visiva ha applicato la stessa idea alle foto reali: VisProg, vincitore del premio per il miglior articolo al CVPR 2023, e ViperGPT (ICCV 2023) fanno scrivere a un modello linguistico di grandi dimensioni (LLM) un programma Python che chiama un modello di rilevamento degli oggetti, un modello di stima della profondità e altri strumenti di visione, per poi eseguirlo.

Rilevamento e profondità come input per il ragionamento#

La profondità relativa è uno dei compiti di BLINK ed è proprio il tipo di domanda che un programma visivo delega a un modello specializzato. YOLO26 fornisce entrambi gli input: un modello di rilevamento degli oggetti trasforma la fotografia in riquadri con etichette, e un modello di profondità monoculare restituisce una mappa di profondità per pixel, espressa in metri, così bastano poche righe di logica per rispondere: «C'è qualcuno più vicino alla fotocamera dell'autobus?»:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Ogni risposta può essere ricondotta a un riquadro e a un valore di profondità specifici, cosa impossibile con la risposta di un modello end-to-end. Lo stesso schema si estende alle attività di robotica e intelligenza spaziale, in cui un robot deve decidere quale oggetto afferrare per primo, e ai flussi di lavoro agentici che controllano una scena prima di agire.

Ragionamento visivo e termini correlati#

VQA è un formato di attività: una domanda su un'immagine con una risposta breve; il ragionamento visivo è invece la capacità di ragionamento a più passaggi richiesta dalle domande VQA più difficili. L'IA multimodale comprende qualsiasi modello che combina tipi di dati, indipendentemente dalla capacità di ragionare. Il ragionamento spaziale è il sottoinsieme che riguarda posizioni, distanze e orientamento, e le domande più semplici non richiedono affatto un modello linguistico: gli esercizi sulla profondità relativa di BLINK chiedono quale di due punti contrassegnati sia più vicino alla fotocamera, una domanda a cui si risponde confrontando due valori di pixel in una mappa di profondità.