Grounding

Il grounding è il processo che collega parole o altri simboli agli elementi a cui si riferiscono, così che il linguaggio di un sistema di IA sia legato a prove a cui può fare riferimento. Nella visione artificiale, il grounding visivo consiste nell'individuare la regione dell'immagine o del video descritta da una frase: data la frase «l'uomo con il cappotto beige», un modello con grounding restituisce un riquadro di delimitazione o una maschera attorno a quell'uomo. Nei modelli linguistici di grandi dimensioni (LLMs), grounding significa collegare il testo generato a documenti recuperati, risultati di ricerca o output degli strumenti, così da poter ricondurre le affermazioni a una fonte. Entrambi i significati richiamano il problema del grounding dei simboli posto nel 1990 dallo scienziato cognitivo Stevan Harnad: come possano i simboli manipolati da un sistema avere un significato per quel sistema, anziché soltanto per le persone che li leggono.

Compiti di grounding visivo#

• Grounding delle frasi: individua ogni oggetto menzionato in una frase, per esempio sia «una donna» sia «il suo cane» in una didascalia.
• Comprensione delle espressioni referenziali: trova il singolo oggetto indicato da un'espressione, come «la seconda auto da sinistra». I benchmark RefCOCO, RefCOCO+ e RefCOCOg raccolgono queste espressioni per le immagini COCO; RefCOCO+ vieta parole che indicano la posizione, come «sinistra», così le espressioni devono descrivere l'aspetto.
• Rilevamento a vocabolario aperto: Individua tutte le istanze delle categorie menzionate nel testo al momento dell'inferenza, oltre l'elenco fisso di classi di un modello di rilevamento di oggetti a insieme chiuso.
• Didascalie e risposte con grounding: un modello visione-linguaggio (VLM) scrive una descrizione o una risposta e associa un riquadro a ogni oggetto menzionato.
• Grounding temporale e 3D: individua il momento di un video descritto da una frase oppure l'oggetto in una scansione 3D di una stanza.

Come funzionano i modelli di grounding#

Un modello di grounding codifica il testo e l'immagine, valuta ogni regione candidata dell'immagine rispetto a ogni frase e conserva le regioni il cui punteggio supera una soglia. L'addestramento allinea i due spazi di embedding, spesso tramite apprendimento contrastivo su coppie immagine-testo, affinché l'embedding di «zaino blu» sia vicino alle caratteristiche degli zaini blu. I modelli più avanzati fondono inoltre le modalità fin dalle prime fasi tramite cross-attention, consentendo alle parole di orientare le caratteristiche visive calcolate dalla rete.

GLIP ha riformulato il rilevamento degli oggetti come grounding di frasi, così i dati di rilevamento e grounding potevano addestrare un unico modello; Grounding DINO, ospitato da Ultralytics Platform per l'annotazione automatica, accetta nomi di categorie o espressioni referenziali e ha raggiunto 52.5 AP su COCO senza alcun dato di addestramento COCO. SAM 3 di Meta, rilasciato a novembre 2025 e ospitato sulla Platform come SAM 3 Text, segmenta e traccia ogni istanza di un breve sintagma nominale come «autobus scolastico giallo» in immagini e video. I VLM generativi eseguono il grounding scrivendo le coordinate dei riquadri come testo o come token di posizione speciali insieme alle risposte. La classifica VLM confronta la precisione con cui i rilevatori a vocabolario aperto e i VLM generativi eseguono il grounding dei nomi di classe dei dataset di rilevamento del mondo reale.

YOLOE, introdotto dai ricercatori della Tsinghua University e disponibile nel pacchetto Ultralytics come YOLOE-26 basato sull'architettura YOLO26, esegue il grounding di nomi di categorie e brevi frasi in tempo reale: un encoder testuale trasforma ogni frase in un embedding e la testa di rilevamento lo confronta con ogni regione dell'immagine:

from ultralytics import YOLOE

# Carica un modello YOLOE-26 per il rilevamento e la segmentazione a vocabolario aperto
model = YOLOE("yoloe-26s-seg.pt")

# L'encoder testuale crea un embedding per ogni frase, che diventa una classe individuabile dal modello
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Stampa ogni frase associata al grounding con il relativo riquadro in pixel (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Ogni riga stampata associa una delle frasi alla regione a cui YOLOE ha applicato il grounding; se nell'immagine non trova corrispondenze per una frase, non stampa nulla.

Applicazioni#

• Robotica: a un robot a cui viene detto «prendi la tazza rossa accanto al portatile» serve applicare il grounding della frase a un oggetto e alla sua posizione 3D prima di pianificare la presa.
• Annotazione dei dati: I rilevatori a vocabolario aperto abbozzano riquadri e maschere per nuove classi a partire da un elenco di nomi; gli annotatori li correggono invece di disegnarli da zero. Ultralytics Platform annota automaticamente i dataset di rilevamento in questo modo prima che un modello YOLO26 venga addestrato sulle etichette corrette.
• Ricerca nei video: il grounding temporale recupera, da ore di riprese, il filmato in cui «un ciclista svolta a sinistra all'incrocio».
• Accessibilità: le app di assistenza rispondono alla domanda «dov'è il cartello di uscita?» localizzando l'oggetto, non limitandosi a nominarlo.

Grounding a confronto con termini correlati#

• Didascalia delle immagini: associa un'immagine a un testo. Il grounding funziona nella direzione opposta, dal testo alle regioni dell'immagine che descrive.
• Risposta a domande visive (VQA): risponde a parole a una domanda su un'immagine. La VQA con grounding indica anche le prove a sostegno della risposta.
• Apprendimento zero-shot: riconosce classi senza esempi di addestramento. Il grounding a vocabolario aperto è un modo per ottenere questo risultato, poiché una classe descritta a parole non richiede immagini etichettate.
• IA multimodale: il campo più ampio dei modelli che combinano tipi di dati; il grounding consiste nell'allineare parole specifiche a parti specifiche dell'altra modalità.

Grounding nei modelli linguistici#

Un LLM che risponde basandosi solo sulla memoria può formulare affermazioni fluide senza fonti, una delle cause delle allucinazioni. La generazione basata su evidenze fornisce prove al momento dell'inferenza tramite generazione aumentata dal recupero (RAG), ricerche sul Web, query a database o chiamate a strumenti, e chiede al modello di rispondere sulla base di tali prove e di citarle. È possibile verificare un'affermazione alla volta in una risposta basata su evidenze confrontandola con le relative fonti; le valutazioni dei sistemi basati su evidenze misurano la fedeltà, ovvero se ogni affermazione è supportata dal testo recuperato, separatamente dalla correttezza del testo recuperato.