Vision Language Model (VLM)
Un modello visione-linguaggio (VLM) elabora insieme immagini e testo per generare didascalie, rispondere a domande e trovare oggetti in base al nome. Architetture ed esempi.
Un modello visione-linguaggio (VLM) è una rete neurale che elabora immagini, e spesso video, insieme al testo. A seconda della sua architettura, valuta quanto un'immagine corrisponde a una didascalia, scrive un testo relativo a un'immagine o individua gli oggetti nominati in un prompt testuale. I VLM rispondono a domande come «Quante persone aspettano alla fermata dell'autobus?», trasformano grafici e scontrini in dati strutturati e individuano oggetti descritti con parole libere. Uniscono la percezione visiva dei modelli di visione artificiale, che predicono da un elenco fisso di classi, al linguaggio aperto dei modelli linguistici di grandi dimensioni (LLMs).
Come funzionano i modelli visione-linguaggio#
Ogni VLM necessita di un encoder visivo, di solito una Vision Transformer (ViT), che converte un'immagine in embedding, e di un metodo per mettere in relazione questi embedding con il testo. Sono comuni tre architetture:
- Encoder doppi: CLIP e SigLIP codificano separatamente immagini e testo in uno spazio di embedding condiviso, addestrandosi con l'apprendimento contrastivo su centinaia di milioni o miliardi di coppie immagine-didascalia. Misurano la somiglianza invece di generare testo, il che li rende gli strumenti standard per la classificazione zero-shot e la ricerca per immagini.
- VLM generativi: un encoder visivo preaddestrato, spesso derivato da CLIP o SigLIP, alimenta un proiettore che converte gli embedding delle patch in «token visivi» nello spazio di input dell'LLM. L'LLM li legge insieme al prompt testuale e scrive la risposta. LLaVA-1.5 funziona così: il suo encoder CLIP ViT-L/14 divide un'immagine 336×336 in una griglia di patch 24×24, producendo 576 token visivi. Flamingo di DeepMind ha adottato una soluzione diversa, inserendo livelli di cross-attention in un LLM congelato, in modo che i token testuali possano prestare attenzione alle caratteristiche delle immagini.
- Rilevatori a vocabolario aperto: modelli come Grounding DINO, YOLO-World e YOLOE confrontano le regioni delle immagini con gli embedding testuali per restituire riquadri o maschere di qualsiasi oggetto nominato, un'attività chiamata grounding. Alcuni VLM generativi eseguono il grounding degli oggetti a loro volta, scrivendo le coordinate dei riquadri come testo o come token di posizione speciali.
Nell'architettura generativa, l'LLM scrive la risposta un token alla volta, prestando attenzione ai token visivi e al prompt a ogni passaggio:
I VLM generativi vengono solitamente addestrati in più fasi. Il proiettore impara innanzitutto ad allineare i token visivi agli embedding dell'LLM su coppie immagine-didascalia, mentre l'encoder e l'LLM restano congelati. L'instruction tuning visivo esegue poi il fine-tuning del modello su conversazioni relative alle immagini e il tuning delle preferenze, come RLHF, riduce le risposte che descrivono cose non presenti nell'immagine.
I rilevatori a vocabolario aperto applicano lo stesso confronto testuale al rilevamento in tempo reale. YOLOE, introdotto da ricercatori della Tsinghua University e disponibile nel pacchetto Ultralytics come YOLOE-26 sull'architettura YOLO26, converte i nomi delle classi in embedding con l'encoder testuale MobileCLIP2 di Apple e li confronta con le regioni dell'immagine, restituendo riquadri e maschere di istanza per categorie di cui non ha mai ricevuto etichette durante l'addestramento. I prompt qui sotto includono gli occhiali da sole, che non sono tra le 80 classi COCO rilevate dai modelli YOLO a insieme chiuso:
from ultralytics import YOLOE
# Carica un modello YOLOE-26 per il rilevamento e la segmentazione a vocabolario aperto
model = YOLOE("yoloe-26s-seg.pt")
# Indica le classi con parole comuni; l'encoder testuale converte ciascuna in un embedding
model.set_classes(["person", "glasses", "bus"])
# Rileva e segmenta solo le classi indicate nel prompt
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")L'elenco stampato contiene l'autobus, quattro persone e gli occhiali indossati da due di loro; modificando l'elenco di parole cambi ciò che il modello rileva, senza alcun nuovo addestramento.
Applicazioni nel mondo reale#
- Risposta a domande visive: gli strumenti di ispezione, vendita al dettaglio e assistenza interrogano un VLM su una foto, chiedendo, ad esempio, se uno scaffale è completamente rifornito o quale spia è accesa nell'immagine di un cruscotto.
- Comprensione dei documenti: i VLM leggono fatture, moduli, tabelle e grafici direttamente dalle immagini delle pagine e restituiscono campi strutturati, spesso sostituendo un passaggio separato di OCR.
- Descrizione delle immagini e accessibilità: le descrizioni generate forniscono testo alternativo per gli screen reader e metadati consultabili per le raccolte di foto.
- Robotica: i modelli visione-linguaggio-azione come RT-2 di Google DeepMind estendono un VLM affinché produca azioni per i robot, consentendo loro di seguire istruzioni come «raccogli la lattina vuota».
- Etichettatura dei dati: I rilevatori a vocabolario aperto abbozzano riquadri e maschere per nuove classi a partire da prompt testuali, offrendo agli annotatori un punto di partenza invece di un'immagine vuota. Ultralytics Platform annota automaticamente i dataset di rilevamento con questi rilevatori e con VLM generativi prima dell'addestramento di un modello YOLO26 sulle etichette.
VLM e termini correlati#
- LLM: un modello solo testuale. Molti VLM generativi sono LLM a cui è stato aggiunto un encoder visivo e ne ereditano la capacità di ragionamento, le conoscenze e la tendenza a inventare informazioni.
- IA multimodale: la categoria più ampia di modelli che combinano diversi tipi di dati. Un modello che abbina l'audio al testo o le immagini radar a quelle delle telecamere è multimodale, ma non è un VLM.
- Rilevamento degli oggetti: Un rilevatore a classi chiuse predice solo le classi su cui è stato addestrato e non accetta input testuali. I rilevatori a vocabolario aperto sono i VLM che svolgono questo compito quando le classi vengono indicate al momento dell'inferenza. La classifica VLM confronta la precisione con cui i rilevatori a vocabolario aperto e i VLM generativi rilevano gli oggetti nei dataset del mondo reale.
Limiti#
I VLM allucinano: un sistema di descrizione può menzionare una forchetta su un tavolo che ne è privo, perché il modello linguistico completa una frase probabile. Le difficoltà nel ragionamento spaziale preciso, nel contare gruppi numerosi e nel leggere testi piccoli sono altri punti deboli; inoltre, ogni immagine richiede centinaia o migliaia di token della finestra di contesto dell'LLM. Il benchmark POPE misura le allucinazioni sugli oggetti ponendo al modello domande come «C'è un'auto nell'immagine?» e selezionando casualmente gli oggetti assenti, tra quelli più frequenti nel set di dati o tra quelli che compaiono spesso insieme agli oggetti presenti.










