Vision Language Model (VLM)

Un Vision Language Model (VLM) è un tipo di intelligenza artificiale in grado di elaborare e interpretare contemporaneamente informazioni visive (immagini o video) e testuali. A differenza dei tradizionali modelli di computer vision che si concentrano unicamente sui dati dei pixel, o dei Large Language Models (LLMs) che comprendono solo il testo, i VLM colmano il divario tra queste due modalità. Allenandosi su enormi dataset contenenti coppie di immagini e testi, questi modelli imparano ad associare le caratteristiche visive ai concetti linguistici, consentendo loro di descrivere immagini, rispondere a domande su scene visive ed eseguire persino comandi in base a ciò che "vedono".

Come funzionano i Vision Language Models#

Alla base, i VLM sono costituiti tipicamente da due componenti principali: un encoder visivo e un encoder di testo. L'encoder visivo elabora le immagini per estrarre feature maps e rappresentazioni visive, mentre l'encoder di testo gestisce l'input linguistico. Questi flussi di dati distinti vengono quindi fusi utilizzando meccanismi come il cross-attention per allineare le informazioni visive e testuali in uno spazio di embedding condiviso.

I recenti progressi nel 2024 e nel 2025 si sono orientati verso architetture più unificate in cui un unico backbone Transformer gestisce entrambe le modalità. Ad esempio, modelli come Google PaliGemma 2 dimostrano quanto l'integrazione efficace di questi flussi possa migliorare le prestazioni su attività di ragionamento complesso. Questo allineamento consente al modello di comprendere il contesto, come ad esempio riconoscere che la parola "apple" si riferisce a un frutto nell'immagine di un negozio di alimentari ma a un'azienda tecnologica in un logo.

Applicazioni nel mondo reale#

La capacità di comprendere il mondo attraverso la vista e il linguaggio apre diverse applicazioni in svariati settori:

• Visual Question Answering (VQA): I VLM sono ampiamente utilizzati nella healthcare diagnostics per assistere i radiologi. Un medico potrebbe chiedere a un sistema: "C'è una frattura in questa radiografia?" e il modello analizza l'immagine medica per fornire una valutazione preliminare, riducendo gli errori diagnostici.
• Smart E-Commerce Search: Negli ambienti retail environments, i VLM consentono agli utenti di cercare prodotti utilizzando descrizioni in linguaggio naturale combinate con immagini. Un acquirente potrebbe caricare la foto dell'outfit di una celebrità e chiedere: "Trovami un vestito con questa fantasia ma in blu", e il sistema utilizza la semantic search per recuperare corrispondenze accurate.
• Automated Captioning and Accessibility: I VLM generano automaticamente alt text descrittivo per le immagini sul Web, rendendo i contenuti digitali più accessibili agli utenti con problemi di vista che si affidano agli screen reader.

Differenziare i VLM dai concetti correlati#

È utile distinguere i VLM da altre categorie di IA per comprendere il loro ruolo specifico:

• VLM vs. LLM: Un Large Language Model (come le versioni solo testo di GPT-4) elabora solo dati testuali. Sebbene possa generare storie creative o codice, non può "vedere" un immagine. Un VLM fornisce di fatto gli occhi a un LLM.
• VLM vs. Object Detection: I modelli tradizionali di object detection, come le prime versioni di YOLO, identificano dove si trovano gli oggetti e a quale classe appartengono (ad esempio, "Auto: 99%"). Un VLM si spinge oltre comprendendo le relazioni e gli attributi, come "un'auto sportiva rossa parcheggiata accanto a una bocca di incendio".
• VLM vs. Multimodal AI: Il Multimodal AI è un termine ombrello più ampio. Sebbene tutti i VLM siano multimodali (poiché combinano visione e linguaggio), non tutti i modelli multimodali sono VLM; alcuni potrebbero combinare audio e testo (come lo speech-to-text) o video e dati da sensori senza una componente linguistica.

Open-Vocabulary Detection con YOLO#

I moderni VLM consentono il rilevamento a "vocabolo aperto" (open-vocabulary), in cui è possibile rilevare oggetti utilizzando prompt di testo a forma libera anziché classi predefinite. Questa è una caratteristica chiave di modelli come Ultralytics YOLO-World, che consente definizioni di classi dinamiche senza necessità di riaddestramento.

Il seguente esempio dimostra come utilizzare il pacchetto ultralytics per rilevare oggetti specifici descritti tramite testo:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Sfide e direzioni future#

Sebbene potenti, i Vision Language Models affrontano sfide significative. Un problema importante è l'hallucination, in cui il modello descrive con sicurezza oggetti o testo in un'immagine che semplicemente non sono presenti. I ricercatori stanno lavorando attivamente su tecniche come il Reinforcement Learning from Human Feedback (RLHF) per migliorare il grounding e l'accuratezza.

Un'altra sfida è rappresentata dal costo computazionale. L'addestramento di questi massicci modelli richiede notevoli GPU resources. Tuttavia, il rilascio di architetture efficienti come Ultralytics YOLO26 sta contribuendo a portare funzionalità di visione avanzate sui dispositivi edge. Andando avanti, ci aspettiamo di vedere i VLM svolgere un ruolo cruciale nei robotic agents, consentendo ai robot di navigare e manipolare oggetti sulla base di comandi verbali complessi.

Per chi fosse interessato ai fondamenti teorici, il CLIP paper by OpenAI originale offre un'eccellente panoramica del pre-addestramento contrastivo lingua-immagine. Inoltre, tenersi aggiornati con i CVPR conference papers è essenziale per seguire la rapida evoluzione di queste architetture. Per sperimentare l'addestramento dei tuoi modelli di visione, puoi utilizzare la Ultralytics Platform per una gestione semplificata dei dataset e il deployment dei modelli.