Vision Language Model (VLM)

Un Vision Language Model (VLM) è un tipo di intelligenza artificiale in grado di elaborare e interpretare simultaneamente sia informazioni visive (immagini o video) che testuali. A differenza dei modelli di computer vision tradizionali che si concentrano esclusivamente sui dati dei pixel, o dei Large Language Models (LLMs) che comprendono solo il testo, i VLM colmano il divario tra queste due modalità. Addestrandosi su enormi dataset contenenti coppie immagine-testo, questi modelli imparano ad associare le caratteristiche visive ai concetti linguistici, permettendo loro di descrivere immagini, rispondere a domande su scene visive e persino eseguire comandi basati su ciò che "vedono".

Link to this sectionCome funzionano i Vision Language Models#

Fondamentalmente, i VLM sono solitamente costituiti da due componenti principali: un encoder visivo e un encoder testuale. L'encoder visivo elabora le immagini per estrarre feature maps e rappresentazioni visive, mentre l'encoder testuale gestisce l'input linguistico. Questi flussi di dati distinti vengono poi fusi utilizzando meccanismi come la cross-attention per allineare le informazioni visive e testuali in uno spazio di embedding condiviso.

I recenti progressi nel 2024 e 2025 si sono spostati verso architetture più unificate in cui un unico backbone Transformer gestisce entrambe le modalità. Ad esempio, modelli come Google PaliGemma 2 dimostrano come l'integrazione efficace di questi flussi possa migliorare le prestazioni in compiti di ragionamento complessi. Questo allineamento consente al modello di comprendere il contesto, come riconoscere che la parola "mela" si riferisce a un frutto nell'immagine di un negozio di alimentari, ma a un'azienda tecnologica in un logo.

Link to this sectionApplicazioni nel mondo reale#

La capacità di comprendere il mondo attraverso la vista e il linguaggio apre diverse applicazioni in svariati settori:

• Visual Question Answering (VQA): I VLM sono ampiamente utilizzati nella diagnostica sanitaria per assistere i radiologi. Un medico potrebbe chiedere al sistema: "È presente una frattura in questa radiografia?" e il modello analizza l'immagine medica per fornire una valutazione preliminare, riducendo gli errori diagnostici.
• Ricerca intelligente nell'e-commerce: Negli ambienti retail, i VLM consentono agli utenti di cercare prodotti utilizzando descrizioni in linguaggio naturale combinate con le immagini. Un acquirente potrebbe caricare la foto dell'outfit di una celebrità e chiedere: "Trovami un vestito con questa fantasia ma in blu", e il sistema utilizza la ricerca semantica per recuperare corrispondenze accurate.
• Didascalie automatizzate e accessibilità: I VLM generano automaticamente alt text descrittivo per le immagini sul web, rendendo i contenuti digitali più accessibili agli utenti con disabilità visive che si affidano agli screen reader.

Link to this sectionDifferenziare i VLM dai concetti correlati#

È utile distinguere i VLM da altre categorie di IA per comprendere il loro ruolo specifico:

• VLM vs. LLM: Un Large Language Model (come le versioni solo testo di GPT-4) elabora solo dati testuali. Sebbene possa generare storie creative o codice, non può "vedere" un'immagine. Un VLM fornisce effettivamente occhi a un LLM.
• VLM vs. Object Detection: I modelli tradizionali di object detection, come le prime versioni di YOLO, identificano dove si trovano gli oggetti e a quale classe appartengono (ad esempio, "Auto: 99%"). Un VLM si spinge oltre comprendendo le relazioni e gli attributi, come "una macchina sportiva rossa parcheggiata accanto a un idrante".
• VLM vs. Multimodal AI: Multimodal AI è un termine ombrello più ampio. Mentre tutti i VLM sono multimodali (combinano visione e linguaggio), non tutti i modelli multimodali sono VLM; alcuni potrebbero combinare audio e testo (come lo speech-to-text) o video e dati di sensori senza una componente linguistica.

Link to this sectionOpen-Vocabulary Detection con YOLO#

I moderni VLM abilitano il rilevamento "open-vocabulary", dove puoi rilevare oggetti utilizzando prompt testuali a forma libera anziché classi predefinite. Questa è una funzionalità chiave di modelli come Ultralytics YOLO-World, che consente definizioni di classe dinamiche senza necessità di riaddestramento.

Il seguente esempio dimostra come utilizzare il pacchetto ultralytics per rilevare oggetti specifici descritti dal testo:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionSfide e direzioni future#

Sebbene potenti, i Vision Language Models affrontano sfide significative. Un problema importante è l'allucinazione, in cui il modello descrive con sicurezza oggetti o testo in un'immagine che semplicemente non sono presenti. I ricercatori stanno lavorando attivamente su tecniche come il Reinforcement Learning from Human Feedback (RLHF) per migliorare il grounding e l'accuratezza.

Un'altra sfida è il costo computazionale. L'addestramento di questi modelli massicci richiede notevoli risorse GPU. Tuttavia, il rilascio di architetture efficienti come Ultralytics YOLO26 sta contribuendo a portare funzionalità di visione avanzate sui dispositivi edge. Guardando al futuro, ci aspettiamo che i VLM svolgano un ruolo cruciale negli agenti robotici, consentendo ai robot di navigare e manipolare oggetti basandosi su istruzioni verbali complesse.

Per chi è interessato ai fondamenti teorici, il paper CLIP originale di OpenAI fornisce un'eccellente visione sul pre-addestramento contrastivo lingua-immagine. Inoltre, rimanere aggiornati con i paper della conferenza CVPR è essenziale per seguire la rapida evoluzione di queste architetture. Per sperimentare l'addestramento dei tuoi modelli di visione, puoi utilizzare la Ultralytics Platform per la gestione semplificata dei dataset e il deployment dei modelli.