Capire i modelli visione-linguaggio e le loro applicazioni

In un articolo precedente, abbiamo esplorato come GPT-4o possa comprendere e descrivere le immagini a parole. Stiamo osservando questa capacità anche in altri nuovi modelli, come Google Gemini e Claude 3. Oggi approfondiamo questo concetto per spiegare come funzionano i modelli visione-linguaggio e come combinano dati visivi e testuali.

Questi modelli possono essere usati per svolgere diverse attività straordinarie, come generare didascalie dettagliate per le foto, rispondere a domande sulle immagini e persino creare nuovi contenuti visivi a partire da descrizioni testuali. Integrando informazioni visive e linguistiche, i modelli visione-linguaggio stanno cambiando il modo in cui interagiamo con la tecnologia e comprendiamo il mondo che ci circonda.

Come funzionano i modelli visione-linguaggio#

Prima di esaminare gli utilizzi dei modelli visione-linguaggio (VLMs), scopriamo cosa sono e come funzionano. I VLMs sono modelli di AI avanzati che combinano le capacità dei modelli di visione e di linguaggio per elaborare sia immagini sia testo. Questi modelli acquisiscono immagini insieme alle relative descrizioni testuali e imparano a collegarle. La componente visiva del modello coglie i dettagli delle immagini, mentre quella linguistica comprende il testo. Questa collaborazione consente ai VLMs di comprendere e analizzare sia le immagini sia il testo.

Ecco le principali capacità dei modelli visione-linguaggio:

• Didascalie delle immagini: Generazione di testo descrittivo in base al contenuto delle immagini.
• Risposta a domande visive (VQA): Rispondere a domande relative al contenuto di un'immagine.
• Generazione di immagini da testo: Creazione di immagini in base a descrizioni testuali.
• Recupero di immagini e testi: Ricerca di immagini pertinenti per una determinata query testuale e viceversa.
• Creazione di contenuti multimodali: Combinazione di immagini e testo per generare nuovi contenuti.
• Comprensione delle scene e rilevamento degli oggetti: Identificazione e categorizzazione di oggetti e dettagli all'interno di un'immagine. Sulla Ultralytics Platform, molti VLM possono annotare automaticamente dataset di rilevamento e la classifica dei VLM confronta la precisione con cui ciascun modello esegue questa operazione.

Fig. 1 Un esempio delle capacità di un modello visione-linguaggio.

Ora esploriamo le architetture VLM più comuni e le tecniche di apprendimento usate da modelli noti come CLIP, SimVLM e VisualGPT.

Apprendimento contrastivo#

L'apprendimento contrastivo è una tecnica che aiuta i modelli ad apprendere confrontando le differenze tra i punti dati. Calcola quanto sono simili o diversi gli esempi e mira a ridurre al minimo la perdita contrastiva, che misura queste differenze. È particolarmente utile nell'apprendimento semi-supervisionato, in cui un piccolo insieme di esempi etichettati guida il modello nell'etichettare nuovi dati mai visti. Per esempio, per capire che aspetto ha un gatto, il modello lo confronta con immagini di gatti simili e immagini di cani. Identificando caratteristiche come la struttura del muso, le dimensioni del corpo e il pelo, le tecniche di apprendimento contrastivo riescono a distinguere un gatto da un cane.

Fig. 2 Come funziona l'apprendimento contrastivo.

CLIP è un modello visione-linguaggio che usa l'apprendimento contrastivo per associare descrizioni testuali e immagini. Funziona in tre semplici passaggi. Per prima cosa, addestra le componenti del modello che comprendono sia il testo sia le immagini. Poi, converte le categorie di un dataset in descrizioni testuali. Infine, individua la descrizione più adatta a una determinata immagine. Grazie a questo metodo, il modello CLIP può fare previsioni accurate anche per attività per cui non è stato addestrato in modo specifico.

PrefixLM#

PrefixLM è una tecnica di elaborazione del linguaggio naturale (NLP) usata per addestrare i modelli. Parte da una porzione di frase (un prefisso) e impara a prevedere la parola successiva. Nei modelli visione-linguaggio, PrefixLM aiuta il modello a prevedere le parole successive in base a un'immagine e a una porzione di testo fornita. Usa un Transformer per la visione (ViT), che suddivide un'immagine in piccole patch, ognuna delle quali rappresenta una parte dell'immagine, ed elabora le patch in sequenza.

Fig. 3 Un esempio di addestramento di un VLM che usa la tecnica PrefixLM.

SimVLM è un VLM che usa la tecnica di apprendimento PrefixLM. Rispetto ai modelli precedenti, adotta un'architettura Transformer più semplice, ma ottiene risultati migliori in vari test. La sua architettura prevede l'apprendimento dell'associazione tra immagini e prefissi testuali mediante un encoder Transformer, per poi generare testo con un decoder Transformer.

Fusione multimodale con attenzione incrociata#

La fusione multimodale con attenzione incrociata è una tecnica che migliora la capacità di un modello visione-linguaggio preaddestrato di comprendere ed elaborare dati visivi. Si basa sull'aggiunta al modello di livelli di attenzione incrociata, che gli consentono di prestare attenzione contemporaneamente alle informazioni visive e testuali.

Ecco come funziona:

• Gli oggetti chiave di un'immagine vengono identificati ed evidenziati.
• Gli oggetti evidenziati vengono elaborati da un encoder visivo, che converte le informazioni visive in un formato comprensibile al modello.
• Le informazioni visive vengono passate a un decoder, che interpreta l'immagine usando le conoscenze del modello linguistico preaddestrato.

VisualGPT è un ottimo esempio di modello che usa questa tecnica. Include una funzionalità speciale chiamata unità di attivazione autorigenerante (SRAU), che aiuta il modello a evitare un problema comune chiamato scomparsa del gradiente. La scomparsa del gradiente può far perdere ai modelli informazioni importanti durante l'addestramento, ma SRAU mantiene elevate le prestazioni del modello.

Fig. 4 Architettura del modello VisualGPT.

Applicazioni dei modelli visione-linguaggio#

I modelli visione-linguaggio stanno avendo un impatto su numerosi settori. Dal miglioramento delle piattaforme di e-commerce a una maggiore accessibilità di Internet, le potenziali applicazioni dei VLM sono promettenti. Esploriamone alcune.

Generazione di descrizioni dei prodotti#

Quando fai acquisti online, trovi descrizioni dettagliate per ogni prodotto, ma crearle può richiedere molto tempo. I VLM semplificano questo processo automatizzando la generazione delle descrizioni. I rivenditori online possono generare direttamente descrizioni dettagliate e accurate a partire dalle immagini dei prodotti usando i modelli visione-linguaggio.

Descrizioni dei prodotti di alta qualità aiutano i motori di ricerca a individuare i prodotti in base agli attributi specifici menzionati nella descrizione. Per esempio, una descrizione che contiene "maniche lunghe" e "collo in cotone" aiuta i clienti a trovare più facilmente una "camicia di cotone a maniche lunghe". Inoltre, consente ai clienti di trovare rapidamente ciò che cercano e, di conseguenza, aumenta le vendite e la soddisfazione dei clienti.

Fig. 5 Un esempio di descrizione di un prodotto generata dall'AI.

I modelli di AI generativa, come BLIP-2, sono esempi di VLM sofisticati in grado di prevedere direttamente gli attributi dei prodotti dalle immagini. BLIP-2 usa diversi componenti per comprendere e descrivere con precisione i prodotti di e-commerce. Innanzitutto, elabora e comprende gli aspetti visivi del prodotto con un encoder di immagini. Poi, un Transformer interrogativo interpreta queste informazioni visive nel contesto di domande o attività specifiche. Infine, un modello linguistico di grandi dimensioni genera descrizioni dei prodotti dettagliate e accurate.

Rendere Internet più accessibile#

I modelli visione-linguaggio possono rendere Internet più accessibile grazie alla generazione di didascalie per le immagini, soprattutto per le persone con disabilità visive. Tradizionalmente, gli utenti devono inserire descrizioni dei contenuti visivi nei siti web e sui social media. Per esempio, quando pubblichi su Instagram, puoi aggiungere un testo alternativo per gli screen reader. I VLM, invece, possono automatizzare questo processo.

Quando un VLM vede l'immagine di un gatto seduto su un divano, può generare la didascalia "Un gatto seduto su un divano", rendendo chiara la scena agli utenti con disabilità visive. I VLM usano tecniche come il prompting few-shot, in cui imparano da pochi esempi di coppie immagine-didascalia, e il prompting chain-of-thought, che li aiuta a scomporre logicamente le scene complesse. Queste tecniche rendono le didascalie generate più coerenti e dettagliate.

Fig. 6 Uso dell'AI per generare didascalie per le immagini.

A questo scopo, la funzionalità di Google "Ottieni descrizioni delle immagini da Google" in Chrome genera automaticamente descrizioni per le immagini prive di testo alternativo. Sebbene queste descrizioni generate dall'AI possano essere meno dettagliate di quelle scritte da persone, forniscono comunque informazioni preziose.

Vantaggi e limiti dei modelli visione-linguaggio#

I modelli visione-linguaggio (VLM) offrono numerosi vantaggi combinando dati visivi e testuali. Tra i principali vantaggi:

• Migliore interazione uomo-macchina: Consenti ai sistemi di comprendere e rispondere sia agli input visivi sia a quelli testuali, migliorando assistenti virtuali, chatbot e robotica.
• Diagnostica e analisi avanzate: Assisti il settore medico analizzando immagini e generando descrizioni, fornendo ai professionisti sanitari un secondo parere e rilevando anomalie.
• Narrazione interattiva e intrattenimento: Genera narrazioni coinvolgenti combinando input visivi e testuali per migliorare le esperienze utente nei videogiochi e nella realtà virtuale.

Nonostante le loro notevoli capacità, i modelli visione-linguaggio presentano anche alcuni limiti. Ecco alcuni aspetti da tenere a mente quando si tratta di VLM:

• Elevati requisiti computazionali: L'addestramento e la distribuzione dei VLM richiedono risorse computazionali considerevoli, rendendoli costosi e meno accessibili.
• Dipendenza dai dati e distorsioni: I VLM possono produrre risultati distorti se vengono addestrati su dataset non diversificati o distorti, perpetuando stereotipi e disinformazione.
• Comprensione limitata del contesto: I VLM possono avere difficoltà a comprendere il quadro generale o il contesto e generare risultati eccessivamente semplificati o errati.

Punti chiave#

I Vision Language Model hanno un potenziale significativo in molti settori, come il commercio elettronico e l'assistenza sanitaria. Combinando dati visivi e testuali, possono promuovere l'innovazione e trasformare i settori industriali. Tuttavia, è essenziale sviluppare queste tecnologie in modo responsabile ed etico per garantire che vengano utilizzate equamente. Con la continua evoluzione dei VLM, miglioreranno attività come la ricerca basata su immagini e le tecnologie assistive.

Per continuare a scoprire l'IA, entra in contatto con la nostra community! Esplora il nostro repository GitHub per vedere come usiamo l'IA per creare soluzioni innovative in settori come la produzione e l'assistenza sanitaria.