PaliGemma 2 di Google: approfondimenti sui modelli VLM avanzati

Il 5 dicembre 2024, Google ha presentato PaliGemma 2, la versione più recente del suo modello visione-linguaggio (VLM). PaliGemma 2 è progettato per gestire attività che combinano immagini e testo, come la generazione di didascalie, la risposta a domande visive e il rilevamento di oggetti nelle immagini.

Sviluppato a partire dal PaliGemma originale, già efficace nella generazione multilingue di didascalie e nel riconoscimento degli oggetti, PaliGemma 2 introduce diversi miglioramenti importanti. Tra questi ci sono modelli di dimensioni maggiori, il supporto per immagini a risoluzione più alta e prestazioni migliori nelle attività visive complesse. Questi aggiornamenti lo rendono ancora più flessibile ed efficace per un'ampia gamma di utilizzi.

In questo articolo esamineremo più da vicino PaliGemma 2, il suo funzionamento, le sue caratteristiche principali e le applicazioni in cui dà il meglio.

Da Gemma 2 a PaliGemma 2#

PaliGemma 2 si basa su due tecnologie chiave: l'encoder visivo SigLIP e il modello linguistico Gemma 2. L'encoder SigLIP elabora dati visivi, come immagini o video, e li scompone in caratteristiche che il modello può analizzare. Gemma 2, invece, elabora il testo e consente al modello di comprendere e generare contenuti multilingue. Insieme formano un VLM progettato per interpretare e mettere in relazione informazioni visive e testuali.

La scalabilità e la versatilità di PaliGemma 2 rappresentano un importante passo avanti. A differenza della versione originale, PaliGemma 2 è disponibile in tre dimensioni: 3 miliardi (3B), 10 miliardi (10B) e 28 miliardi (28B) di parametri. I parametri sono come le impostazioni interne del modello e lo aiutano ad apprendere ed elaborare i dati in modo efficace. Il modello supporta anche diverse risoluzioni delle immagini (per esempio, 224 x 224 pixel per le attività rapide e 896 x 896 per le analisi dettagliate), risultando così adattabile a varie applicazioni.

Fig. 1 Panoramica di PaliGemma 2.

L'integrazione delle avanzate capacità linguistiche di Gemma 2 con l'elaborazione delle immagini di SigLIP rende PaliGemma 2 molto più potente. Può gestire attività come:

• Generazione di didascalie per immagini o video: il modello può generare descrizioni testuali dettagliate dei contenuti visivi, risultando utile per creare didascalie automaticamente.
• Risposta a domande visive: PaliGemma 2 può rispondere a domande basate su immagini, per esempio identificando oggetti, persone o azioni in una scena.
• Riconoscimento degli oggetti: identifica e assegna etichette agli oggetti presenti in un'immagine, per esempio distinguendo un gatto, un tavolo o un'auto in una foto.

PaliGemma 2 va oltre l'elaborazione separata di immagini e testo: li mette in relazione in modi significativi. Per esempio, può comprendere le relazioni presenti in una scena, come riconoscere che «Il gatto è seduto sul tavolo», oppure identificare gli oggetti aggiungendo informazioni contestuali, come nel riconoscimento di un monumento famoso.

Come funzionano i modelli VLM PaliGemma 2 di Google#

Vediamo ora un esempio basato sul grafico mostrato nell'immagine qui sotto, per capire meglio come PaliGemma 2 elabora i dati visivi e testuali. Immagina di caricare questo grafico e chiedere al modello: «Che cosa rappresenta questo grafico?»

Fig. 2 Un esempio delle capacità di PaliGemma 2.

Il processo inizia con l'encoder visivo SigLIP di PaliGemma 2, che analizza le immagini per estrarre le caratteristiche principali. Per un grafico, ciò include l'identificazione di elementi come assi, punti dati ed etichette. L'encoder è addestrato per acquisire sia gli schemi generali sia i dettagli più fini. Usa anche il riconoscimento ottico dei caratteri (OCR) per rilevare ed elaborare il testo eventualmente incorporato nell'immagine. Queste caratteristiche visive vengono convertite in token, rappresentazioni numeriche che il modello può elaborare. I token vengono poi adattati tramite un livello di proiezione lineare, una tecnica che permette di combinarli con i dati testuali.

Contemporaneamente, il modello linguistico Gemma 2 elabora la domanda associata per determinarne il significato e l'intento. Il testo della domanda viene convertito in token, che vengono combinati con i token visivi di SigLIP per creare una rappresentazione multimodale, un formato unificato che collega i dati visivi e testuali.

Usando questa rappresentazione integrata, PaliGemma 2 genera una risposta passo dopo passo tramite la decodifica autoregressiva, un metodo in cui il modello prevede una parte della risposta alla volta sulla base del contesto già elaborato.

Le funzionalità principali di PaliGemma 2#

Ora che abbiamo visto come funziona, esploriamo le caratteristiche principali che rendono PaliGemma 2 un modello visione-linguaggio affidabile:

• Flessibilità del fine-tuning: si adatta facilmente a dataset e attività specifici, ottenendo buoni risultati in applicazioni come la generazione di didascalie per immagini, il ragionamento spaziale e l'imaging medico.
• Dati di addestramento diversificati: è addestrato su dataset come WebLI e Open Images, che gli conferiscono solide capacità di riconoscimento degli oggetti e la capacità di produrre risultati multilingue.
• Integrazione dell'OCR: include il riconoscimento ottico dei caratteri per estrarre e interpretare il testo dalle immagini, risultando ideale per l'analisi di documenti e altre attività basate sul testo.
• Output multilingue: genera didascalie e risposte in più lingue, ideale per le applicazioni globali.
• Integrazione con gli strumenti: è compatibile con framework come Hugging Face Transformers, PyTorch e Keras, consentendo una facile distribuzione e sperimentazione.

Confronto tra PaliGemma 2 e PaliGemma: quali sono i miglioramenti?#

Esaminare l'architettura della prima versione di PaliGemma è un buon modo per comprendere i miglioramenti introdotti in PaliGemma 2. Una delle modifiche più importanti è la sostituzione del modello linguistico Gemma originale con Gemma 2, che apporta miglioramenti sostanziali sia alle prestazioni sia all'efficienza.

Gemma 2, disponibile nelle dimensioni da 2B, 9B e 27B parametri, è stato progettato per offrire precisione e velocità ai vertici della categoria riducendo i costi di distribuzione. Ci riesce grazie a un'architettura riprogettata e ottimizzata per l'efficienza dell'inferenza su diverse configurazioni hardware, dalle GPU più potenti a quelle più accessibili.

Fig. 3 Uno sguardo alla prima versione di PaliGemma.

Di conseguenza, PaliGemma 2 è un modello molto preciso. La versione 10B di PaliGemma 2 raggiunge un punteggio Non-Entailment Sentence (NES) più basso, pari a 20,3, rispetto al 34,3 del modello originale, il che significa che i risultati contengono meno errori fattuali. Questi progressi rendono PaliGemma 2 più scalabile, preciso e adattabile a una gamma più ampia di applicazioni, dalla generazione di didascalie dettagliate alla risposta a domande visive. I nuovi modelli Gemma 4 di Google, come Gemma 4 26B, sono confrontati con altri modelli visione-linguaggio nel VLM Leaderboard per il rilevamento di oggetti nel mondo reale.

Applicazioni di PaliGemma 2: usi pratici dei modelli VLM#

PaliGemma 2 può essere applicato in molti settori perché combina la comprensione visiva e quella linguistica. Per esempio, in tema di accessibilità, può generare descrizioni dettagliate di oggetti, scene e relazioni spaziali, offrendo un aiuto fondamentale alle persone con disabilità visive. Questa capacità aiuta gli utenti a comprendere meglio l’ambiente circostante e a svolgere le attività quotidiane con maggiore autonomia.

Fig. 4 PaliGemma 2 può rendere il mondo più accessibile.

Oltre all'accessibilità, PaliGemma 2 sta avendo un impatto in diversi settori, tra cui:

• Commercio elettronico: il modello migliora la categorizzazione dei prodotti analizzando e descrivendo gli articoli nelle immagini, semplificando la gestione delle scorte e migliorando l'esperienza di ricerca degli utenti.
• Sanità: supporta i professionisti medici interpretando le immagini diagnostiche, come radiografie e risonanze magnetiche, insieme alle note cliniche, per fornire diagnosi più precise e informate.
• Istruzione: PaliGemma 2 aiuta gli insegnanti a creare materiali didattici descrittivi e accessibili generando didascalie e fornendo informazioni contestuali sulle immagini.
• Creazione di contenuti: Il modello automatizza la generazione di didascalie e descrizioni visive per i contenuti multimediali, facendo risparmiare tempo ai creator.

Prova PaliGemma 2#

Per provare PaliGemma 2, puoi iniziare dalla demo interattiva di Hugging Face. Ti permette di esplorare le sue capacità in attività come la generazione di didascalie per immagini e il visual question answering. Ti basta caricare un'immagine e fare domande al modello oppure chiedergli di descrivere la scena.

Fig. 5. Una demo di PaliGemma 2 (fonte: Hugging Face).

Se vuoi approfondire, ecco come puoi fare pratica:

• Modelli preaddestrati: puoi accedere ai modelli preaddestrati e al codice su piattaforme come Hugging Face e Kaggle. Queste risorse offrono tutto ciò che ti serve per iniziare a lavorare con il modello.
• Notebook: sono disponibili documentazione completa e notebook di esempio per aiutarti a familiarizzare con PaliGemma 2. Puoi iniziare dagli esempi di inferenza e sperimentare il fine-tuning del modello sul tuo dataset per attività specifiche.
• Integrazioni: PaliGemma 2 è compatibile con framework ampiamente utilizzati come Hugging Face Transformers, Keras, PyTorch, JAX e Gemma.cpp, così puoi integrarlo nei tuoi flussi di lavoro esistenti.

Vantaggi e svantaggi di PaliGemma 2 di Google#

Ora che abbiamo visto come iniziare a usare PaliGemma 2, esaminiamo più da vicino i suoi principali punti di forza e gli svantaggi da tenere presenti quando utilizzi questi modelli.

Ecco cosa distingue PaliGemma 2 come modello visione-linguaggio:

• Maggiore efficienza: grazie all'architettura ottimizzata di Gemma 2, PaliGemma 2 offre prestazioni elevate riducendo al minimo i costi di distribuzione.
• Funzionalità di sicurezza avanzate: PaliGemma 2 include importanti miglioramenti alla sicurezza nel processo di addestramento, come un filtraggio rigoroso dei dati di preaddestramento per ridurre i bias e una valutazione approfondita rispetto ai benchmark di sicurezza.
• Bassa latenza nelle configurazioni più piccole: il modello 3B offre tempi di inferenza più rapidi ed è adatto ai casi d'uso in cui la velocità è fondamentale, come le raccomandazioni di prodotti per l'e-commerce o i sistemi di assistenza in tempo reale.

Ecco invece alcuni aspetti in cui PaliGemma 2 può presentare dei limiti:

• Latenza: nonostante la loro potenza, i modelli più grandi possono avere problemi di latenza, soprattutto quando vengono distribuiti per attività che richiedono risposte immediate, come i sistemi di IA interattivi in tempo reale.
• Dipendenza da dataset di grandi dimensioni: le prestazioni di PaliGemma 2 dipendono molto dalla qualità e dalla varietà dei dataset di addestramento, il che potrebbe limitarne l'efficacia in ambiti poco rappresentati o in lingue non incluse nei dati di addestramento.
• Elevati requisiti di risorse: nonostante le ottimizzazioni, le versioni con 10B e 28B parametri richiedono una notevole potenza di calcolo e sono quindi meno accessibili alle organizzazioni più piccole con risorse limitate.

Punti chiave#

PaliGemma 2 è un interessante passo avanti nella modellazione visione-linguaggio, grazie alla maggiore scalabilità, alla flessibilità nel fine-tuning e alla precisione. Può rivelarsi uno strumento prezioso per applicazioni che spaziano dalle soluzioni per l'accessibilità e l'e-commerce alla diagnostica sanitaria e all'istruzione.

Pur presentando limiti, come i requisiti di calcolo e la dipendenza da dati di alta qualità, i suoi punti di forza lo rendono una scelta pratica per affrontare attività complesse che integrano dati visivi e testuali. PaliGemma 2 può offrire a ricercatori e sviluppatori una solida base per esplorare e ampliare il potenziale dell'IA nelle applicazioni multimodali.

Partecipa alla conversazione sull'AI visitando il nostro repository GitHub e la nostra community. Scopri come l'AI sta facendo progressi in agricoltura e sanità.