FastVLM: Apple presenta il suo nuovo modello veloce di visione e linguaggio

Alla conferenza CVPR 2025, Apple ha presentato un nuovo modello di IA open source chiamato FastVLM. È progettato per comprendere sia le immagini sia il linguaggio e funziona su dispositivi Apple come iPhone, iPad e Mac. In questo modo può fornire rapidamente risultati intelligenti senza inviare i tuoi dati al cloud.

FastVLM è particolarmente interessante per la sua velocità ed efficienza. Apple ha sviluppato un nuovo encoder visivo chiamato FastViTHD, che aiuta il modello a interpretare immagini ad alta qualità usando meno memoria ed energia. Tutta l'elaborazione avviene localmente sul dispositivo, riducendo i tempi di risposta e tutelando la privacy degli utenti.

In questo articolo vedremo come funziona FastVLM, cosa lo distingue e perché questa novità di Apple potrebbe rappresentare un significativo passo avanti per le applicazioni di IA quotidiane sui tuoi dispositivi.

Conoscere i modelli visione-linguaggio (VLM)#

Prima di approfondire cosa rende speciale FastVLM, vediamo cosa significa «VLM» nel suo nome. Si riferisce a un modello visione-linguaggio, progettato per comprendere e collegare i contenuti visivi al linguaggio.

I VLM combinano la comprensione visiva e il linguaggio, permettendo di svolgere attività come descrivere una foto, rispondere a domande su uno screenshot o estrarre testo da un documento. I modelli visione-linguaggio funzionano in genere in due fasi: una elabora l'immagine e la converte in dati, mentre l'altra interpreta quei dati per generare una risposta che puoi leggere o ascoltare.

Potresti aver già usato questo tipo di innovazione basata sull'IA senza accorgertene. Le app che scansionano ricevute, leggono carte d'identità, generano didascalie per le immagini o aiutano le persone ipovedenti a interagire con i propri schermi spesso si affidano a modelli visione-linguaggio che lavorano silenziosamente in background.

Che cos'è FastVLM?#

Apple ha creato FastVLM per svolgere le stesse attività degli altri modelli visione-linguaggio, ma con maggiore velocità, più privacy e prestazioni ottimizzate sui propri dispositivi. Può comprendere il contenuto di un'immagine e rispondere con del testo, ma, a differenza di molti modelli che si affidano a server cloud, FastVLM può funzionare interamente sul tuo iPhone, iPad o Mac.

In generale, i VLM ottengono risultati migliori con immagini ad alta risoluzione. Per esempio, come mostrato qui sotto, FastVLM è riuscito a identificare correttamente un cartello stradale con la scritta «Do Not Enter» solo quando ha ricevuto una versione ad alta risoluzione dell'immagine. Tuttavia, gli input ad alta risoluzione tendono a rallentare i modelli. È qui che FastViTHD fa la differenza.

Fig. 1. Prestazioni di FastVLM su immagini a bassa e alta risoluzione. (Fonte)

Il nuovo encoder visivo di Apple, FastViTHD, aiuta FastVLM a elaborare immagini di alta qualità in modo più efficiente, usando meno memoria ed energia. In particolare, FastViTHD è abbastanza leggero da funzionare senza problemi anche sui dispositivi più piccoli.

Inoltre, FastVLM è disponibile pubblicamente nel repository FastVLM su GitHub, dove gli sviluppatori possono accedere al codice sorgente, modificarlo e usarlo nelle proprie app nel rispetto dei termini di licenza di Apple.

Confronto tra FastVLM e altri modelli VLM#

Rispetto ad altri modelli di visione e linguaggio, FastVLM è ottimizzato per funzionare su dispositivi di uso quotidiano come smartphone e laptop. Nei test di prestazione, FastVLM ha generato la prima parola o il primo output fino a 85 volte più rapidamente di modelli come LLaVA-OneVision-0.5B.

Fig. 2. Confronto tra le prestazioni di FastVLM e quelle di altri modelli. (Fonte)

Ecco una panoramica di alcuni dei benchmark standard su cui è stato valutato FastVLM:

• DocVQA (risposta a domande basata su documenti visivi): questo benchmark di risposta a domande visive valuta la capacità del modello di leggere e comprendere le informazioni testuali contenute nei documenti, come moduli o pagine scansionati.
• TextVQA (risposta a domande visive basata sul testo): valuta la capacità del modello di interpretare immagini che contengono testo incorporato e rispondere con precisione alle domande correlate.
• GQA: questa attività verifica le capacità di ragionamento del modello, richiedendogli di comprendere le relazioni tra gli oggetti e le scene di un'immagine.
• MMMU (comprensione multimodale multidisciplinare su larga scala): misura le prestazioni del modello in un'ampia gamma di materie e formati accademici, combinando la comprensione visiva e testuale.
• SEED-Bench: questo benchmark valuta le capacità generali del modello nella comprensione visiva e nel ragionamento in diversi ambiti.

In questi benchmark, FastVLM ha ottenuto risultati competitivi usando meno risorse. Porta l'IA visiva pratica sui dispositivi di uso quotidiano, come telefoni, tablet e laptop.

L'efficiente encoder visivo di FastVLM: FastViTHD#

Ora vediamo più da vicino FastViTHD, l'encoder visivo che svolge un ruolo fondamentale nelle prestazioni di FastVLM nell'elaborazione delle immagini.

La maggior parte dei modelli visione-linguaggio suddivide un'immagine in migliaia di piccole porzioni chiamate token. Più token ci sono, più tempo ed energia servono al modello per comprendere l'immagine. Questo può rallentare il processo, soprattutto su telefoni e laptop.

Fig. 3. Come un encoder visivo elabora un'immagine. (Fonte)

FastViTHD evita i rallentamenti dovuti all'elaborazione di troppi token usandone meno, senza rinunciare a comprendere l'intera immagine. Combina due approcci: i transformer, efficaci nel modellare schemi e relazioni, e gli strati convoluzionali, efficienti nell'elaborazione dei dati visivi. Il risultato è un sistema più veloce e che usa meno memoria.

Secondo Apple, FastViTHD è fino a 3,4 volte più piccolo di alcuni encoder visivi tradizionali, pur mantenendo un'elevata accuratezza. Invece di affidarsi a tecniche di ottimizzazione del modello come il pruning dei token (la rimozione delle porzioni meno importanti dell'immagine per accelerare l'elaborazione), ottiene efficienza grazie a un'architettura più semplice e snella.

Le varianti del modello FastVLM e la pipeline di addestramento#

Apple ha rilasciato FastVLM in tre dimensioni: 0.5B, 1.5B e 7B parametri (dove «B» sta per miliardo e indica il numero di pesi addestrabili nel modello). Ogni versione è progettata per adattarsi a tipi diversi di dispositivi. I modelli più piccoli possono funzionare su telefoni e tablet, mentre il modello 7B più grande è più adatto a computer desktop o ad attività più impegnative.

Questo offre agli sviluppatori la flessibilità di scegliere la soluzione più adatta alle proprie app. Possono creare qualcosa di veloce e leggero per dispositivi mobili o qualcosa di più complesso per sistemi più grandi, usando sempre la stessa architettura di modello di base.

Apple ha addestrato le varianti del modello FastVLM usando la pipeline LLaVA‑1.5, un framework per allineare modelli visivi e linguistici. Per la componente linguistica, ha valutato FastVLM usando modelli open source già esistenti, come Qwen e Vicuna, noti per la capacità di generare testi naturali e coerenti. Questa configurazione consente a FastVLM di elaborare immagini semplici e complesse e produrre risposte pertinenti e leggibili.

L'importanza di FastVLM: l'approccio efficiente di Apple all'IA#

Ti starai chiedendo perché sia importante che FastVLM elabori le immagini in modo efficiente. La risposta dipende dalla fluidità con cui le app possono funzionare in tempo reale senza affidarsi al cloud. FastVLM può gestire immagini ad alta risoluzione, fino a 1152 × 1152 pixel, mantenendo una velocità e un'efficienza sufficienti per funzionare direttamente sul tuo dispositivo.

Questo permette alle app di descrivere ciò che vede la fotocamera, scansionare le ricevute mentre vengono acquisite o reagire ai cambiamenti sullo schermo, mantenendo tutti i dati sul dispositivo. È particolarmente utile in ambiti come l'istruzione, l'accessibilità, la produttività e la fotografia.

Poiché FastViTHD è efficiente anche con immagini di grandi dimensioni, aiuta i dispositivi a rimanere reattivi e a non surriscaldarsi. Funziona con tutte le dimensioni del modello, compresa la più piccola, che può essere eseguita sugli iPhone di fascia base. Questo significa che le stesse funzionalità di IA possono essere disponibili su telefoni, tablet e Mac.

Applicazioni di FastVLM#

FastVLM può supportare un'ampia gamma di applicazioni grazie a vantaggi fondamentali come velocità, efficienza e privacy sul dispositivo. Ecco alcuni possibili utilizzi:

• Lettura di documenti: può scansionare ricevute, moduli o carte d'identità ed estrarre solo le informazioni pertinenti. Può concentrarsi su aree specifiche di un'immagine, una funzionalità utile per le app che richiedono un'estrazione del testo rapida e precisa.
• Didascalie per le immagini: analizzando una foto, può generare una descrizione chiara del suo contenuto. Questo supporta le funzionalità delle app per la fotocamera, delle gallerie fotografiche o di qualsiasi strumento che tragga vantaggio dalla comprensione visiva in tempo reale.
• Supporto per l'accessibilità: FastVLM può descrivere i contenuti sullo schermo alle persone cieche o ipovedenti, rendendo più facile esplorare e usare pulsanti, menu ed elementi dell'interfaccia.
• Assistenti IA sul dispositivo: FastVLM può integrarsi efficacemente con gli assistenti IA che devono comprendere rapidamente cosa appare sullo schermo. Poiché funziona direttamente sul dispositivo e mantiene privati i dati, può aiutare con attività come leggere testi, identificare pulsanti o icone e guidare gli utenti in tempo reale senza dover inviare informazioni al cloud.

Fig. 4. FastVLM può essere usato per il riconoscimento del testo e la risposta a domande visive. (Fonte)

Punti chiave#

FastVLM porta l'IA visiva basata su modelli visione-linguaggio sui dispositivi Apple, combinando velocità, privacy ed efficienza. Grazie al design leggero e al rilascio open source, consente di comprendere le immagini in tempo reale nelle app per dispositivi mobili e desktop.

Questo contribuisce a rendere l'IA più pratica e accessibile nell'uso quotidiano e offre agli sviluppatori solide basi per creare applicazioni utili e attente alla privacy. In prospettiva, è probabile che i modelli visione-linguaggio svolgano un ruolo importante nel modo in cui interagiamo con la tecnologia, rendendo l'IA più reattiva, consapevole del contesto e utile nelle situazioni di tutti i giorni.

Esplora il nostro repository GitHub per saperne di più sull'IA. Unisciti alla nostra community attiva e scopri le innovazioni in settori come l'IA nel settore automobilistico e l'IA visiva nel settore manifatturiero. Per iniziare oggi con la visione artificiale, dai un'occhiata alle nostre opzioni di licenza.