Large Vision Models (LVM)
I modelli visivi di grandi dimensioni sono reti per la visione artificiale con centinaia di milioni o miliardi di parametri, preaddestrate su enormi raccolte di immagini per svolgere molte attività.
Un modello visivo di grandi dimensioni (LVM) è una rete neurale per immagini e video con centinaia di milioni o miliardi di parametri, preaddestrata su milioni o miliardi di immagini affinché un unico modello possa svolgere molti compiti visivi. È la controparte visiva di un modello linguistico di grandi dimensioni e un tipo di modello fondazionale: il preaddestramento è per lo più auto-supervisionato o debolmente supervisionato e il modello risultante viene adattato a classificazione, rilevamento, segmentazione, profondità o recupero con pochi o nessun dato etichettato. La maggior parte degli LVM è costituita da Transformer per la visione, la cui accuratezza continua a migliorare con le dimensioni del modello e la quantità di dati, secondo le stesse leggi di scalabilità osservate nei modelli linguistici. Tra gli esempi noti figurano ViT-22B di Google con 22 miliardi di parametri, DINOv2 e DINOv3 di Meta e il Segment Anything Model di Meta.
Come si addestrano i modelli visivi di grandi dimensioni#
Le etichette non sono sufficienti per miliardi di immagini, quindi gli LVM apprendono principalmente dalle immagini stesse o da testi abbinati in modo approssimativo. DINOv2, pubblicato da Meta nel 2023, usa l'autodistillazione: addestra una rete studente a riprodurre gli output di un insegnante su ritagli diversi della stessa immagine. Il suo modello più grande ha 1,1 miliardi di parametri ed è stato addestrato su 142 milioni di immagini selezionate; nel 2025 DINOv3 ha ampliato la procedura fino a 7 miliardi di parametri e 1,7 miliardi di immagini. Gli autocodificatori mascherati seguono un altro approccio all'apprendimento auto-supervisionato: nascondono la maggior parte delle patch di un'immagine e addestrano il modello a ricostruirle. L'apprendimento contrastivo tra immagini e testo, come in CLIP e SigLIP, addestra un codificatore di immagini ad abbinare le didascalie e produce backbone visivi riutilizzati da molti modelli multimodali. Il Segment Anything Model di Meta ha appreso la segmentazione guidata da prompt dal dataset SA-1B, con 1,1 miliardi di maschere su 11 milioni di immagini.
Il modello che ha dato al termine il suo significato più letterale, LVM di Bai e colleghi della UC Berkeley e della Johns Hopkins nel 2023, converte immagini, fotogrammi video e annotazioni, come le maschere di segmentazione, in «frasi visive» composte da token discreti e si addestra su 420 miliardi di token con la previsione del token successivo, senza usare testo. In fase di test risolve i compiti tramite prompt visivi: forniti alcuni esempi di coppie di immagini di input e output, completa la sequenza con l'output di una nuova immagine.
Adattare gli LVM ai compiti#
Un LVM preaddestrato viene usato raramente così com'è. In assenza di dati etichettati, il modello opera zero-shot tramite i propri prompt, come i clic per SAM, oppure tramite embedding di immagini confrontati per il recupero e la deduplicazione. Con alcune etichette, il probing lineare addestra una piccola testa su caratteristiche congelate; è così che si valutano di solito le caratteristiche di DINOv2 e DINOv3 per la stima della profondità e la segmentazione. In alternativa, il perfezionamento aggiorna il backbone stesso. Se il modello deve essere usato su un telefono, una telecamera o un robot, l'LVM etichetta i dati o addestra un modello compatto tramite la distillazione della conoscenza.
La funzione auto_annotate di Ultralytics segue quest'ultimo approccio: abbina un rilevatore YOLO26 a SAM di Meta per convertire i riquadri rilevati in etichette di segmentazione con cui addestrare un modello di segmentazione più piccolo. SAM-b ha 93,7 milioni di parametri e YOLO26n-seg ne ha 2,7 milioni, circa 35 volte meno. Ultralytics Platform applica la stessa idea ai dataset di rilevamento, nei quali i modelli di visione basati sulle classi etichettano le immagini su cui viene poi addestrato un modello YOLO26.
LVM, VLM e modelli specifici per compito#
Un modello linguistico-visivo collega un codificatore visivo, spesso un LVM, a un modello linguistico per poter rispondere con testo a domande sulle immagini; un LVM da solo produce caratteristiche, maschere o immagini. I modelli specifici per compito, come le reti di rilevamento degli oggetti, sono addestrati per un singolo compito e un insieme fisso di classi, così da essere abbastanza piccoli e veloci per l'inferenza in tempo reale su dispositivi di IA edge. I modelli visivi di grandi dimensioni sacrificano questa efficienza in favore della versatilità: un backbone DINOv3 congelato è stato valutato su classificazione, rilevamento, segmentazione, stima della profondità e corrispondenza 3D; inoltre Meta ha addestrato una versione su immagini satellitari per compiti di analisi delle immagini satellitari, come la mappatura dell'altezza della chioma.










