Foundation Model

Un modello di base è un modello di machine learning di grandi dimensioni, addestrato su dati ampi e su larga scala, che può essere adattato a un'ampia gamma di attività successive. I ricercatori di Stanford hanno introdotto il termine nel rapporto del 2021 On the Opportunities and Risks of Foundation Models, scegliendo «foundation» per descrivere modelli centrali per molte applicazioni, ma incompleti se usati da soli. In precedenza, i modelli venivano solitamente addestrati per una singola attività su un unico dataset etichettato. Un modello di base apprende schemi generali in un'unica costosa fase di preaddestramento e diventa poi il punto di partenza per chatbot, ricerca, traduzione, classificazione delle immagini, segmentazione e molte altre applicazioni sviluppate da team che non addestrano mai direttamente un modello simile. I modelli linguistici di grandi dimensioni (LLM) come GPT, Claude, Gemini e Llama sono modelli di base, così come modelli di visione quali CLIP, DINOv3 e Segment Anything Model (SAM) di Meta.

Come funzionano i modelli di base#

Il preaddestramento usa obiettivi che non richiedono etichette umane, perciò il set di addestramento può arrivare a migliaia di miliardi di parole di testo o miliardi di immagini. I modelli linguistici apprendono prevedendo il token successivo, gli encoder di visione con metodi di apprendimento auto-supervisionato come il masked image modeling e l'auto-distillazione, mentre i modelli visione-linguaggio usano l'apprendimento contrastivo su coppie di immagini e didascalie. Quasi tutti i modelli di base usano l'architettura Transformer e le loro prestazioni migliorano in modo prevedibile al crescere di parametri, dati e potenza di calcolo, come descritto dalle leggi di scaling.

Dopo il preaddestramento, lo stesso modello viene adattato a ogni attività con uno dei diversi metodi disponibili. Il prompting lo guida con istruzioni o esempi senza eseguire addestramento, il fine-tuning o il fine-tuning efficiente in termini di parametri (PEFT) aggiorna i suoi pesi sui dati dell'attività e una piccola testa addestrata sui suoi embedding congelati lo trasforma in un classificatore o in un sistema di recupero:

Il rapporto ha evidenziato due conseguenze di questo schema. L'emergenza indica che, con l'aumentare della scala, compaiono capacità per le quali il modello non è stato addestrato direttamente, come quando GPT-3 ha imparato a svolgere nuove attività a partire da pochi esempi nel prompt. L'omogeneizzazione indica che molte applicazioni si basano ora su pochi modelli, quindi gli errori e i bias di un modello si propagano a tutto ciò che viene adattato a partire da esso. Le autorità di regolamentazione ora disciplinano direttamente questi modelli: il regolamento sull'IA dell'UE li definisce modelli di IA per finalità generali e gli obblighi per i loro fornitori sono in vigore dal 2 agosto 2025.

Modelli di base nella computer vision#

I modelli di base per la visione vengono addestrati su dati molto più ampi e diversificati rispetto ai rilevatori specifici per attività. CLIP ha appreso da 400 milioni di coppie immagine-didascalia e classifica le immagini in categorie indicate solo tramite testo: la base dell'apprendimento zero-shot nella visione. DINOv3 di Meta produce feature congelate per la stima della profondità, la segmentazione e la mappatura satellitare, grazie a un modello con 7 miliardi di parametri addestrato su 1.7 miliardi di immagini senza etichette. Gli autori hanno descritto SAM come un modello di base per la segmentazione delle immagini: è stato addestrato sul dataset SA-1B, composto da 11 milioni di immagini e 1.1 miliardi di maschere, e segmenta qualsiasi oggetto indicato da un punto o da un riquadro; SAM 3 aggiunge prompt testuali per individuare tutte le istanze di un concetto specificato. I modelli visione-linguaggio-azione estendono questo approccio alla robotica, convertendo immagini delle telecamere e istruzioni in azioni del robot.

Ultralytics Platform usa questi modelli per accelerare l'annotazione dei dati: nell'annotazione intelligente, un clic richiede a SAM 2.1, SAM 3 o SAM 3.1 la maschera di un oggetto; nei dataset di rilevamento, modelli guidati dai nomi delle classi come SAM 3.1 Text e Grounding DINO individuano ogni oggetto di una classe a partire dal suo nome. La classifica VLM confronta la precisione con cui questi modelli guidati dalle classi e i VLM generativi annotano automaticamente i dataset di rilevamento del mondo reale. SAM 2.1 di Meta è disponibile anche nel pacchetto Python di Ultralytics, dove un prompt con riquadro sostituisce qualsiasi addestramento specifico per attività:

from ultralytics import SAM

# Meta SAM 2.1, un modello di base per la segmentazione, usato così com'è, senza addestramento
model = SAM("sam2.1_b.pt")

# Un riquadro attorno all'autobus definisce l'attività; il modello restituisce la maschera dell'oggetto
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

Modelli di base e termini correlati#

• Modello linguistico di grandi dimensioni (LLM): un modello di base per il testo. I modelli di base includono anche immagini, video, audio, dati tabulari e controllo dei robot.
• IA generativa: sistemi che creano testo, immagini, audio o video. Molti si basano su modelli di base, mentre alcuni modelli di base, come DINOv3 e SAM, producono feature e maschere invece di contenuti nuovi.
• Transfer learning: tecnica che riutilizza un modello preaddestrato per una nuova attività. Un modello di base è un modello preaddestrato progettato per essere riutilizzato in questo modo su molte attività; un modello addestrato per una sola attività con un insieme fisso di etichette, come un rilevatore di oggetti COCO con 80 classi, si trasferisce soprattutto ad attività strettamente correlate.
• Modelli di IA di frontiera: i modelli fondamentali più capaci in un dato momento. Ai sensi dell'AI Act dell'UE, si presume che un modello di IA per finalità generali addestrato con più di 10²⁵ operazioni in virgola mobile presenti un rischio sistemico e sia soggetto a obblighi aggiuntivi.