Alla scoperta di SAM 3: il nuovo Segment Anything Model di Meta AI

Il 19 novembre 2025, Meta AI ha rilasciato Segment Anything Model 3, noto anche come SAM 3. Questa nuova versione del Segment Anything Model introduce nuovi metodi per rilevare, segmentare e tracciare oggetti in immagini e video del mondo reale usando prompt testuali, prompt visivi ed esempi di immagini.

Il modello SAM 3 si basa su SAM e SAM 2 e introduce nuovi progressi e funzionalità, come la segmentazione dei concetti, il rilevamento a vocabolario aperto e il tracciamento video in tempo reale. È in grado di comprendere brevi sintagmi nominali, seguire gli oggetti tra i fotogrammi e identificare concetti rari o dettagliati che i modelli precedenti non riuscivano a gestire con altrettanta coerenza.

Nell’ambito del rilascio di SAM 3, Meta ha presentato anche SAM 3D. Questa suite di modelli di nuova generazione ricostruisce oggetti, scene e corpi umani completi a partire da una singola immagine ed estende l’ecosistema Segment Anything alla comprensione 3D. Queste aggiunte aprono nuove possibilità applicative nella computer vision, nella robotica, nell’editing multimediale e nei flussi di lavoro creativi.

In questo articolo vedremo cos’è SAM 3, cosa lo distingue da SAM 2, come funziona il modello e quali sono le sue applicazioni nel mondo reale.

Cos’è SAM 3? Uno sguardo al Modello Segment Anything 3 di Meta#

SAM 3 è un modello di visione artificiale all’avanguardia, in grado di identificare, separare e tracciare oggetti in immagini e video sulla base di semplici istruzioni. Invece di basarsi su un elenco fisso di etichette, SAM 3 comprende il linguaggio naturale e gli indizi visivi, così puoi indicargli facilmente cosa vuoi trovare.

Per esempio, con SAM 3, puoi digitare una breve frase come «scuolabus giallo» o «gatto tigrato», fare clic su un oggetto oppure evidenziare un esempio in un'immagine. Il modello rileverà quindi tutti gli oggetti corrispondenti e genererà maschere di segmentazione nitide (contorni visivi che mostrano esattamente quali pixel appartengono a un oggetto). SAM 3 può anche seguire questi oggetti nei fotogrammi video, mantenendone il tracciamento coerente mentre si muovono.

SAM 3D consente la ricostruzione 3D da una singola immagine#

Un altro aspetto entusiasmante dell’annuncio di Meta AI è SAM 3D, che estende il progetto Segment Anything alla comprensione 3D. SAM 3D può partire da una singola immagine 2D e ricostruire la forma, la posa o la struttura di un oggetto o di un corpo umano in tre dimensioni. In altre parole, il modello può stimare come un elemento occupa lo spazio anche quando è disponibile un solo punto di vista.

SAM 3D è stato rilasciato in due modelli distinti: SAM 3D Objects, che ricostruisce oggetti di uso quotidiano con geometria e texture, e SAM 3D Body, che stima la forma e la posa del corpo umano a partire da una singola immagine. Entrambi i modelli usano l’output di segmentazione di SAM 3 e generano poi una rappresentazione 3D allineata all’aspetto e alla posizione dell’oggetto nella foto originale.

Fig. 1. Un esempio di utilizzo di SAM 3D. (Fonte: creato con il playground Segment Anything di Meta AI)

SAM 3: nuove funzionalità per unificare rilevamento, segmentazione e tracciamento#

Ecco alcuni dei principali aggiornamenti introdotti da SAM 3 per riunire rilevamento, segmentazione e tracciamento in un unico modello unificato:

• Attività di segmentazione per concetti: In SAM e SAM 2, la segmentazione degli oggetti dipendeva da prompt visivi, come clic o riquadri. SAM 3 aggiunge la possibilità di segmentare gli oggetti sulla base di una breve frase di testo o di un ritaglio di esempio dell’immagine. Il modello può così identificare tutte le istanze corrispondenti senza dover fare clic su ciascuna.
• Prompt testuali a vocabolario aperto: A differenza delle versioni precedenti, SAM 3 è in grado di interpretare brevi frasi in linguaggio naturale. In questo modo non è più necessario usare un elenco fisso di etichette e il modello può lavorare con concetti più specifici o meno comuni.
• Un solo modello per rilevamento, segmentazione e tracciamento: SAM 3 unifica rilevamento, segmentazione e tracciamento in un unico modello, eliminando la necessità di sistemi separati per trovare gli oggetti, generare maschere di segmentazione e seguirli tra i fotogrammi di un video. Questo crea un flusso di lavoro più coerente e lineare sia per le immagini sia per i video. SAM 2 offriva già alcune funzionalità di tracciamento, ma SAM 3 garantisce prestazioni nettamente superiori e più affidabili.
• Risultati più stabili nelle scene complesse: Poiché SAM 3 può combinare testo, immagini di esempio e prompt visivi, gestisce le scene affollate o ripetitive in modo più affidabile rispetto alle versioni precedenti, che si basavano solo sui clic visivi.

Fig. 2. SAM 3 introduce la segmentazione per concetti tramite testo o esempi di immagini. (Fonte)

Confronto tra SAM 3, SAM 2 e SAM 1#

Immagina di guardare un video di un safari con molti animali diversi e di voler rilevare e segmentare solo gli elefanti. Come si svolgerebbe questa attività nelle diverse versioni di SAM?

Con SAM dovresti fare clic manualmente su ogni elefante in ogni fotogramma per generare una maschera di segmentazione. Non è disponibile il tracciamento, quindi ogni nuovo fotogramma richiede nuovi clic.

Con SAM 2 potresti fare clic una volta su un elefante, ottenere la relativa maschera e lasciare che il modello segua lo stesso elefante nel video. Tuttavia, per segmentare più elefanti (oggetti specifici) dovresti comunque fare clic separatamente su ciascuno, perché SAM 2 non comprende autonomamente categorie come «elefante».

Con SAM 3, il flusso di lavoro diventa molto più semplice. Puoi digitare «elefante» oppure disegnare un riquadro di delimitazione attorno a un singolo elefante come esempio: il modello troverà automaticamente tutti gli elefanti nel video, li segmenterà e li traccerà in modo coerente tra i fotogrammi. Supporta ancora i prompt tramite clic e riquadri delle versioni precedenti, ma ora può rispondere anche a prompt testuali e immagini di esempio, cosa che SAM e SAM 2 non erano in grado di fare.

Come funziona il modello SAM 3#

Vediamo ora più da vicino come funziona il modello SAM 3 e come è stato addestrato.

Panoramica sull’architettura del modello SAM 3#

SAM 3 riunisce diversi componenti per supportare prompt basati su concetti e prompt visivi in un unico sistema. Il modello si basa sul Meta Perception Encoder, l’encoder unificato open source per immagini e testo di Meta.

Questo encoder può elaborare sia immagini sia brevi sintagmi nominali. In parole semplici, consente a SAM 3 di collegare il linguaggio e le caratteristiche visive in modo più efficace rispetto alle versioni precedenti del Modello Segment Anything.

Oltre a questo encoder, SAM 3 include un rilevatore basato sulla famiglia DETR di modelli Transformer. Il rilevatore individua gli oggetti nell’immagine e aiuta il sistema a determinare quali corrispondono al prompt dell’utente.

In particolare, per la segmentazione video, SAM 3 usa un componente di tracciamento basato sul banco di memoria e sull’encoder di memoria di SAM 2. In questo modo il modello conserva le informazioni sugli oggetti tra i fotogrammi, così da poterli riconoscere nuovamente e seguire nel tempo.

Fig. 3. Come funziona la segmentazione per concetti (Fonte: scontent)

Il motore dati scalabile alla base del Modello Segment Anything 3#

Per addestrare SAM 3, Meta aveva bisogno di molti più dati annotati di quelli attualmente disponibili su Internet. È difficile creare maschere di segmentazione e annotazioni testuali di alta qualità su larga scala, e delineare completamente ogni istanza di un concetto in immagini e video richiede tempo e costi elevati.

Per risolvere questo problema, Meta ha creato un nuovo motore dati che combina SAM 3, altri modelli di AI e annotatori umani che lavorano insieme. Il flusso di lavoro inizia con una pipeline di sistemi di AI, tra cui SAM 3 e un modello di generazione di didascalie basato su Llama.

Questi sistemi analizzano grandi raccolte di immagini e video, generano didascalie, le trasformano in etichette testuali e producono le prime proposte di maschere di segmentazione. Gli annotatori umani e quelli basati su AI esaminano poi queste proposte.

Gli annotatori basati su AI, addestrati per eguagliare o persino superare la precisione umana in attività come il controllo della qualità delle maschere e la verifica della copertura dei concetti, filtrano i casi più semplici. Gli esseri umani intervengono solo per gli esempi più difficili, che possono ancora mettere in difficoltà il modello.

Fig. 4. Motore dati di SAM 3 (Fonte)

Questo approccio aumenta notevolmente la velocità di annotazione di Meta. Affidando i casi semplici agli annotatori basati su AI, la pipeline diventa circa cinque volte più veloce con i prompt negativi e il 36% più veloce con quelli positivi nei domini a grana fine.

Questa efficienza ha permesso di ampliare il dataset fino a oltre quattro milioni di concetti unici. Il ciclo continuo di proposte dell’AI, correzioni umane e previsioni aggiornate del modello migliora inoltre la qualità delle etichette nel tempo e aiuta SAM 3 ad apprendere un insieme molto più ampio di concetti visivi e testuali.

I miglioramenti delle prestazioni di SAM 3#

Per quanto riguarda le prestazioni, SAM 3 migliora nettamente rispetto ai modelli precedenti. Sul nuovo benchmark SA-Co di Meta, che valuta il rilevamento e la segmentazione di concetti a vocabolario aperto, SAM 3 raggiunge prestazioni circa doppie rispetto ai sistemi precedenti, sia nelle immagini sia nei video.

Inoltre, eguaglia o supera SAM 2 in attività visive interattive come point-to-mask e mask-to-masklet. Meta segnala ulteriori miglioramenti in valutazioni più difficili, come LVIS zero-shot (in cui i modelli devono riconoscere categorie rare senza esempi di addestramento) e il conteggio degli oggetti (che misura se vengono rilevate tutte le istanze di un oggetto), a dimostrazione di una maggiore capacità di generalizzazione tra domini.

Oltre a questi miglioramenti in termini di accuratezza, SAM 3 è efficiente: elabora un'immagine con più di 100 oggetti rilevati in circa 30 millisecondi su una GPU H200 e mantiene velocità quasi in tempo reale quando traccia più oggetti in un video. Con i prompt testuali, SAM 3 e il più recente SAM 3.1 vengono inoltre confrontati con modelli visione-linguaggio sul rilevamento di oggetti del mondo reale nella Ultralytics VLM Leaderboard.

Applicazioni del Modello Segment Anything 3#

Ora che conosciamo meglio SAM 3, vediamo come viene usato nelle applicazioni reali, dal ragionamento avanzato guidato dal testo alla ricerca scientifica e ai prodotti di Meta.

Gestire query testuali complesse con SAM 3 Agent#

SAM 3 può essere usato anche come strumento all’interno di un modello linguistico multimodale più ampio, chiamato da Meta SAM 3 Agent. Invece di fornire a SAM 3 una breve frase come «elefante», l’agente può scomporre una domanda più complessa in prompt più piccoli che SAM 3 è in grado di comprendere.

Per esempio, se l’utente chiede «Quale oggetto nell’immagine serve a controllare e guidare un cavallo?», l’agente prova diversi sintagmi nominali, li invia a SAM 3 e verifica quali maschere hanno senso. Continua a perfezionare la ricerca finché non trova l’oggetto giusto.

Anche senza essere stato addestrato su dataset di ragionamento specifici, SAM 3 Agent ottiene buoni risultati nei benchmark progettati per query testuali complesse, come ReasonSeg e OmniLabel. Questo dimostra che SAM 3 può supportare sistemi che richiedono sia la comprensione del linguaggio sia una segmentazione visiva dettagliata.

Applicazioni scientifiche e di conservazione di SAM 3#

È interessante notare che SAM 3 è già usato in contesti di ricerca in cui sono importanti etichette visive dettagliate. Meta ha collaborato con Conservation X Labs e Osa Conservation per creare SA-FARI, un dataset pubblico per il monitoraggio della fauna selvatica con oltre 10.000 video registrati da fototrappole.

Ogni animale in ogni fotogramma è etichettato con riquadri e maschere di segmentazione, un’attività che richiederebbe moltissimo tempo se svolta a mano. Analogamente, nella ricerca oceanografica, SAM 3 viene usato insieme a FathomNet e MBARI per creare maschere di segmentazione delle istanze per le immagini subacquee e supportare nuovi benchmark di valutazione.

Questi dataset aiutano gli scienziati ad analizzare i filmati video con maggiore efficienza e a studiare animali e habitat che di solito sono difficili da monitorare su larga scala. I ricercatori possono anche usare queste risorse per creare modelli propri per l’identificazione delle specie, l’analisi del comportamento e il monitoraggio ecologico automatizzato.

Come Meta implementa SAM 3 nei propri prodotti#

Oltre agli usi nella ricerca, SAM 3 alimenta anche nuove funzionalità e modalità d’uso nei prodotti consumer di Meta. Ecco alcuni esempi di come è già stato integrato:

• Modifiche su Instagram: I creator possono applicare effetti a una persona o a un oggetto specifico in un video senza dover intervenire manualmente su ogni fotogramma.
• App Meta AI e meta.ai sul web: SAM 3 supporta nuovi strumenti per modificare, migliorare e remixare immagini e video.
• «Visualizza nella stanza» di Facebook Marketplace: SAM 3 collabora con SAM 3D per permettere alle persone di vedere in anteprima mobili o decorazioni nelle proprie case usando una sola foto.
• Occhiali per la ricerca Aria Gen 2: Il Modello Segment Anything 3 aiuta a segmentare e tracciare mani e oggetti da una prospettiva in prima persona, supportando la ricerca sulla realtà aumentata (AR), la robotica e l’AI contestuale.

Punti chiave#

SAM 3 rappresenta un importante passo avanti per la segmentazione. Introduce la segmentazione per concetti, prompt testuali a vocabolario aperto e un tracciamento migliorato. Grazie a prestazioni nettamente superiori sia nelle immagini sia nei video e all’aggiunta di SAM 3D, la suite di modelli apre nuove possibilità per la vision AI, gli strumenti creativi, la ricerca scientifica e i prodotti del mondo reale.

Unisciti alla nostra community ed esplora il nostro repository GitHub per scoprire di più sull’AI. Se vuoi creare un tuo progetto di vision AI, dai un’occhiata alle nostre opzioni di licenza. Scopri di più su applicazioni come l’AI nel settore sanitario e la Vision AI nel retail visitando le nostre pagine dedicate alle soluzioni.