Applicazioni di Segment Anything Model 2 (SAM 2) di Meta AI

Il 29 luglio 2024, Meta AI ha rilasciato la seconda versione del suo Segment Anything Model, SAM 2. Il nuovo modello è in grado di individuare i pixel appartenenti a un oggetto di riferimento sia nelle immagini sia nei video. Inoltre, può seguire in modo coerente un oggetto in tutti i fotogrammi di un video in tempo reale. SAM 2 apre possibilità interessanti per il montaggio video, le esperienze di realtà mista e l'annotazione più rapida dei dati visivi per addestrare sistemi di visione artificiale.

Sulla scia del successo del SAM originale, utilizzato in ambiti come la scienza marina, le immagini satellitari e la medicina, SAM 2 affronta sfide come gli oggetti in rapido movimento e i cambiamenti di aspetto. La maggiore precisione ed efficienza lo rendono uno strumento versatile per un'ampia gamma di applicazioni. In questo articolo ci concentreremo sugli ambiti di applicazione di SAM 2 e sulla sua importanza per la comunità dell'IA.

Che cos’è SAM 2?#

Segment Anything Model 2 è un modello fondamentale avanzato che supporta la segmentazione visiva guidata da prompt, o PVS, sia nelle immagini sia nei video. La PVS è una tecnica che consente a un modello di segmentare o identificare parti diverse di un'immagine o di un video in base a prompt o input specifici forniti dall'utente. Questi prompt possono consistere in clic, riquadri o maschere che evidenziano l'area di interesse. Il modello genera quindi una maschera di segmentazione che delimita l'area specificata.

L’architettura di SAM 2 si basa sul SAM originale e amplia la segmentazione dalle immagini ai video. Include un decodificatore di maschere leggero che usa dati delle immagini e prompt per creare maschere di segmentazione. Per i video, SAM 2 introduce un sistema di memoria che gli permette di ricordare le informazioni dei fotogrammi precedenti, garantendo un tracciamento accurato nel tempo. Il sistema di memoria comprende componenti che archiviano e richiamano i dettagli degli oggetti segmentati. SAM 2 può anche gestire le occlusioni, seguire gli oggetti attraverso più fotogrammi e affrontare prompt ambigui generando diverse maschere possibili. L’architettura avanzata di SAM 2 lo rende estremamente efficace sia negli ambienti visivi statici sia in quelli dinamici.

In particolare, per la segmentazione video, SAM 2 raggiunge una precisione maggiore con un numero di interazioni dell’utente tre volte inferiore rispetto ai metodi precedenti. Per la segmentazione delle immagini, SAM 2 supera il Segment Anything Model (SAM) originale, risultando sei volte più veloce e più preciso. Questo miglioramento è stato mostrato nel documento di ricerca su SAM 2 usando 37 dataset diversi, inclusi 23 su cui SAM era già stato testato.

Fig. 1. Confronto tra SAM e SAM 2.

È interessante notare che SAM 2 di Meta AI è stato sviluppato creando il più grande dataset di segmentazione video realizzato finora, il dataset SA-V. Questo ampio dataset include oltre 50.000 video e 35,5 milioni di maschere di segmentazione ed è stato raccolto grazie ai contributi interattivi degli utenti. Gli annotatori hanno fornito prompt e correzioni per aiutare il modello ad apprendere da un'ampia varietà di scenari e tipi di oggetti.

Applicazioni di Segment Anything Model 2#

Grazie alle sue capacità avanzate di segmentazione di immagini e video, SAM 2 può essere usato in diversi settori. Scopriamo alcune di queste applicazioni.

SAM 2 abilita la realtà aumentata (AR) e la realtà virtuale (VR)#

Il nuovo modello di segmentazione di Meta AI può essere usato per applicazioni di realtà aumentata (AR) e realtà virtuale (VR). Ad esempio, SAM 2 può identificare e segmentare con precisione gli oggetti del mondo reale, rendendo più realistica l’interazione con gli oggetti virtuali. Può essere utile in diversi ambiti, come i videogiochi, l’istruzione e la formazione, dove è essenziale un’interazione realistica tra elementi virtuali e reali.

Con il progresso dei dispositivi come gli occhiali AR, le funzionalità di SAM 2 potrebbero presto essere integrate al loro interno. Immagina di indossare gli occhiali e guardarti intorno nel soggiorno. Quando gli occhiali segmentano e rilevano la ciotola dell’acqua del tuo cane, potrebbero ricordarti di riempirla, come mostrato nell’immagine seguente. Oppure, se stai preparando una nuova ricetta, gli occhiali potrebbero identificare gli ingredienti sul piano di lavoro e fornire istruzioni e consigli passo dopo passo, migliorando la tua esperienza in cucina e assicurandoti di avere tutto il necessario a portata di mano.

Fig. 2. SAM 2 potrebbe essere presto usato negli occhiali AR.

Imaging sonarico con Segment Anything Model 2#

La ricerca che utilizza il modello SAM ha dimostrato che può essere applicato in ambiti specialistici come l'imaging sonarico. L'imaging sonarico presenta sfide specifiche dovute alla bassa risoluzione, agli elevati livelli di rumore e alle forme complesse degli oggetti nelle immagini. Mettendo a punto SAM per le immagini sonariche, i ricercatori hanno dimostrato la sua capacità di segmentare con precisione vari oggetti sottomarini, come detriti marini, formazioni geologiche e altri elementi di interesse. Un imaging sottomarino preciso e affidabile può essere utilizzato nella ricerca marina, nell'archeologia subacquea, nella gestione della pesca e nella sorveglianza per attività come la mappatura degli habitat, la scoperta di reperti e il rilevamento delle minacce.

Fig. 3. Esempio di utilizzo di SAM messo a punto per la segmentazione di immagini sonariche.

Poiché SAM 2 si basa su SAM e migliora molti degli aspetti problematici di quest'ultimo, può contribuire a migliorare ulteriormente l'analisi delle immagini sonar. Le sue capacità di segmentazione precise possono essere utili in diverse applicazioni subacquee, tra cui la ricerca scientifica e la pesca. Per esempio, SAM 2 può delineare efficacemente strutture sottomarine, rilevare detriti marini e identificare oggetti nelle immagini sonar a visione frontale, contribuendo a esplorazioni e monitoraggi subacquei più precisi ed efficienti.

Ecco i potenziali vantaggi dell'utilizzo di SAM 2 per analizzare l'imaging sonarico:

• Efficienza: riduce il tempo e l'impegno richiesti dalla segmentazione manuale, consentendo ai professionisti di concentrarsi maggiormente sull'analisi e sul processo decisionale.
• Coerenza: fornisce risultati di segmentazione coerenti e riproducibili, essenziali per la ricerca e il monitoraggio marini su larga scala.
• Versatilità: è in grado di gestire un'ampia varietà di immagini sonariche, risultando utile per diverse applicazioni nella scienza e nell'industria marina.

Integrando SAM 2 nei processi di imaging sonarico, l'industria marina può ottenere maggiore efficienza, precisione e affidabilità nell'esplorazione e nell'analisi subacquee, conseguendo infine risultati migliori nella ricerca marina.

Utilizzo di SAM 2 nei veicoli autonomi#

Un'altra applicazione di SAM 2 riguarda i veicoli autonomi. SAM 2 può identificare con precisione in tempo reale oggetti come pedoni, altri veicoli, segnali stradali e ostacoli. Il livello di dettaglio fornito da SAM 2 è essenziale per prendere decisioni sicure sulla navigazione e per evitare collisioni. Elaborando con precisione i dati visivi, SAM 2 contribuisce a creare una mappa dettagliata e affidabile dell'ambiente circostante e a migliorare il processo decisionale.

Fig. 4. Utilizzo della segmentazione per comprendere il traffico.

La capacità di SAM 2 di funzionare bene in condizioni di illuminazione diverse, con cambiamenti meteorologici e in ambienti dinamici lo rende affidabile per i veicoli autonomi. Che si tratti di una trafficata strada urbana o di un'autostrada avvolta nella nebbia, SAM 2 può identificare e segmentare gli oggetti con precisione e coerenza, così che il veicolo possa reagire correttamente alle varie situazioni.

Tuttavia, è importante tenere presenti alcune limitazioni. Con oggetti complessi e in rapido movimento, SAM 2 può talvolta non cogliere i dettagli più fini e le sue previsioni possono diventare instabili tra i vari frame. Inoltre, in scene affollate SAM 2 può talvolta confondere più oggetti dall'aspetto simile. Per questo, nelle applicazioni di guida autonoma è fondamentale integrare sensori e tecnologie aggiuntivi.

Monitoraggio ambientale con SAM 2#

Il monitoraggio ambientale tramite visione artificiale può essere complicato, soprattutto quando mancano dati annotati, ma proprio questo rende interessante l'applicazione di SAM 2. SAM 2 può essere utilizzato per seguire e analizzare i cambiamenti dei paesaggi naturali, segmentando e identificando con precisione diverse caratteristiche ambientali, come foreste, specchi d'acqua, aree urbane e terreni agricoli, a partire da immagini satellitari o acquisite da droni. In particolare, una segmentazione precisa aiuta a monitorare la deforestazione, l'urbanizzazione e i cambiamenti nell'uso del suolo nel tempo, fornendo dati preziosi per la tutela ambientale e la pianificazione.

Fig. 5. Uso di SAM 2 per il monitoraggio ambientale.

Ecco alcuni vantaggi dell'utilizzo di un modello come SAM 2 per analizzare i cambiamenti ambientali nel tempo:

• Rilevamento precoce: identifica i primi segnali di degrado ambientale, consentendo interventi tempestivi per prevenire ulteriori danni.
• Gestione delle risorse: aiuta a gestire in modo efficiente le risorse naturali, fornendo informazioni dettagliate sullo stato delle varie caratteristiche ambientali.
• Conservazione della biodiversità: aiuta a seguire la fauna selvatica e a monitorare la biodiversità, contribuendo agli sforzi di conservazione e alla tutela delle specie a rischio di estinzione.
• Risposta alle catastrofi: aiuta a valutare l'impatto di catastrofi naturali come alluvioni, incendi boschivi e uragani, consentendo una risposta rapida ed efficace e la pianificazione della ripresa.

Montaggio video con SAM 2: provalo tu stesso#

La demo di Segment Anything 2 è un ottimo modo per provare il modello su un video. Sfruttando le capacità PVS di SAM 2, abbiamo preso un vecchio video di Ultralytics su YouTube e siamo riusciti a segmentare e pixelare tre oggetti o persone nel video. Tradizionalmente, rimuovere tre persone da un video del genere richiederebbe molto tempo e sarebbe tedioso, oltre a richiedere maschere manuali frame per frame. SAM 2 semplifica questo processo. Con pochi clic nella demo, puoi proteggere in pochi secondi l'identità di tre oggetti di interesse.

Fig. 6. Prova della demo di SAM 2.

La demo consente anche di provare alcuni effetti visivi, come mettere in evidenza gli oggetti selezionati per il tracciamento e cancellare quelli tracciati. Se la demo ti è piaciuta e vuoi iniziare a innovare con SAM 2, consulta la pagina della documentazione del modello Ultralytics SAM 2 per istruzioni dettagliate su come provare il modello. Esplora le funzionalità, le procedure di installazione e gli esempi per sfruttare appieno il potenziale di SAM 2 nei tuoi progetti. Da allora Meta ha rilasciato SAM 3, che aggiunge la segmentazione dei concetti guidata da prompt testuali.

In conclusione#

Segment Anything Model 2 di Meta AI sta trasformando la segmentazione di video e immagini. Con il miglioramento di attività come il tracciamento degli oggetti, emergono nuove opportunità nel montaggio video, nella realtà mista, nella ricerca scientifica e nell'imaging medico. Semplificando attività complesse e accelerando le annotazioni, SAM 2 è destinato a diventare uno strumento importante per la comunità dell'IA. Continuando a esplorare e innovare con modelli come SAM 2, possiamo aspettarci ulteriori applicazioni e progressi in vari settori.

Scopri di più sull'IA esplorando il nostro repository GitHub e unendoti alla nostra community. Dai un'occhiata alle pagine delle nostre soluzioni per approfondimenti dettagliati sull'IA nella produzione e nella sanità.