Applicazioni del Segment Anything Model 2 (SAM 2) di Meta AI

Il 29 luglio 2024, Meta AI ha rilasciato la seconda versione del suo Segment Anything Model, SAM 2. Il nuovo modello è in grado di individuare con precisione quali pixel appartengono a un oggetto di riferimento sia nelle immagini che nei video! La parte migliore è che il modello è capace di seguire costantemente un oggetto in tutti i fotogrammi di un video in tempo reale. SAM 2 apre straordinarie possibilità per l'editing video, le esperienze di realtà mista e un'annotazione più rapida dei dati visivi per l'addestramento dei sistemi di computer vision.

Basandosi sul successo del SAM originale, utilizzato in ambiti come la scienza marina, le immagini satellitari e la medicina, SAM 2 affronta sfide come oggetti in rapido movimento e variazioni di aspetto. La sua precisione ed efficienza migliorate lo rendono uno strumento versatile per un'ampia gamma di applicazioni. In questo articolo ci concentreremo su dove SAM 2 può essere applicato e perché è importante per la community dell'IA.

Cos'è SAM 2?#

Il Segment Anything Model 2 è un advanced foundation model che supporta la segmentazione visiva basata su prompt o PVS sia nelle immagini che nei video. La PVS è una tecnica in cui un modello può segmentare o identificare diverse parti di un'immagine o di un video in base a prompt o input specifici forniti dall'utente. Questi prompt possono essere sotto forma di clic, riquadri o maschere che evidenziano l'area di interesse. Il modello genera quindi una maschera di segmentazione che delinea l'area specificata.

L'architettura di SAM 2 si basa sul SAM originale espandendosi dalla segmentazione delle immagini per includere anche la segmentazione video. È dotato di un decoder di maschere leggero che utilizza dati di immagine e prompt per creare maschere di segmentazione. Per i video, SAM 2 introduce un sistema di memoria che lo aiuta a ricordare informazioni dai fotogrammi precedenti, garantendo un tracciamento accurato nel tempo. Il sistema di memoria include componenti che archiviano e richiamano dettagli sugli oggetti che vengono segmentati. SAM 2 può anche gestire occlusioni, tracciare oggetti attraverso molteplici fotogrammi e gestire prompt ambigui generando diverse maschere possibili. L'architettura avanzata di SAM 2 lo rende estremamente capace sia in ambienti visivi statici che dinamici.

In particolare, per quanto riguarda la segmentazione video, SAM 2 raggiunge una maggiore precisione con un numero di interazioni utente tre volte inferiore rispetto ai metodi precedenti. Per la segmentazione di immagini, SAM 2 supera il Segment Anything Model (SAM) originale, risultando sei volte più veloce e accurato. Questo miglioramento è stato dimostrato nel paper di ricerca su SAM 2 su 37 dataset differenti, inclusi 23 su cui SAM era stato precedentemente testato.

Fig 1. Confronto tra SAM e SAM 2.

È interessante notare che SAM 2 di Meta AI è stato sviluppato creando il più grande dataset di segmentazione video ad oggi, il dataset SA-V. Questo vasto dataset include oltre 50.000 video e 35,5 milioni di maschere di segmentazione ed è stato raccolto tramite contributi interattivi degli utenti. I revisori hanno fornito prompt e correzioni per aiutare il modello ad apprendere da un'ampia varietà di scenari e tipi di oggetti.

Applicazioni del Segment Anything Model 2#

Grazie alle sue capacità avanzate nella segmentazione di immagini e video, SAM 2 può essere utilizzato in diversi settori. Esploriamo alcune di queste applicazioni.

SAM 2 abilita la Realtà Aumentata (AR) e la Realtà Virtuale (VR)#

Il nuovo modello di segmentazione di Meta AI può essere utilizzato per applicazioni di Realtà Aumentata (AR) e Realtà Virtuale (VR). Ad esempio, SAM 2 può identificare e segmentare con precisione oggetti del mondo reale e rendere l'interazione con oggetti virtuali più realistica. Può rivelarsi utile in vari campi come il gaming, l'istruzione e l'addestramento, dove un'interazione realistica tra elementi virtuali e reali è fondamentale.

Con dispositivi come gli occhiali AR che diventano sempre più avanzati, le capacità di SAM 2 potrebbero presto essere integrate in essi. Immagina di indossare degli occhiali e guardarti intorno nel tuo soggiorno. Quando i tuoi occhiali segmentano e notano la ciotola dell'acqua del tuo cane, potrebbero ricordarti di riempirla, come mostrato nell'immagine sottostante. Oppure, se stai cucinando una nuova ricetta, gli occhiali potrebbero identificare gli ingredienti sul piano di lavoro e fornire istruzioni passo-passo e suggerimenti, migliorando la tua esperienza culinaria e assicurandoti di avere tutti gli elementi necessari a portata di mano.

Fig 2. SAM 2 potrebbe presto essere utilizzato negli occhiali AR.

Immaginografia sonar con il Segment Anything Model 2#

La ricerca che utilizza il modello SAM ha dimostrato che può essere applicato in domini specializzati come l'imaging sonar. L'imaging sonar presenta sfide uniche a causa della sua bassa risoluzione, degli alti livelli di rumore e delle forme complesse degli oggetti all'interno delle immagini. Mettendo a punto SAM per le immagini sonar, i ricercatori ne hanno dimostrato la capacità di segmentare accuratamente vari oggetti sottomarini come detriti marini, formazioni geologiche e altri elementi di interesse. Un imaging subacqueo preciso e affidabile può essere utilizzato nella ricerca marina, nell'archeologia subacquea, nella gestione della pesca e nella sorveglianza per attività quali la mappatura degli habitat, la scoperta di reperti e il rilevamento di minacce.

Fig 3. Un esempio di utilizzo di SAM messo a punto per la segmentazione di immagini sonar.

Poiché SAM 2 si basa su molte delle sfide affrontate da SAM e le migliora, ha il potenziale per potenziare ulteriormente l'analisi dell'imaging sonar. Le sue precise capacità di segmentazione possono agevolare varie applicazioni marine, tra cui la ricerca scientifica e la pesca. Ad esempio, SAM 2 è in grado di delineare efficacemente strutture sottomarine, rilevare detriti marini e identificare oggetti nelle immagini sonar con visione frontale, contribuendo a un'esplorazione e a un monitoraggio subacqueo più accurati ed efficienti.

Ecco i potenziali vantaggi dell'utilizzo di SAM 2 per analizzare l'immaginografia sonar:

• Efficienza: Riduce il tempo e lo sforzo richiesti per la segmentazione manuale, consentendo ai professionisti di concentrarsi maggiormente sull'analisi e sul processo decisionale.
• Consistenza: Fornisce risultati di segmentazione coerenti e riproducibili, essenziali per la ricerca e il monitoraggio marini su larga scala.
• Versatilità: Capace di gestire un'ampia gamma di immagini sonar, rendendolo utile per diverse applicazioni nella scienza marina e nell'industria.

Integrando SAM 2 nei processi di immaginografia sonar, l'industria marittima può ottenere maggiore efficienza, precisione e affidabilità nell'esplorazione e nell'analisi subacquee, portando in definitiva a risultati migliori nella ricerca marina.

Utilizzo di SAM 2 nei veicoli autonomi#

Un'altra applicazione di SAM 2 è nei veicoli autonomi. SAM 2 è in grado di identificare con precisione oggetti come pedoni, altri veicoli, segnali stradali e ostacoli in tempo reale. Il livello di dettaglio che SAM 2 può fornire è essenziale per prendere decisioni di navigazione sicura ed evitare collisioni. Elaborando con precisione i dati visivi, SAM 2 contribuisce a creare una mappa dettagliata e affidabile dell'ambiente, portando a un processo decisionale migliore.

Fig 4. Utilizzo della segmentazione per comprendere il traffico.

La capacità di SAM 2 di funzionare bene in diverse condizioni di illuminazione, cambiamenti meteorologici e ambienti dinamici lo rende affidabile per i veicoli autonomi. Che si tratti di una strada urbana trafficata o di un'autostrada nebbiosa, SAM 2 può identificare e segmentare costantemente gli oggetti in modo accurato affinché il veicolo possa rispondere correttamente alle varie situazioni.

Tuttavia, ci sono alcune limitazioni da tenere a mente. Per oggetti complessi e in rapido movimento, SAM 2 a volte può perdere dettagli fini e le sue previsioni possono diventare instabili tra i fotogrammi. Inoltre, SAM 2 può talvolta confondere molteplici oggetti dall'aspetto simile in scene affollate. Queste sfide sono il motivo per cui l'integrazione di sensori e tecnologie aggiuntive è fondamentale nelle applicazioni di guida autonoma.

Monitoraggio ambientale con l'aiuto di SAM 2#

Il monitoraggio ambientale tramite computer vision può essere complesso, soprattutto in assenza di dati annotati, ma è proprio questo che lo rende un'applicazione interessante per SAM 2. SAM 2 può essere utilizzato per tracciare e analizzare i cambiamenti nei paesaggi naturali segmentando e identificando con precisione varie caratteristiche ambientali come foreste, corpi idrici, aree urbane e terreni agricoli da immagini satellitari o di droni. Nello specifico, una segmentazione precisa aiuta a monitorare la deforestazione, l'urbanizzazione e i cambiamenti nell'uso del suolo nel tempo, fornendo dati preziosi per la conservazione ambientale e la pianificazione.

Ecco alcuni dei vantaggi dell'utilizzo di un modello come SAM 2 per analizzare i cambiamenti ambientali nel tempo:

• Rilevamento precoce: Identifica i primi segni di degrado ambientale, consentendo interventi tempestivi per prevenire ulteriori danni.
• Gestione delle risorse: Assiste nella gestione efficiente delle risorse naturali fornendo approfondimenti dettagliati sullo stato di varie caratteristiche ambientali.
• Conservazione della biodiversità: Aiuta a tracciare la fauna selvatica e a monitorare la biodiversità, contribuendo agli sforzi di conservazione e alla protezione delle specie in pericolo.
• Risposta ai disastri: Aiuta a valutare l'impatto di disastri naturali come inondazioni, incendi boschivi e uragani, consentendo una risposta rapida ed efficace e una pianificazione del recupero.

Editing video con SAM 2: Provaci tu stesso#

La Segment Anything 2 Demo è un ottimo modo per provare il modello su un video. Sfruttando le capacità PVS di SAM 2, abbiamo preso un vecchio video YouTube di Ultralytics e siamo riusciti a segmentare tre oggetti o persone nel video e a renderli pixelati. Tradizionalmente, rimuovere tre persone da un video in questo modo richiederebbe molto tempo ed essere noioso, oltre a richiedere una mascherina manuale fotogramma per fotogramma. Tuttavia, SAM 2 semplifica questo processo. Con pochi clic sulla demo, puoi proteggere l'identità di tre oggetti di interesse nel giro di pochi secondi.

Fig 6. Provare la demo di SAM 2.

La demo consente anche di provare alcuni effetti visivi differenti, come mettere in evidenza gli oggetti selezionati per il tracciamento e cancellare quelli tracciati. Se la demo ti è piaciuta e sei pronto a iniziare a innovare con SAM 2, dai un'occhiata alla pagina della documentazione del modello Ultralytics SAM 2 per istruzioni dettagliate su come iniziare a usare il modello in prima persona. Esplora le funzionalità, i passaggi di installazione e gli esempi per sfruttare appieno il potenziale di SAM 2 nei tuoi progetti!

In conclusione#

Il Segment Anything Model 2 (SAM 2) di Meta AI sta trasformando la segmentazione di video e immagini. Man mano che compiti come il tracciamento degli oggetti migliorano, stiamo scoprendo nuove opportunità nell'editing video, nella realtà mista, nella ricerca scientifica e nell'imaging medico. Rendendo più semplici compiti complessi e velocizzando le annotazioni, SAM 2 è pronto a diventare uno strumento importante per la community AI. Mentre continuiamo a esplorare e innovare con modelli come SAM 2, possiamo prevedere applicazioni e progressi ancora più rivoluzionari in vari campi!

Scopri di più sull'IA esplorando il nostro repository GitHub e unendoti alla nostra community. Visita le pagine delle nostre soluzioni per approfondimenti dettagliati sull'IA nella produzione e nella sanità. 🚀