Applicazioni del Segment Anything Model 2 (SAM 2) di Meta AI

Il 29 luglio 2024, Meta AI ha rilasciato la seconda versione del suo Segment Anything Model, SAM 2. Il nuovo modello può individuare esattamente quali pixel appartengono a un oggetto target sia nelle immagini che nei video! La parte migliore è che il modello è in grado di seguire un oggetto in tutti i fotogrammi di un video in tempo reale. SAM 2 apre entusiasmanti possibilità per l'editing video, le esperienze di realtà mista e un'annotazione più rapida dei dati visivi per l'addestramento di sistemi di computer vision.

Basandosi sul successo del SAM originale, che è stato utilizzato in ambiti come la scienza marina, l'immaginografia satellitare e la medicina, SAM 2 affronta sfide come oggetti in rapido movimento e cambiamenti di aspetto. La sua maggiore precisione ed efficienza lo rendono uno strumento versatile per un'ampia gamma di applicazioni. In questo articolo, ci concentreremo su dove SAM 2 può essere applicato e perché è importante per la community AI.

Link to this sectionCos'è SAM 2?#

Il Segment Anything Model 2 è un modello di base avanzato che supporta la segmentazione visiva basata su prompt o PVS sia nelle immagini che nei video. La PVS è una tecnica in cui un modello può segmentare o identificare diverse parti di un'immagine o di un video basandosi su prompt o input specifici forniti dall'utente. Questi prompt possono essere sotto forma di clic, riquadri o maschere che evidenziano l'area di interesse. Il modello genera quindi una maschera di segmentazione che delinea l'area specificata.

L'architettura di SAM 2 si basa sul SAM originale espandendosi dalla segmentazione delle immagini per includere anche la segmentazione video. È dotato di un decoder di maschere leggero che utilizza dati di immagine e prompt per creare maschere di segmentazione. Per i video, SAM 2 introduce un sistema di memoria che lo aiuta a ricordare informazioni dai fotogrammi precedenti, garantendo un tracciamento accurato nel tempo. Il sistema di memoria include componenti che archiviano e richiamano dettagli sugli oggetti che vengono segmentati. SAM 2 può anche gestire occlusioni, tracciare oggetti attraverso molteplici fotogrammi e gestire prompt ambigui generando diverse maschere possibili. L'architettura avanzata di SAM 2 lo rende estremamente capace sia in ambienti visivi statici che dinamici.

Nello specifico, per quanto riguarda la segmentazione video, SAM 2 ottiene una maggiore precisione con tre volte meno interazioni dell'utente rispetto ai metodi precedenti. Per la segmentazione delle immagini, SAM 2 supera il Segment Anything Model (SAM) originale, essendo sei volte più veloce e più preciso. Questo miglioramento è stato dimostrato nel documento di ricerca su SAM 2 su 37 dataset diversi, inclusi i 23 su cui SAM era stato precedentemente testato.

Fig 1. Confronto tra SAM e SAM 2.

È interessante notare che SAM 2 di Meta AI è stato sviluppato creando il più grande dataset di segmentazione video fino ad oggi, il dataset SA-V. L'ampio dataset include oltre 50.000 video e 35,5 milioni di maschere di segmentazione ed è stato raccolto attraverso contributi interattivi degli utenti. Gli annotatori hanno fornito prompt e correzioni per aiutare il modello ad apprendere da un'ampia varietà di scenari e tipi di oggetti.

Link to this sectionApplicazioni del Segment Anything Model 2#

Grazie alle sue capacità avanzate nella segmentazione di immagini e video, SAM 2 può essere utilizzato in diversi settori. Esploriamo alcune di queste applicazioni.

Link to this sectionSAM 2 abilita la Realtà Aumentata (AR) e la Realtà Virtuale (VR)#

Il nuovo modello di segmentazione di Meta AI può essere utilizzato per applicazioni di Realtà Aumentata (AR) e Realtà Virtuale (VR). Ad esempio, SAM 2 può identificare e segmentare con precisione oggetti del mondo reale e rendere l'interazione con oggetti virtuali più realistica. Può essere utile in vari campi come il gaming, l'istruzione e la formazione, dove un'interazione realistica tra elementi virtuali e reali è essenziale.

Con dispositivi come gli occhiali AR che diventano sempre più avanzati, le capacità di SAM 2 potrebbero presto essere integrate in essi. Immagina di indossare degli occhiali e guardarti intorno nel tuo soggiorno. Quando i tuoi occhiali segmentano e notano la ciotola dell'acqua del tuo cane, potrebbero ricordarti di riempirla, come mostrato nell'immagine sottostante. Oppure, se stai cucinando una nuova ricetta, gli occhiali potrebbero identificare gli ingredienti sul piano di lavoro e fornire istruzioni passo-passo e suggerimenti, migliorando la tua esperienza culinaria e assicurandoti di avere tutti gli elementi necessari a portata di mano.

Fig 2. SAM 2 potrebbe presto essere utilizzato negli occhiali AR.

Link to this sectionImmaginografia sonar con il Segment Anything Model 2#

La ricerca che utilizza il modello SAM ha dimostrato che può essere applicato in domini specializzati come l'immaginografia sonar. L'immaginografia sonar presenta sfide uniche a causa della sua bassa risoluzione, alti livelli di rumore e forme complesse degli oggetti all'interno delle immagini. Effettuando il fine-tuning di SAM per le immagini sonar, i ricercatori hanno dimostrato la sua capacità di segmentare accuratamente vari oggetti sottomarini come detriti marini, formazioni geologiche e altri elementi di interesse. Un'immaginografia subacquea precisa e affidabile può essere utilizzata nella ricerca marina, nell'archeologia subacquea, nella gestione della pesca e nella sorveglianza per compiti come la mappatura degli habitat, la scoperta di reperti e il rilevamento di minacce.

Fig 3. Un esempio di utilizzo di SAM con fine-tuning per la segmentazione di immagini sonar.

Poiché SAM 2 si basa su molte delle sfide che SAM affronta e le migliora, ha il potenziale per migliorare ulteriormente l'analisi dell'immaginografia sonar. Le sue precise capacità di segmentazione possono aiutare in varie applicazioni marine, tra cui la ricerca scientifica e la pesca. Ad esempio, SAM 2 può delineare efficacemente le strutture sottomarine, rilevare detriti marini e identificare oggetti nelle immagini sonar frontali, contribuendo a un'esplorazione e un monitoraggio subacquei più accurati ed efficienti.

Ecco i potenziali vantaggi dell'utilizzo di SAM 2 per analizzare l'immaginografia sonar:

• Efficienza: Riduce il tempo e lo sforzo richiesti per la segmentazione manuale, consentendo ai professionisti di concentrarsi maggiormente sull'analisi e sul processo decisionale.
• Consistenza: Fornisce risultati di segmentazione coerenti e riproducibili, essenziali per la ricerca e il monitoraggio marini su larga scala.
• Versatilità: Capace di gestire un'ampia gamma di immagini sonar, rendendolo utile per diverse applicazioni nella scienza marina e nell'industria.

Integrando SAM 2 nei processi di immaginografia sonar, l'industria marittima può ottenere maggiore efficienza, precisione e affidabilità nell'esplorazione e nell'analisi subacquee, portando in definitiva a risultati migliori nella ricerca marina.

Link to this sectionUtilizzo di SAM 2 nei veicoli autonomi#

Un'altra applicazione di SAM 2 è nei veicoli autonomi. SAM 2 può identificare con precisione oggetti come pedoni, altri veicoli, segnali stradali e ostacoli in tempo reale. Il livello di dettaglio che SAM 2 può fornire è essenziale per prendere decisioni sulla guida sicura e sull'evitamento delle collisioni. Elaborando i dati visivi con precisione, SAM 2 aiuta a creare una mappa dettagliata e affidabile dell'ambiente e porta a un miglior processo decisionale.

Fig 4. Utilizzo della segmentazione per comprendere il traffico.

La capacità di SAM 2 di funzionare bene in diverse condizioni di illuminazione, cambiamenti meteorologici e ambienti dinamici lo rende affidabile per i veicoli autonomi. Che si tratti di una strada urbana trafficata o di un'autostrada nebbiosa, SAM 2 può identificare e segmentare costantemente gli oggetti in modo accurato affinché il veicolo possa rispondere correttamente alle varie situazioni.

Tuttavia, ci sono alcune limitazioni da tenere a mente. Per oggetti complessi e in rapido movimento, SAM 2 a volte può perdere dettagli fini e le sue previsioni possono diventare instabili tra i fotogrammi. Inoltre, SAM 2 può talvolta confondere molteplici oggetti dall'aspetto simile in scene affollate. Queste sfide sono il motivo per cui l'integrazione di sensori e tecnologie aggiuntive è fondamentale nelle applicazioni di guida autonoma.

Link to this sectionMonitoraggio ambientale con l'aiuto di SAM 2#

Il monitoraggio ambientale utilizzando la computer vision può essere complesso, specialmente quando c'è una mancanza di dati annotati, ma questo è anche ciò che lo rende un'interessante applicazione per SAM 2. SAM 2 può essere utilizzato per tracciare e analizzare i cambiamenti nei paesaggi naturali segmentando e identificando accuratamente varie caratteristiche ambientali come foreste, corpi idrici, aree urbane e terre agricole da immagini satellitari o di droni. Nello specifico, una segmentazione precisa aiuta nel monitoraggio della deforestazione, dell'urbanizzazione e dei cambiamenti nell'uso del suolo nel tempo per fornire dati preziosi per la conservazione ambientale e la pianificazione.

Ecco alcuni dei vantaggi dell'utilizzo di un modello come SAM 2 per analizzare i cambiamenti ambientali nel tempo:

• Rilevamento precoce: Identifica i primi segni di degrado ambientale, consentendo interventi tempestivi per prevenire ulteriori danni.
• Gestione delle risorse: Assiste nella gestione efficiente delle risorse naturali fornendo approfondimenti dettagliati sullo stato di varie caratteristiche ambientali.
• Conservazione della biodiversità: Aiuta a tracciare la fauna selvatica e a monitorare la biodiversità, contribuendo agli sforzi di conservazione e alla protezione delle specie in pericolo.
• Risposta ai disastri: Aiuta a valutare l'impatto di disastri naturali come inondazioni, incendi boschivi e uragani, consentendo una risposta rapida ed efficace e una pianificazione del recupero.

Link to this sectionEditing video con SAM 2: Provaci tu stesso#

La Demo di Segment Anything 2 è un ottimo modo per provare il modello su un video. Utilizzando le capacità PVS di SAM 2, abbiamo preso un vecchio video YouTube di Ultralytics e siamo stati in grado di segmentare tre oggetti o persone nel video e pixelarli. Tradizionalmente, modificare tre individui fuori da un video del genere richiederebbe molto tempo, sarebbe noioso e richiederebbe una mascheratura manuale fotogramma per fotogramma. Tuttavia, SAM 2 semplifica questo processo. Con pochi clic sulla demo, puoi proteggere l'identità di tre oggetti di interesse in pochi secondi.

Fig 6. Provare la demo di SAM 2.

La demo ti consente anche di provare alcuni diversi effetti visivi, come puntare un riflettore sugli oggetti selezionati per il tracciamento e cancellare gli oggetti tracciati. Se la demo ti è piaciuta e sei pronto per iniziare a innovare con SAM 2, dai un'occhiata alla pagina della documentazione del modello SAM 2 di Ultralytics per istruzioni dettagliate su come metterti alla prova con il modello. Esplora le funzionalità, i passaggi di installazione ed esempi per sfruttare appieno il potenziale di SAM 2 nei tuoi progetti!

Link to this sectionIn conclusione#

Il Segment Anything Model 2 (SAM 2) di Meta AI sta trasformando la segmentazione di video e immagini. Man mano che compiti come il tracciamento degli oggetti migliorano, stiamo scoprendo nuove opportunità nell'editing video, nella realtà mista, nella ricerca scientifica e nell'imaging medico. Rendendo più semplici compiti complessi e velocizzando le annotazioni, SAM 2 è pronto a diventare uno strumento importante per la community AI. Mentre continuiamo a esplorare e innovare con modelli come SAM 2, possiamo prevedere applicazioni e progressi ancora più rivoluzionari in vari campi!

Scopri di più sull'AI esplorando il nostro repository GitHub e unendoti alla nostra community. Dai un'occhiata alle nostre pagine delle soluzioni per approfondimenti dettagliati sull'AI nella produzione e nell'assistenza sanitaria. 🚀