Aggiornamenti sulla ricerca sull'IA di Meta FAIR: SAM 2.1 e CoTracker3

La ricerca sull'intelligenza artificiale (AI) procede rapidamente, con nuove scoperte che si susseguono a un ritmo senza precedenti. Nelle ultime settimane, il team Fundamental AI Research (FAIR) di Meta ha presentato una serie di strumenti e modelli pensati per affrontare sfide in diversi ambiti dell'AI. Queste novità includono aggiornamenti che potrebbero influenzare settori molto diversi, come la sanità, la robotica e la realtà aumentata.

Ad esempio, il modello SAM 2.1 aggiornato migliora la segmentazione degli oggetti, facilitando l'identificazione e la separazione accurate degli oggetti in immagini e video. CoTracker3, invece, si concentra sul tracciamento dei punti, aiutando a tenere traccia dei punti nei fotogrammi video anche quando gli oggetti si muovono o vengono parzialmente nascosti.

Meta ha inoltre introdotto versioni più leggere e veloci del suo modello linguistico Llama per un uso efficiente direttamente sui dispositivi, insieme a una nuova tecnologia di rilevamento tattile per la robotica. In questo articolo analizzeremo queste ultime novità di Meta FAIR e vedremo cosa offre ciascuno strumento.

Il modello Segment Anything di Meta migliorato: SAM 2.1#

La segmentazione degli oggetti, un'attività fondamentale di visione artificiale, consente di identificare e separare oggetti distinti all'interno di un'immagine o di un video, facilitando l'analisi di specifiche aree di interesse. Dalla sua uscita, il Segment Anything Model 2 (SAM 2) di Meta è stato utilizzato per la segmentazione degli oggetti in vari campi, come l'imaging medico e la meteorologia. Sulla base dei riscontri della community, Meta ha ora introdotto SAM 2.1, una versione migliorata, progettata per affrontare alcune delle difficoltà riscontrate con il modello originale e offrire prestazioni complessivamente superiori.

Fig. 1 Benchmark delle prestazioni del modello SAM 2.1.

SAM 2.1 include aggiornamenti che permettono di gestire meglio oggetti più piccoli e visivamente simili, grazie a nuove tecniche di aumento dei dati. Migliora anche la gestione dell'occlusione (quando parti di un oggetto sono nascoste alla vista) addestrando il modello su sequenze video più lunghe, così che possa "ricordare" e riconoscere gli oggetti nel tempo, anche quando sono temporaneamente coperti. Ad esempio, se qualcuno riprende una persona che cammina dietro un albero, SAM 2.1 può tracciare la persona quando riappare dall'altra parte, usando la memoria della posizione dell'oggetto e del suo movimento per colmare le lacune quando la visuale viene interrotta per breve tempo.

Oltre a questi aggiornamenti, Meta ha rilasciato la SAM 2 Developer Suite, che offre codice di addestramento open source e un'infrastruttura completa per le demo, permettendo agli sviluppatori di perfezionare SAM 2.1 con i propri dati e integrarlo in una vasta gamma di applicazioni.

CoTracker3: il modello di tracciamento di Meta, le sue funzionalità e i suoi aggiornamenti#

Un'altra interessante attività di visione artificiale è il tracciamento dei punti. Consiste nel seguire punti o caratteristiche specifici attraverso più fotogrammi di un video. Considera il video di un ciclista che percorre una pista: il tracciamento dei punti consente al modello di seguire punti sul ciclista, come il casco o le ruote, anche se vengono nascosti per un momento da ostacoli.

Il tracciamento dei punti è essenziale per applicazioni come la ricostruzione 3D, la robotica e il montaggio video. I modelli tradizionali si basano spesso su configurazioni complesse e grandi dataset sintetici, il che ne limita l'efficacia negli scenari reali.

Il modello di tracciamento CoTracker3 di Meta affronta queste limitazioni semplificando l'architettura del modello. Introduce anche una tecnica di pseudo-etichettatura che permette al modello di apprendere da video reali non annotati, rendendo CoTracker3 più efficiente e scalabile per l'uso pratico.

Fig. 2 Confronto tra CoTracker3 e altri modelli di tracciamento.

Una delle caratteristiche che distinguono CoTracker3 è la sua capacità di gestire bene le occlusioni. Grazie all'attenzione incrociata tra tracce, una tecnica che permette al modello di condividere informazioni tra più punti tracciati, CoTracker3 può dedurre la posizione dei punti nascosti facendo riferimento a quelli visibili. Per questo, CoTracker3 è progettato per essere molto efficace in ambienti dinamici, ad esempio per seguire una persona in una scena affollata.

CoTracker3 offre anche modalità online e offline. La modalità online fornisce il tracciamento in tempo reale, mentre quella offline può essere utilizzata per un tracciamento più completo di intere sequenze video, ideale per attività come il montaggio video o l'animazione.

Altri aggiornamenti e ricerche di Meta FAIR#

SAM 2.1 e CoTracker3 mostrano i più recenti progressi di Meta nella visione artificiale, ma ci sono novità interessanti anche in altri ambiti dell'IA, come l'elaborazione del linguaggio naturale (NLP) e la robotica. Diamo un'occhiata ad alcuni degli altri sviluppi recenti di Meta FAIR.

Spirit LM di Meta: innovazioni dell'IA nei modelli linguistici e multimodali#

Spirit LM di Meta è un nuovo modello linguistico multimodale che combina funzionalità di testo e parlato, rendendo più naturali le interazioni con l'IA. A differenza dei modelli tradizionali, che gestiscono solo il testo o solo il parlato, Spirit LM può passare da una modalità all'altra.

Spirit LM può comprendere e generare il linguaggio in modo più simile a quello umano. Ad esempio, può potenziare gli assistenti virtuali, che possono ascoltare e rispondere sia a voce sia per iscritto, oppure supportare strumenti di accessibilità che convertono il parlato in testo e viceversa.

Fig. 3 Un esempio di sintesi vocale con Spirit LM di Meta.

Inoltre, Meta ha sviluppato tecniche per rendere più efficienti i modelli linguistici di grandi dimensioni. Una di queste, chiamata Layer Skip, aiuta a ridurre le esigenze di calcolo e i costi energetici attivando solo i livelli necessari per una determinata attività. È particolarmente utile per le applicazioni su dispositivi con memoria e potenza limitate.

Per fare un ulteriore passo avanti nella distribuzione di applicazioni di IA su questi dispositivi, Meta ha rilasciato anche versioni quantizzate dei suoi modelli Llama. Questi modelli sono compressi per funzionare più velocemente sui dispositivi mobili senza sacrificare la precisione.

Uno sguardo al futuro dell'ottimizzazione con Meta Lingua#

Con l'aumento delle dimensioni e della complessità dei modelli di IA, ottimizzare il processo di addestramento è diventato fondamentale. A questo scopo, Meta ha introdotto Meta Lingua, una base di codice flessibile ed efficiente che facilita l'addestramento dei modelli linguistici di grandi dimensioni. La progettazione modulare di Meta Lingua consente ai ricercatori di personalizzare e ampliare rapidamente i propri esperimenti.

I ricercatori possono dedicare meno tempo alla configurazione tecnica e più tempo alla ricerca vera e propria. La base di codice è anche leggera e facile da integrare, quindi è adatta sia a piccoli esperimenti sia a progetti su larga scala. Eliminando questi ostacoli tecnici, Meta Lingua aiuta i ricercatori a progredire più rapidamente e a testare nuove idee con maggiore facilità.

Fig. 4 Panoramica di Meta Lingua.

I progressi di Meta nella sicurezza dell'IA#

Con il progresso della tecnologia di calcolo quantistico, emergono nuove sfide per la sicurezza dei dati. A differenza dei computer di oggi, è probabile che i computer quantistici siano in grado di risolvere calcoli complessi molto più velocemente. Ciò significa che potrebbero riuscire a violare i metodi di crittografia attualmente utilizzati per proteggere le informazioni sensibili. Per questo la ricerca in questo campo sta diventando sempre più importante: sviluppare nuovi modi per proteggere i dati è essenziale mentre ci prepariamo al futuro del calcolo quantistico.

Per affrontare questa sfida, Meta ha sviluppato Salsa, uno strumento pensato per rafforzare la sicurezza crittografica post-quantistica. Salsa aiuta i ricercatori a testare attacchi basati sull'IA e a individuare potenziali vulnerabilità, permettendo loro di comprendere e affrontare meglio i punti deboli dei sistemi crittografici. Simulando scenari di attacco avanzati, Salsa fornisce informazioni preziose che possono guidare lo sviluppo di misure di sicurezza più solide e resilienti per l'era quantistica.

L'IA di Meta: le ultime innovazioni nella robotica#

Il lavoro più recente di Meta nella robotica si concentra sull'aiutare l'IA a interagire in modo più naturale con il mondo fisico, migliorando la percezione tattile, la destrezza e la collaborazione con le persone. In particolare, Meta Digit 360 è un sensore tattile avanzato che offre ai robot un senso del tatto più raffinato. I sensori aiutano i robot a rilevare dettagli come la consistenza, la pressione e persino la forma degli oggetti. Grazie a queste informazioni, i robot possono maneggiare gli oggetti con maggiore precisione, una capacità fondamentale in settori come la sanità e la produzione.

Ecco alcune delle caratteristiche principali di Meta Digit 360:

• È dotato di 18 diverse funzionalità di rilevamento, che gli consentono di acquisire un'ampia gamma di dettagli tattili.
• Il sensore rileva variazioni di pressione fino a 1 millinewton, permettendo ai robot di rispondere a texture fini e movimenti impercettibili.
• Sulla superficie del polpastrello sono presenti oltre 8 milioni di taxel (minuscoli punti di rilevamento), che forniscono una mappa ad alta risoluzione delle informazioni tattili.

Meta Digit Plexus è un'estensione di Meta Digit 360: una piattaforma che integra diversi sensori tattili in un'unica mano robotica. Questa configurazione consente ai robot di elaborare contemporaneamente informazioni tattili provenienti da più punti, in modo simile a come le mani umane raccolgono dati sensoriali.

Fig. 5 Meta Digit Plexus.

Prepararsi al prossimo capitolo dell'IA#

Gli ultimi aggiornamenti di Meta sull'IA, dai progressi nella visione artificiale con SAM 2.1 e CoTracker3 ai nuovi sviluppi nei modelli linguistici e nella robotica, mostrano come l'IA stia passando gradualmente dalla teoria a soluzioni pratiche e di grande impatto.

Questi strumenti sono progettati per rendere l'IA più adattabile e utile in diversi ambiti, aiutando in attività che vanno dalla segmentazione di immagini complesse alla comprensione del linguaggio umano, fino alla collaborazione con noi negli spazi fisici.

Dando priorità all'accessibilità e alle applicazioni reali, Meta FAIR ci avvicina a un futuro in cui l'IA può affrontare le sfide del mondo reale e migliorare concretamente la nostra vita quotidiana.

Ti interessa l'IA? Unisciti alla nostra community per ricevere gli ultimi aggiornamenti e approfondimenti e dai un'occhiata al nostro repository GitHub. Puoi anche scoprire come usare la visione artificiale in settori come le auto a guida autonoma e l'agricoltura.