Mises à jour de la recherche en IA de Meta FAIR : SAM 2.1 et CoTracker3

L'intelligence artificielle (IA) est un domaine de recherche qui bouillonne d'enthousiasme et d'énergie ces derniers temps, avec de new innovations et des percées qui apparaissent plus rapidement que jamais. Au cours des dernières semaines, l'équipe Fundamental AI Research (FAIR) de Meta a dévoilé un ensemble d'outils et de models visant à relever des défis dans différents domaines de l'IA. Ces lancements incluent des mises à jour qui pourraient impacter des domaines aussi divers que healthcare, robotics et augmented reality.

Par exemple, le modèle mis à jour SAM 2.1 améliore le object segmentation, ce qui facilite l'identification et la séparation précises des objets dans les images et les vidéos. Pendant ce temps, CoTracker3 se concentre sur le tracking de points, aidant à suivre des points dans les images vidéo même lorsque les objets bougent ou sont partiellement masqués.

Meta a également introduit des versions plus légères et plus rapides de son Llama language model pour une on-device use efficace, ainsi qu'une nouvelle technologie de détection tactile pour la robotics. Dans cet article, nous allons passer en revue ces derniers lancements de Meta FAIR, en examinant ce que chaque outil propose. C'est parti !

Segment Anything Model amélioré de Meta : SAM 2.1#

Le Object segmentation, une computer vision task essentielle, permet d'identifier et de séparer des objets distincts au sein d'une image ou d'une vidéo, facilitant ainsi l'analyse de zones d'intérêt spécifiques. Depuis sa sortie, le Segment Anything Model 2 (SAM 2) de Meta a été utilisé pour la segmentation d'objets dans divers domaines tels que l'medical imaging et la meteorology. S'appuyant sur les retours de la communauté, Meta a maintenant introduit SAM 2.1, une version améliorée conçue pour surmonter certains des défis rencontrés avec le modèle d'origine et offrir une performance globale renforcée.

Fig 1. Évaluation des performances du modèle SAM 2.1.

SAM 2.1 inclut des mises à jour pour mieux gérer les objets visuellement similaires et plus petits, grâce à de nouvelles techniques de data augmentation. Il améliore également la façon dont le modèle gère l'occlusion (quand des parties d'un objet sont cachées à la vue) en l'entraînant sur des séquences vidéo plus longues, ce qui lui permet de « se souvenir » et de reconnaître des objets au fil du temps, même s'ils sont temporairement masqués. Par exemple, si quelqu'un est en train de filming a video d'une personne marchant derrière un tree, SAM 2.1 peut track la personne lorsqu'elle réapparaît de l'autre côté, en utilisant sa mémoire de la object’s position et du movement pour combler les manques lorsque la vue est brièvement interrompue.

Parallèlement à ces mises à jour, Meta a publié la SAM 2 Developer Suite, fournissant du code d'entraînement open-source et une infrastructure de démonstration complète afin que les développeurs puissent fine-tune SAM 2.1 avec leurs propres data et l'intégrer dans un ensemble d'applications.

CoTracker3 : le modèle de suivi de Meta, ses fonctionnalités et mises à jour#

Une autre tâche de vision par ordinateur intéressante est le tracking de points. Elle consiste à suivre des points ou des caractéristiques spécifiques à travers plusieurs images d'une vidéo. Imagine une vidéo d'un cyclist roulant sur une piste : le suivi de points permet au modèle de garder track of points sur le cycliste, comme le casque ou les roues, même s'ils sont cachés par des obstacles un instant.

Le suivi de points est essentiel pour des applications telles que la 3D reconstruction, la robotics et le montage vidéo. Les modèles traditionnels reposent souvent sur des configurations complexes et de grands jeux de données synthétiques, ce qui limite leur efficacité lorsqu'ils sont appliqués à des scénarios du monde réel.

Le modèle CoTracker3 de Meta tracking résout ces limitations en simplifiant l'architecture du modèle. Il introduit également une technique de pseudo-labeling technique qui permet au modèle d'apprendre à partir de vidéos réelles et non annotées, rendant CoTracker3 plus efficace et évolutif pour un usage pratique.

Fig 2. Comparaison de CoTracker3 avec d'autres modèles de suivi.

L'une des fonctionnalités qui distingue CoTracker3 est sa capacité à bien gérer les occlusions. Grâce à l'attention inter-piste (cross-track attention), une technique qui permet au modèle de partager des informations entre plusieurs points suivis, CoTracker3 peut déduire les positions des points cachés en se référant aux points visibles. Ainsi, CoTracker3 est conçu pour être extrêmement efficace dans des environnements dynamiques, comme following a person dans une foule.

CoTracker3 propose également des modes en ligne et hors ligne. Le mode en ligne offre un suivi en temps réel, tandis que le mode hors ligne peut être utilisé pour un suivi plus approfondi sur des séquences vidéo entières, ce qui est idéal pour des tâches comme le montage vidéo ou l'animation.

Autres mises à jour et recherches de Meta FAIR#

Alors que SAM 2.1 et CoTracker3 illustrent les dernières avancées de Meta en matière de computer vision, il existe également des mises à jour passionnantes dans d'autres domaines de l'AI, tels que le natural language processing (NLP) et la robotics. Jetons un coup d'œil à ces autres développements récents de Meta FAIR.

Spirit LM de Meta : innovations en IA dans les modèles linguistiques et multimodaux#

Spirit LM de Meta est un nouveau multimodal langage modèle qui combine les capacités de text and speech, rendant les interactions with AI plus naturelles. Contrairement aux modèles traditionnels qui ne gèrent que le texte ou que la parole, Spirit LM peut basculer de manière transparente entre les deux.

Spirit LM peut comprendre et generate language d'une manière qui semble plus humaine. Par exemple, il peut améliorer les virtual assistants capables à la fois d'écouter et de répondre en langage parlé ou écrit, ou soutenir des accessibility tools qui convertissent la parole en texte et vice versa.

Fig 3. Un exemple de synthèse vocale utilisant Meta Spirit LM.

De plus, Meta a développé des techniques pour rendre les grands modèles de langage plus efficaces. L'une d'elles, appelée Layer Skip, aide à réduire les computational needs et les energy costs en n'activant que les couches nécessaires pour une tâche donnée. C'est particulièrement utile pour les applications on devices dotés d'une mémoire et d'une alimentation limitées.

Poussant plus loin le besoin de deploy AI applications sur ces appareils, Meta a également déployé des versions quantized de ses Llama models. Ces modèles sont compressés pour s'exécuter plus rapidement sur les mobile devices sans sacrifier l'accuracy.

Un regard sur l'avenir de l'optimisation avec Meta Lingua#

Alors que les AI models gagnent en taille et en complexité, l'optimisation de leur processus de training est devenue cruciale. En matière d'optimization, Meta a introduit Meta Lingua, une base de code flexible et efficace qui facilite l'entraînement des large language models. La conception modulaire de Meta Lingua permet aux researchers de personnaliser et de mettre à l'échelle rapidement leurs expériences.

Les chercheurs peuvent consacrer moins de temps à la configuration technique et plus de temps à la recherche proprement dite. La base de code est également légère et facile à integrate, ce qui la rend adaptée aussi bien aux petites expériences qu'aux projets à grande échelle. En éliminant ces obstacles techniques, Meta Lingua aide les chercheurs à progresser plus rapidement et à tester de new ideas plus facilement.

Fig 4. Un aperçu de Meta Lingua.

Les améliorations de Meta en matière de sécurité de l'IA#

À mesure que la technologie informatique quantique progresse, elle apporte de nouveaux défis pour la data security. Contrairement aux ordinateurs d'aujourd'hui, il est probable que les ordinateurs quantiques seront capables de résoudre des calculs complexes beaucoup plus rapidement. Cela signifie qu'ils pourraient potentiellement break the encryption méthodes actuellement utilisées pour protect les informations sensibles. C'est pourquoi la recherche dans ce domaine devient de plus en plus importante : développer de nouvelles façons de protéger les données est essentiel pour se préparer à l'avenir de l'informatique quantique.

Pour répondre à ce besoin, Meta a développé Salsa, un outil visant à renforcer la sécurité cryptographique post-quantique. Salsa aide les chercheurs à tester des attaques pilotées par l'IA et à identifier les faiblesses potentielles, leur permettant de mieux comprendre et corriger les vulnérabilités des systèmes cryptographiques. En simulant des scénarios d'attaque avancés, Salsa fournit des informations précieuses qui peuvent guider le développement de security measures plus solides et plus résistantes pour l'ère quantique.

L'IA chez Meta : dernières innovations en robotique#

Le travail récent de Meta en robotics se concentre sur l'aide à apporter à l'IA pour interagir plus naturellement avec le monde physique en améliorant la perception tactile, la dextérité et la collaboration avec les humains. En particulier, Meta Digit 360 est un capteur tactile avancé qui confère aux robots un sens du toucher raffiné. Les capteurs aident les robots à détecter des détails tels que la texture, la pression et même la forme des objets. Grâce à ces données, les robots peuvent manipuler des objets avec plus de précision, un point crucial dans des domaines comme l'healthcare et la manufacturing.

Voici quelques-unes des fonctionnalités clés incluses dans Meta Digit 360 :

• Il est équipé de 18 fonctionnalités de détection distinctes pour pouvoir capturer une large gamme de détails tactiles.
• Le capteur peut détecter des changements de pression aussi faibles que 1 millinewton, permettant aux robots de répondre aux textures fines et aux mouvements subtils.
• Il inclut plus de 8 millions de taxels (minuscules points de détection) sur toute la surface du bout des doigts, fournissant une carte haute résolution des informations tactiles.

Une extension de Meta Digit 360 est Meta Digit Plexus, une plateforme qui intègre divers capteurs tactiles sur une seule main robotique. Cette configuration permet aux robots de traiter les informations tactiles provenant de plusieurs points à la fois, de manière similaire à la façon dont les mains humaines recueillent des données sensorielles.

Fig 5. Le Meta Digit Plexus.

Préparer le terrain pour le prochain chapitre de l'IA#

Les dernières mises à jour en IA de Meta, allant des avancées en vision par ordinateur avec SAM 2.1 et CoTracker3 aux nouveaux développements dans les modèles linguistiques et la robotique, montrent comment l'IA passe progressivement de la théorie à des solutions pratiques et percutantes.

Ces outils sont conçus pour rendre l'IA plus adaptable et utile dans différents domaines, aidant à tout faire, de la segmentation d'images complexes à la compréhension du langage humain et même au travail à nos côtés dans des espaces physiques.

En donnant la priorité à l'accessibilité et à l'application dans le monde réel, Meta FAIR nous rapproche d'un avenir où l'IA pourra relever des défis réels et améliorer notre vie quotidienne de manière significative.

Tu es curieux ou curieuse à propos de l'IA ? Rejoins our community pour obtenir les dernières actualités et analyses, et jette un œil à notre GitHub repository. Tu peux également explorer comment la vision par ordinateur peut être utilisée dans des industries comme les self-driving cars et l'agriculture !