Actualités de la recherche en IA de Meta FAIR : SAM 2.1 et CoTracker3

La recherche en intelligence artificielle (AI) progresse rapidement, avec des avancées inédites qui se succèdent à un rythme toujours plus soutenu. Au cours des dernières semaines, l’équipe de recherche fondamentale en intelligence artificielle (FAIR) de Meta a dévoilé une série d’outils et de modèles destinés à relever des défis dans différents domaines de l’AI. Ces nouveautés comprennent des mises à jour susceptibles d’avoir des répercussions dans des domaines aussi variés que la santé, la robotique et la réalité augmentée.

Par exemple, la version mise à jour du modèle SAM 2.1 améliore la segmentation d’objets, ce qui facilite l’identification et la séparation précises des objets dans les images et les vidéos. De son côté, CoTracker3 se concentre sur le suivi de points et permet de suivre des points dans les images vidéo même lorsque les objets bougent ou sont partiellement masqués.

Meta a également lancé des versions plus légères et plus rapides de son modèle de langage Llama, conçues pour une utilisation efficace directement sur l’appareil, ainsi qu’une nouvelle technologie de détection tactile pour la robotique. Dans cet article, nous passons en revue ces dernières nouveautés de Meta FAIR et examinons ce que chaque outil propose.

La version améliorée du Segment Anything Model de Meta : SAM 2.1#

La segmentation d’objets, une tâche clé en vision par ordinateur, permet d’identifier et de séparer des objets distincts dans une image ou une vidéo, ce qui facilite l’analyse de zones d’intérêt spécifiques. Depuis sa sortie, le modèle Segment Anything 2 (SAM 2) de Meta est utilisé pour la segmentation d’objets dans différents domaines, comme l’imagerie médicale et la météorologie. À la suite des commentaires de la communauté, Meta a lancé SAM 2.1, une version améliorée conçue pour relever certains défis rencontrés avec le modèle original et offrir de meilleures performances globales.

Fig. 1 Évaluation comparative des performances du modèle SAM 2.1.

SAM 2.1 comporte des mises à jour qui améliorent la prise en charge des objets visuellement similaires et de petite taille, grâce à de nouvelles techniques d’augmentation des données. Le modèle gère aussi mieux l’occlusion (lorsque des parties d’un objet sont cachées) en étant entraîné sur des séquences vidéo plus longues. Il peut ainsi « se souvenir » des objets et les reconnaître au fil du temps, même lorsqu’ils sont temporairement masqués. Par exemple, si une personne filme quelqu’un qui marche derrière un arbre, SAM 2.1 peut suivre cette personne lorsqu’elle réapparaît de l’autre côté, en utilisant sa mémoire de la position de l’objet et de son mouvement pour combler les lacunes lorsque la vue est brièvement interrompue.

Parallèlement à ces mises à jour, Meta a lancé SAM 2 Developer Suite, qui fournit du code d’entraînement open source et une infrastructure de démonstration complète afin que les développeurs puissent affiner SAM 2.1 avec leurs propres données et l’intégrer à diverses applications.

CoTracker3 : le modèle de suivi de Meta, ses fonctionnalités et ses mises à jour#

Une autre tâche intéressante en vision par ordinateur est le suivi de points. Elle consiste à suivre des points ou des caractéristiques spécifiques dans plusieurs images d’une vidéo. Prenons une vidéo d’un cycliste roulant sur une piste : le suivi de points permet au modèle de suivre des points sur le cycliste, comme son casque ou ses roues, même s’ils sont brièvement masqués par des obstacles.

Le suivi de points est essentiel pour des applications comme la reconstruction 3D, la robotique et le montage vidéo. Les modèles traditionnels s’appuient souvent sur des configurations complexes et de grands jeux de données synthétiques, ce qui limite leur efficacité dans des situations réelles.

Le modèle de suivi CoTracker3 de Meta remédie à ces limites en simplifiant l’architecture du modèle. Il introduit également une technique de pseudo-étiquetage qui permet au modèle d’apprendre à partir de vidéos réelles non annotées, rendant CoTracker3 plus efficace et évolutif en pratique.

Fig. 2 Comparaison de CoTracker3 avec d’autres modèles de suivi.

L’une des caractéristiques qui distinguent CoTracker3 est sa capacité à gérer efficacement les occlusions. Grâce à l’attention croisée entre trajectoires, une technique qui permet au modèle de partager des informations entre plusieurs points suivis, CoTracker3 peut déduire la position des points masqués en se référant aux points visibles. Cette approche rend CoTracker3 particulièrement efficace dans les environnements dynamiques, par exemple pour suivre une personne dans une foule.

CoTracker3 propose également des modes en ligne et hors ligne. Le mode en ligne assure un suivi en temps réel, tandis que le mode hors ligne permet un suivi plus complet de séquences vidéo entières, ce qui convient parfaitement à des tâches comme le montage vidéo ou l’animation.

Autres mises à jour et recherches de Meta FAIR#

Si SAM 2.1 et CoTracker3 illustrent les dernières avancées de Meta en vision par ordinateur, d’autres domaines de l’IA, comme le traitement automatique du langage naturel (NLP) et la robotique, connaissent eux aussi des évolutions prometteuses. Découvrons quelques autres nouveautés récentes de Meta FAIR.

Spirit LM de Meta : innovations en IA dans les modèles linguistiques et multimodaux#

Spirit LM de Meta est un nouveau modèle de langage multimodal qui combine des capacités de traitement du texte et de la parole, pour rendre les interactions avec l’IA plus naturelles. Contrairement aux modèles traditionnels qui ne traitent que du texte ou que de la parole, Spirit LM peut passer de l’un à l’autre.

Spirit LM peut comprendre et générer le langage d’une manière qui semble plus humaine. Il peut, par exemple, améliorer les assistants virtuels capables d’écouter et de répondre à l’oral ou à l’écrit, ou soutenir les outils d’accessibilité qui convertissent la parole en texte et inversement.

Fig. 3 Exemple de synthèse vocale avec Spirit LM de Meta.

Meta a également développé des techniques pour améliorer l’efficacité des grands modèles de langage. L’une d’elles, appelée Layer Skip, réduit les besoins de calcul et les coûts énergétiques en activant uniquement les couches nécessaires à une tâche donnée. Cette technique est particulièrement utile pour les applications exécutées sur des appareils dont la mémoire et la puissance sont limitées.

Pour aller plus loin dans le déploiement d’applications d’IA sur ces appareils, Meta a également lancé des versions quantifiées de ses modèles Llama. Ces modèles sont compressés afin de s’exécuter plus rapidement sur les appareils mobiles sans sacrifier la précision.

Perspectives sur l’avenir de l’optimisation avec Meta Lingua#

À mesure que les modèles d’IA gagnent en taille et en complexité, l’optimisation de leur entraînement devient essentielle. Dans ce domaine, Meta a lancé Meta Lingua, une base de code flexible et efficace qui facilite l’entraînement des grands modèles de langage. La conception modulaire de Meta Lingua permet aux chercheurs de personnaliser et de faire évoluer rapidement leurs expériences.

Les chercheurs peuvent consacrer moins de temps à la configuration technique et davantage à la recherche proprement dite. La base de code est également légère et facile à intégrer, ce qui la rend adaptée aux petites expériences comme aux projets de grande envergure. En éliminant ces obstacles techniques, Meta Lingua aide les chercheurs à progresser plus rapidement et à tester de nouvelles idées plus facilement.

Fig. 4 Présentation de Meta Lingua.

Les améliorations de Meta en matière de sécurité de l’IA#

Les progrès de l’informatique quantique posent de nouveaux défis en matière de sécurité des données. Contrairement aux ordinateurs actuels, les ordinateurs quantiques pourraient résoudre des calculs complexes beaucoup plus rapidement. Ils pourraient donc potentiellement casser les méthodes de chiffrement actuellement utilisées pour protéger les informations sensibles. C’est pourquoi la recherche dans ce domaine devient de plus en plus importante : développer de nouveaux moyens de protéger les données est essentiel pour nous préparer à l’avenir de l’informatique quantique.

Pour relever ce défi, Meta a développé Salsa, un outil destiné à renforcer la sécurité cryptographique post-quantique. Salsa aide les chercheurs à tester des attaques pilotées par l’IA et à repérer les faiblesses potentielles, afin de mieux comprendre et traiter les vulnérabilités des systèmes cryptographiques. En simulant des scénarios d’attaque avancés, Salsa fournit des informations précieuses pour guider le développement de mesures de sécurité plus robustes et résilientes à l’ère quantique.

L’IA chez Meta : dernières innovations en robotique#

Les derniers travaux de Meta en robotique visent à aider l’IA à interagir plus naturellement avec le monde physique en améliorant la perception tactile, la dextérité et la collaboration avec les humains. Meta Digit 360 est notamment un capteur tactile avancé qui confère aux robots un sens du toucher plus précis. Les capteurs aident les robots à détecter des détails comme la texture, la pression et même la forme des objets. Grâce à ces informations, les robots peuvent manipuler des objets avec davantage de précision, une capacité essentielle dans des secteurs comme la santé et l’industrie manufacturière.

Voici quelques-unes des principales caractéristiques de Meta Digit 360 :

• Il est équipé de 18 fonctionnalités de détection distinctes qui lui permettent de saisir un large éventail de détails tactiles.
• Le capteur peut détecter des variations de pression aussi faibles qu’un millinewton, ce qui permet aux robots de réagir aux textures fines et aux mouvements subtils.
• Il comprend plus de 8 millions de taxels (minuscules points de détection) sur la surface du bout du doigt, fournissant une carte haute résolution des informations tactiles.

Meta Digit Plexus, une extension de Meta Digit 360, est une plateforme qui intègre plusieurs capteurs tactiles à une seule main robotique. Cette configuration permet aux robots de traiter simultanément les informations tactiles provenant de plusieurs points, comme le font les mains humaines lorsqu’elles recueillent des données sensorielles.

Fig. 5 Meta Digit Plexus.

Ouvrir la voie au prochain chapitre de l’IA#

Les dernières mises à jour de l’IA chez Meta, des avancées en vision par ordinateur avec SAM 2.1 et CoTracker3 aux nouveaux développements dans les modèles linguistiques et la robotique, montrent que l’IA passe progressivement de la théorie à des solutions pratiques et concrètes.

Ces outils sont conçus pour rendre l’IA plus adaptable et utile dans différents domaines, qu’il s’agisse de segmenter des images complexes, de comprendre le langage humain ou même de travailler à nos côtés dans des espaces physiques.

En donnant la priorité à l’accessibilité et aux applications concrètes, Meta FAIR nous rapproche d’un avenir où l’IA pourra relever des défis réels et améliorer de manière significative notre quotidien.

Tu t’intéresses à l’IA ? Rejoins notre communauté pour suivre les dernières actualités et découvrir des analyses, et consulte notre dépôt GitHub. Tu peux aussi découvrir comment la vision par ordinateur s’applique à des secteurs comme les voitures autonomes et l’agriculture !