Applications du Segment Anything Model 2 (SAM 2) de Meta AI

Le 29 juillet 2024, Meta AI a publié la deuxième version de son Segment Anything Model, SAM 2. Ce nouveau modèle peut identifier avec précision quels pixels appartiennent à un objet cible, aussi bien dans des images que dans des vidéos ! Le meilleur atout est que le modèle est capable de suivre un objet de manière cohérente à travers toutes les images d'une vidéo en temps réel. SAM 2 ouvre des possibilités passionnantes pour le montage vidéo, les expériences de réalité mixte et l'annotation plus rapide de données visuelles pour l'entraînement de systèmes de computer vision.

S'appuyant sur le succès du SAM original, utilisé dans des domaines tels que les sciences marines, l'imagerie satellite et la médecine, SAM 2 relève des défis comme le suivi d'objets rapides et les changements d'apparence. Sa précision et son efficacité améliorées en font un outil polyvalent pour un large éventail d'applications. Dans cet article, nous nous concentrerons sur les domaines où SAM 2 peut être appliqué et pourquoi il est important pour la communauté de l'IA.

Link to this sectionQu'est-ce que SAM 2 ?#

Le Segment Anything Model 2 est un modèle de fondation avancé qui prend en charge la segmentation visuelle par prompt (PVS) dans les images et les vidéos. La PVS est une technique permettant à un modèle de segmenter ou d'identifier différentes parties d'une image ou d'une vidéo à partir de prompts ou d'entrées spécifiques fournis par l'utilisateur. Ces prompts peuvent prendre la forme de clics, de boîtes ou de masques qui mettent en évidence la zone d'intérêt. Le modèle génère alors un masque de segmentation qui délimite la zone spécifiée.

L'architecture de SAM 2 s'appuie sur le SAM original en étendant la segmentation d'images à la segmentation vidéo. Il dispose d'un décodeur de masque léger qui utilise les données d'image et les prompts pour créer des masques de segmentation. Pour les vidéos, SAM 2 introduit un système de mémoire qui l'aide à mémoriser des informations issues des images précédentes, garantissant un suivi précis dans le temps. Ce système inclut des composants permettant de stocker et de rappeler des détails sur les objets segmentés. SAM 2 peut également gérer les occlusions, suivre des objets à travers plusieurs images et gérer les prompts ambigus en générant plusieurs masques possibles. L'architecture avancée de SAM 2 le rend extrêmement performant dans des environnements visuels aussi bien statiques que dynamiques.

Plus précisément, en matière de segmentation vidéo, SAM 2 atteint une précision supérieure avec trois fois moins d'interactions utilisateur par rapport aux méthodes précédentes. Pour la segmentation d'images, SAM 2 surpasse le Segment Anything Model (SAM) original, étant six fois plus rapide et plus précis. Cette amélioration a été démontrée dans le document de recherche sur SAM 2 à travers 37 jeux de données différents, dont 23 sur lesquels SAM avait été précédemment testé.

Fig 1. Comparaison entre SAM et SAM 2.

Il est intéressant de noter que SAM 2 de Meta AI a été développé en créant le plus grand jeu de données de segmentation vidéo à ce jour, le jeu de données SA-V. Ce vaste ensemble comprend plus de 50 000 vidéos et 35,5 millions de masques de segmentation, collectés grâce aux contributions interactives des utilisateurs. Les annotateurs ont fourni des prompts et des corrections pour aider le modèle à apprendre à partir d'une grande variété de scénarios et de types d'objets.

Link to this sectionApplications du Segment Anything Model 2#

Grâce à ses capacités avancées en segmentation d'images et de vidéos, SAM 2 peut être utilisé dans divers secteurs. Explorons quelques-unes de ces applications.

Link to this sectionSAM 2 permet la réalité augmentée (AR) et la réalité virtuelle (VR)#

Le nouveau modèle de segmentation de Meta AI peut être utilisé pour des applications de réalité augmentée (AR) et de réalité virtuelle (VR). Par exemple, SAM 2 peut identifier et segmenter avec précision des objets du monde réel, rendant l'interaction avec des objets virtuels plus réaliste. Cela peut être utile dans divers domaines comme le gaming, l' éducation et la formation, où une interaction réaliste entre éléments virtuels et réels est essentielle.

Avec le développement de dispositifs comme les lunettes AR, les capacités de SAM 2 pourraient bientôt y être intégrées. Imagine que tu portes ces lunettes et que tu regardes ton salon. Lorsque tes lunettes segmentent et remarquent le bol d'eau de ton chien, elles pourraient te rappeler de le remplir, comme illustré dans l'image ci-dessous. Ou, si tu prépares une nouvelle recette, les lunettes pourraient identifier les ingrédients sur ton comptoir et te fournir des instructions étape par étape, améliorant ainsi ton expérience culinaire et t'assurant d'avoir tous les éléments nécessaires à portée de main.

Fig 2. SAM 2 pourrait bientôt être utilisé dans des lunettes AR.

Link to this sectionImagerie sonar avec le Segment Anything Model 2#

La recherche utilisant le modèle SAM a montré qu'il peut être appliqué à des domaines spécialisés tels que l' imagerie sonar. L'imagerie sonar présente des défis uniques dus à sa faible résolution, ses niveaux de bruit élevés et les formes complexes des objets dans les images. En ajustant (fine-tuning) SAM pour les images sonar, des chercheurs ont démontré sa capacité à segmenter avec précision divers objets sous-marins comme des débris marins, des formations géologiques et d'autres objets d'intérêt. Une imagerie sous-marine précise et fiable peut être utilisée dans la recherche marine, l'archéologie sous-marine, la gestion des pêches et la surveillance pour des tâches comme la cartographie des habitats, la découverte d'artefacts et la détection de menaces.

Fig 3. Un exemple d'utilisation de SAM ajusté pour la segmentation d'images sonar.

Puisque SAM 2 s'appuie sur bon nombre des défis auxquels SAM est confronté et les améliore, il a le potentiel d'améliorer encore davantage l'analyse de l'imagerie sonar. Ses capacités de segmentation précises peuvent aider dans diverses applications marines, y compris la recherche scientifique et la pêche. Par exemple, SAM 2 peut délimiter efficacement les structures sous-marines, détecter les débris marins et identifier des objets dans des images sonar à vision frontale, contribuant ainsi à une exploration et une surveillance sous-marines plus précises et efficaces.

Voici les avantages potentiels de l'utilisation de SAM 2 pour analyser l'imagerie sonar :

• Efficacité : Réduit le temps et les efforts requis pour la segmentation manuelle, permettant aux professionnels de se concentrer davantage sur l'analyse et la prise de décision.
• Cohérence : Fournit des résultats de segmentation cohérents et reproductibles, essentiels pour la recherche et la surveillance marines à grande échelle.
• Polyvalence : Capable de gérer un large éventail d'images sonar, ce qui le rend utile pour diverses applications dans les sciences marines et l'industrie.

En intégrant SAM 2 dans les processus d'imagerie sonar, l'industrie marine peut atteindre une efficacité, une précision et une fiabilité supérieures dans l'exploration et l'analyse sous-marines, conduisant finalement à de meilleurs résultats dans la recherche marine.

Link to this sectionUtilisation de SAM 2 dans les véhicules autonomes#

Une autre application de SAM 2 se trouve dans les véhicules autonomes. SAM 2 peut identifier avec précision des objets comme les piétons, d'autres véhicules, des panneaux de signalisation et des obstacles en temps réel. Le niveau de détail que SAM 2 peut fournir est essentiel pour prendre des décisions de navigation sécurisée et d'évitement de collision. En traitant les données visuelles avec précision, SAM 2 aide à créer une carte détaillée et fiable de l'environnement, favorisant une meilleure prise de décision.

Fig 4. Utilisation de la segmentation pour comprendre le trafic.

La capacité de SAM 2 à fonctionner correctement dans différentes conditions d'éclairage, changements météorologiques et environnements dynamiques le rend fiable pour les véhicules autonomes. Qu'il s'agisse d'une rue urbaine animée ou d'une autoroute brumeuse, SAM 2 peut identifier et segmenter systématiquement les objets avec précision afin que le véhicule puisse répondre correctement aux diverses situations.

Cependant, il y a certaines limites à garder à l'esprit. Pour des objets complexes et en mouvement rapide, SAM 2 peut parfois manquer de détails fins et ses prédictions peuvent devenir instables d'une image à l'autre. De plus, SAM 2 peut parfois confondre plusieurs objets se ressemblant dans des scènes encombrées. Ces défis expliquent pourquoi l'intégration de capteurs et de technologies supplémentaires est cruciale dans les applications de conduite autonome.

Link to this sectionSurveillance environnementale avec l'aide de SAM 2#

La surveillance environnementale par computer vision peut être délicate, surtout en cas de manque de données annotées, mais c'est aussi ce qui en fait une application intéressante pour SAM 2. SAM 2 peut être utilisé pour suivre et analyser les changements dans les paysages naturels en segmentant et en identifiant avec précision diverses caractéristiques environnementales telles que les forêts, les plans d'eau, les zones urbaines et les terres agricoles à partir d'images satellite ou de drones. Plus précisément, une segmentation précise aide à surveiller la déforestation, l'urbanisation et les changements d'utilisation des sols au fil du temps pour fournir des données précieuses pour la conservation environnementale et la planification.

Voici quelques avantages de l'utilisation d'un modèle comme SAM 2 pour analyser les changements environnementaux au fil du temps :

• Détection précoce : Identifie les signes précoces de dégradation environnementale, permettant des interventions rapides pour prévenir d'autres dommages.
• Gestion des ressources : Aide à gérer efficacement les ressources naturelles en fournissant des informations détaillées sur l'état de diverses caractéristiques environnementales.
• Conservation de la biodiversité : Aide au suivi de la faune et à la surveillance de la biodiversité, contribuant aux efforts de conservation et à la protection des espèces menacées.
• Réponse aux catastrophes : Aide à évaluer l'impact des catastrophes naturelles comme les inondations, les incendies de forêt et les ouragans, permettant une réponse et une planification de rétablissement rapides et efficaces.

Link to this sectionMontage vidéo avec SAM 2 : essaie par toi-même#

La démo de Segment Anything 2 est un excellent moyen d'essayer le modèle sur une vidéo. En utilisant les capacités PVS de SAM 2, nous avons pris une ancienne vidéo YouTube d'Ultralytics et avons pu segmenter trois objets ou personnes dans la vidéo pour les pixelliser. Traditionnellement, éditer trois individus à partir d'une telle vidéo serait long, fastidieux et nécessiterait un masquage manuel image par image. Cependant, SAM 2 simplifie ce processus. Avec quelques clics sur la démo, tu peux protéger l'identité de trois objets d'intérêt en quelques secondes.

Fig 6. Essayer la démo de SAM 2.

La démo te permet également d'essayer quelques effets visuels différents, comme mettre un projecteur sur les objets que tu sélectionnes pour le suivi et effacer les objets suivis. Si tu as aimé la démo et que tu es prêt à commencer à innover avec SAM 2, consulte la page de documentation du modèle SAM 2 d'Ultralytics pour des instructions détaillées sur la façon de prendre en main le modèle. Explore les fonctionnalités, les étapes d'installation et les exemples pour tirer pleinement parti du potentiel de SAM 2 dans tes projets !

Link to this sectionConclusion#

Le Segment Anything Model 2 (SAM 2) de Meta AI transforme la segmentation vidéo et image. À mesure que des tâches comme le suivi d'objets s'améliorent, nous découvrons de nouvelles opportunités dans le montage vidéo, la réalité mixte, la recherche scientifique et l'imagerie médicale. En facilitant les tâches complexes et en accélérant les annotations, SAM 2 est prêt à devenir un outil important pour la communauté de l'IA. Alors que nous continuons à explorer et à innover avec des modèles comme SAM 2, nous pouvons nous attendre à des applications et des avancées encore plus révolutionnaires dans divers domaines !

Apprends-en plus sur l'IA en explorant notre référentiel GitHub et en rejoignant notre communauté. Découvre nos pages de solutions pour des perspectives détaillées sur l'IA dans la fabrication et les soins de santé. 🚀