Applications du Segment Anything Model 2 (SAM 2) de Meta AI

Le 29 juillet 2024, Meta AI a lancé la deuxième version de son Segment Anything Model, SAM 2. Ce nouveau modèle peut déterminer quels pixels appartiennent à un objet cible, aussi bien dans les images que dans les vidéos ! Le plus intéressant, c’est qu’il est capable de suivre systématiquement un objet à travers toutes les images d’une vidéo en temps réel. SAM 2 ouvre des possibilités passionnantes pour le montage vidéo, les expériences de réalité mixte et l’annotation plus rapide des données visuelles destinées à l’entraînement de systèmes de vision par ordinateur.

S’appuyant sur le succès du SAM original, utilisé dans des domaines comme les sciences marines, l’imagerie satellitaire et la médecine, SAM 2 relève des défis tels que les objets se déplaçant rapidement et les changements d’apparence. Sa précision et son efficacité améliorées en font un outil polyvalent pour un large éventail d’applications. Dans cet article, nous nous concentrerons sur les domaines où SAM 2 peut être utilisé et sur son importance pour la communauté de l’IA.

Qu’est-ce que SAM 2 ?#

Le Segment Anything Model 2 est un modèle de fondation avancé qui prend en charge la segmentation visuelle guidée par des prompts, ou PVS, dans les images et les vidéos. La PVS est une technique permettant à un modèle de segmenter ou d’identifier différentes parties d’une image ou d’une vidéo à partir de prompts ou d’entrées spécifiques fournis par l’utilisateur. Ces prompts peuvent prendre la forme de clics, de boîtes ou de masques mettant en évidence la zone d’intérêt. Le modèle génère ensuite un masque de segmentation qui délimite la zone spécifiée.

L’architecture de SAM 2 s’appuie sur le SAM original en étendant la segmentation d’images à la segmentation vidéo. Elle intègre un décodeur de masques léger qui utilise les données d’image et les prompts pour créer des masques de segmentation. Pour les vidéos, SAM 2 introduit un système de mémoire qui l’aide à se rappeler les informations des images précédentes, garantissant un suivi précis au fil du temps. Ce système de mémoire comprend des composants qui stockent et récupèrent les détails relatifs aux objets segmentés. SAM 2 peut également gérer les occlusions, suivre les objets sur plusieurs images et traiter les prompts ambigus en générant plusieurs masques possibles. L’architecture avancée de SAM 2 le rend particulièrement performant dans les environnements visuels statiques et dynamiques.

Plus précisément, pour la segmentation vidéo, SAM 2 atteint une meilleure précision avec trois fois moins d’interactions utilisateur que les méthodes précédentes. Pour la segmentation d’images, SAM 2 surpasse le Segment Anything Model (SAM) original, étant six fois plus rapide et plus précis. Cette amélioration a été présentée dans l’article de recherche sur SAM 2 à l’aide de 37 jeux de données différents, dont 23 sur lesquels SAM avait déjà été testé.

Fig. 1. Comparaison entre SAM et SAM 2.

Fait intéressant, le SAM 2 de Meta AI a été développé grâce à la création du plus grand jeu de données de segmentation vidéo à ce jour : le jeu de données SA-V. Cet important jeu de données comprend plus de 50 000 vidéos et 35,5 millions de masques de segmentation, recueillis grâce aux contributions interactives des utilisateurs. Les annotateurs ont fourni des prompts et des corrections pour aider le modèle à apprendre à partir d’une grande variété de scénarios et de types d’objets.

Applications du Segment Anything Model 2#

Grâce à ses capacités avancées en segmentation d’images et de vidéos, SAM 2 peut être utilisé dans divers secteurs. Découvrons quelques-unes de ces applications.

SAM 2 permet la réalité augmentée (AR) et la réalité virtuelle (VR)#

Le nouveau modèle de segmentation de Meta AI peut être utilisé pour des applications de réalité augmentée (AR) et de réalité virtuelle (VR). Par exemple, SAM 2 peut identifier et segmenter avec précision des objets du monde réel, rendant les interactions avec des objets virtuels plus réalistes. Il peut être utile dans divers domaines comme le jeu vidéo, l’éducation et la formation, où une interaction réaliste entre les éléments virtuels et réels est essentielle.

À mesure que des appareils comme les lunettes de réalité augmentée deviennent plus avancés, les capacités de SAM 2 pourraient bientôt y être intégrées. Imagine que tu enfiles des lunettes et regardes autour de ton salon. Lorsque tes lunettes segmentent et détectent la gamelle d’eau de ton chien, elles pourraient te rappeler de la remplir, comme le montre l’image ci-dessous. Ou, si tu cuisines une nouvelle recette, les lunettes pourraient identifier les ingrédients présents sur ton plan de travail et fournir des instructions et des conseils étape par étape, améliorant ton expérience culinaire et garantissant que tu as tout le nécessaire à portée de main.

Fig. 2. SAM 2 pourrait bientôt être utilisé dans des lunettes de réalité augmentée.

Imagerie sonar avec le Segment Anything Model 2#

Des recherches utilisant le modèle SAM ont montré qu’il pouvait être appliqué à des domaines spécialisés comme l’imagerie sonar. L’imagerie sonar présente des défis particuliers en raison de sa faible résolution, de ses niveaux de bruit élevés et des formes complexes des objets présents dans les images. En ajustant SAM sur des images sonar, les chercheurs ont démontré sa capacité à segmenter avec précision divers objets sous-marins, tels que des débris marins, des formations géologiques et d’autres éléments d’intérêt. Une imagerie sous-marine précise et fiable peut être utilisée dans la recherche marine, l’archéologie sous-marine, la gestion des pêcheries et la surveillance pour des tâches telles que la cartographie des habitats, la découverte d’artefacts et la détection des menaces.

Fig. 3. Exemple d’utilisation de SAM ajusté pour la segmentation d’images sonar.

Comme SAM 2 s’appuie sur SAM et améliore bon nombre de ses limites, il pourrait contribuer davantage à l’analyse d’images sonar. Ses capacités de segmentation précise peuvent aider dans diverses applications marines, notamment la recherche scientifique et les pêcheries. Par exemple, SAM 2 peut délimiter efficacement les structures sous-marines, détecter les débris marins et identifier les objets dans les images sonar à visée frontale, contribuant ainsi à une exploration et une surveillance sous-marines plus précises et plus efficaces.

Voici les avantages potentiels de l’utilisation de SAM 2 pour analyser des images sonar :

• Efficacité : réduit le temps et les efforts nécessaires à la segmentation manuelle, permettant aux professionnels de se concentrer davantage sur l’analyse et la prise de décision.
• Cohérence : fournit des résultats de segmentation cohérents et reproductibles, essentiels pour la recherche et la surveillance marines à grande échelle.
• Polyvalence : peut traiter un large éventail d’images sonar, ce qui le rend utile pour diverses applications dans les sciences et l’industrie marines.

En intégrant SAM 2 aux processus d’imagerie sonar, le secteur maritime peut atteindre une efficacité, une précision et une fiabilité accrues dans l’exploration et l’analyse sous-marines, ce qui conduit finalement à de meilleurs résultats dans la recherche marine.

Utiliser SAM 2 dans les véhicules autonomes#

Une autre application de SAM 2 concerne les véhicules autonomes. SAM 2 peut identifier avec précision des objets tels que les piétons, les autres véhicules, les panneaux de signalisation et les obstacles en temps réel. Le niveau de détail fourni par SAM 2 est essentiel pour prendre des décisions de navigation sûre et d’évitement des collisions. En traitant précisément les données visuelles, SAM 2 contribue à créer une carte détaillée et fiable de l’environnement, ce qui améliore la prise de décision.

Fig. 4. Utilisation de la segmentation pour comprendre la circulation.

La capacité de SAM 2 à fonctionner efficacement dans différentes conditions d’éclairage, face aux changements météorologiques et dans des environnements dynamiques le rend fiable pour les véhicules autonomes. Qu’il s’agisse d’une rue urbaine très fréquentée ou d’une autoroute plongée dans le brouillard, SAM 2 peut identifier et segmenter les objets avec précision et de manière constante, afin que le véhicule puisse réagir correctement aux différentes situations.

Il existe toutefois certaines limites à garder à l’esprit. Pour les objets complexes se déplaçant rapidement, SAM 2 peut parfois manquer des détails fins et ses prédictions peuvent devenir instables d’une image à l’autre. De plus, SAM 2 peut parfois confondre plusieurs objets d’apparence similaire dans les scènes encombrées. Ces difficultés expliquent pourquoi l’intégration de capteurs et de technologies supplémentaires est essentielle dans les applications de conduite autonome.

Surveillance environnementale à l’aide de SAM 2#

La surveillance environnementale utilisant la vision par ordinateur peut être complexe, notamment en l’absence de données annotées, mais c’est aussi ce qui en fait une application intéressante pour SAM 2. SAM 2 peut être utilisé pour suivre et analyser les changements des paysages naturels en segmentant et en identifiant avec précision diverses caractéristiques environnementales, telles que les forêts, les étendues d’eau, les zones urbaines et les terres agricoles, à partir d’images satellites ou prises par drone. Plus précisément, une segmentation précise aide à surveiller la déforestation, l’urbanisation et l’évolution de l’utilisation des terres au fil du temps, afin de fournir des données utiles à la préservation de l’environnement et à la planification.

Voici quelques avantages de l’utilisation d’un modèle comme SAM 2 pour analyser l’évolution de l’environnement au fil du temps :

• Détection précoce : identifie les premiers signes de dégradation environnementale, permettant des interventions rapides pour prévenir d’autres dommages.
• Gestion des ressources : aide à gérer efficacement les ressources naturelles en fournissant des informations détaillées sur l’état de diverses caractéristiques environnementales.
• Préservation de la biodiversité : aide à suivre la faune et à surveiller la biodiversité, contribuant aux efforts de conservation et à la protection des espèces menacées.
• Réponse aux catastrophes : aide à évaluer l’impact de catastrophes naturelles telles que les inondations, les incendies de forêt et les ouragans, permettant une intervention rapide et efficace ainsi qu’une meilleure planification du rétablissement.

Montage vidéo avec SAM 2 : essaie par toi-même#

La démo de Segment Anything 2 est un excellent moyen d’essayer le modèle sur une vidéo. Grâce aux capacités PVS de SAM 2, nous avons pris une ancienne vidéo YouTube d’Ultralytics et avons pu segmenter trois objets ou personnes dans la vidéo, puis les pixelliser. Traditionnellement, retirer trois personnes d’une vidéo de cette manière serait long et fastidieux, et nécessiterait de créer manuellement un masque image par image. SAM 2 simplifie toutefois ce processus. En quelques clics dans la démo, tu peux protéger l’identité de trois objets d’intérêt en quelques secondes.

Fig. 6. Essai de la démo SAM 2.

La démo te permet également d’essayer plusieurs effets visuels, comme placer un projecteur sur les objets que tu sélectionnes pour le suivi ou effacer les objets suivis. Si la démo t’a plu et que tu es prêt à commencer à innover avec SAM 2, consulte la page de documentation du modèle SAM 2 d’Ultralytics pour obtenir des instructions détaillées sur son utilisation. Explore les fonctionnalités, les étapes d’installation et les exemples pour tirer pleinement parti du potentiel de SAM 2 dans tes projets !

Pour conclure#

Le Segment Anything Model 2 (SAM 2) de Meta AI transforme la segmentation vidéo et image. À mesure que des tâches comme le suivi d’objets s’améliorent, nous découvrons de nouvelles possibilités dans le montage vidéo, la réalité mixte, la recherche scientifique et l’imagerie médicale. En simplifiant les tâches complexes et en accélérant les annotations, SAM 2 est bien parti pour devenir un outil important pour la communauté de l’IA. Alors que nous continuons à explorer et à innover avec des modèles comme SAM 2, nous pouvons nous attendre à découvrir encore plus d’applications et d’avancées majeures dans divers domaines !

Pour en savoir plus sur l’IA, explore notre dépôt GitHub et rejoins notre communauté. Consulte nos pages de solutions pour découvrir des informations détaillées sur l’IA dans l’industrie manufacturière et les soins de santé. 🚀