Applications de Segment Anything Model 2 (SAM 2) de Meta AI

Le 29 juillet 2024, Meta AI a publié la deuxième version de son Segment Anything Model, SAM 2. Ce nouveau modèle peut déterminer quels pixels appartiennent à un objet cible, dans les images comme dans les vidéos. Il peut aussi suivre un objet de manière continue dans toutes les images d’une vidéo en temps réel. SAM 2 ouvre des perspectives passionnantes pour le montage vidéo, les expériences de réalité mixte et l’annotation plus rapide de données visuelles destinées à l’entraînement de systèmes de vision par ordinateur.

S’appuyant sur le succès du SAM original, utilisé dans des domaines comme les sciences marines, l’imagerie satellitaire et la médecine, SAM 2 relève des défis tels que les objets en mouvement rapide et les changements d’apparence. Sa précision et son efficacité améliorées en font un outil polyvalent pour de nombreuses applications. Dans cet article, nous nous pencherons sur les domaines d’application de SAM 2 et sur son importance pour la communauté de l’IA.

Qu’est-ce que SAM 2 ?#

Segment Anything Model 2 est un modèle de fondation avancé qui prend en charge la segmentation visuelle guidée par des prompts, ou PVS, dans les images et les vidéos. La PVS est une technique permettant à un modèle de segmenter ou d’identifier différentes parties d’une image ou d’une vidéo à partir de prompts ou d’entrées spécifiques fournis par l’utilisateur. Ces prompts peuvent prendre la forme de clics, de boîtes ou de masques mettant en évidence la zone d’intérêt. Le modèle génère ensuite un masque de segmentation qui délimite la zone spécifiée.

L’architecture de SAM 2 s’appuie sur le SAM original en étendant la segmentation des images à celle des vidéos. Elle comprend un décodeur de masques léger qui utilise les données d’image et les prompts pour créer des masques de segmentation. Pour les vidéos, SAM 2 introduit un système de mémoire qui l’aide à conserver les informations des images précédentes afin d’assurer un suivi précis au fil du temps. Ce système comprend des composants qui stockent et récupèrent des détails sur les objets segmentés. SAM 2 peut également gérer les occultations, suivre des objets sur plusieurs images et traiter des prompts ambigus en générant plusieurs masques possibles. Son architecture avancée le rend très performant dans les environnements visuels statiques comme dynamiques.

Plus précisément, pour la segmentation vidéo, SAM 2 atteint une meilleure précision avec trois fois moins d’interactions utilisateur que les méthodes précédentes. Pour la segmentation d’images, SAM 2 surpasse le modèle Segment Anything (SAM) original : il est six fois plus rapide et plus précis. Cette amélioration a été mise en évidence dans l’article de recherche sur SAM 2, qui porte sur 37 jeux de données différents, dont 23 avaient déjà servi à tester SAM.

Fig. 1. Comparaison de SAM et de SAM 2.

Fait intéressant, SAM 2 de Meta AI a été développé à partir du plus grand jeu de données de segmentation vidéo jamais créé, le jeu de données SA-V. Cet ensemble de données très vaste comprend plus de 50 000 vidéos et 35,5 millions de masques de segmentation, recueillis grâce aux contributions interactives des utilisateurs. Les annotateurs ont fourni des prompts et des corrections pour aider le modèle à apprendre à partir d’une grande variété de scénarios et de types d’objets.

Applications de Segment Anything Model 2#

Grâce à ses capacités avancées de segmentation d’images et de vidéos, SAM 2 peut être utilisé dans différents secteurs. Découvrons quelques-unes de ses applications.

SAM 2 permet la réalité augmentée (AR) et la réalité virtuelle (VR)#

Le nouveau modèle de segmentation de Meta AI peut être utilisé dans des applications de réalité augmentée (AR) et de réalité virtuelle (VR). Par exemple, SAM 2 peut identifier et segmenter avec précision des objets du monde réel, rendant les interactions avec des objets virtuels plus réalistes. Il peut être utile dans différents domaines comme les jeux vidéo, l’éducation et la formation, où une interaction réaliste entre les éléments virtuels et réels est essentielle.

À mesure que les appareils comme les lunettes de réalité augmentée gagnent en sophistication, les capacités de SAM 2 pourraient bientôt y être intégrées. Imagine que tu enfiles des lunettes et regardes autour de ton salon. Lorsque tes lunettes segmentent et repèrent la gamelle d’eau de ton chien, elles pourraient te rappeler de la remplir, comme le montre l’image ci-dessous. Ou, si tu prépares une nouvelle recette, les lunettes pourraient identifier les ingrédients sur ton plan de travail et te proposer des instructions étape par étape ainsi que des conseils, pour améliorer ton expérience culinaire et veiller à ce que tu aies tous les ingrédients nécessaires à portée de main.

Fig. 2. SAM 2 pourrait bientôt être utilisé dans des lunettes de réalité augmentée.

Imagerie sonar avec Segment Anything Model 2#

Des recherches utilisant le modèle SAM ont montré qu’il peut être appliqué à des domaines spécialisés comme l’imagerie sonar. L’imagerie sonar présente des défis particuliers en raison de sa faible résolution, de niveaux de bruit élevés et des formes complexes des objets dans les images. En ajustant SAM aux images sonar, les chercheurs ont démontré sa capacité à segmenter avec précision divers objets sous-marins, comme des débris marins, des formations géologiques et d’autres éléments d’intérêt. Une imagerie sous-marine précise et fiable peut être utilisée pour la recherche marine, l’archéologie sous-marine, la gestion des pêcheries et la surveillance, notamment pour cartographier les habitats, découvrir des artefacts et détecter des menaces.

Fig. 3. Exemple d’utilisation de SAM ajusté pour segmenter des images sonar.

Comme SAM 2 reprend et améliore de nombreux aspects qui posaient problème à SAM, il pourrait contribuer à améliorer davantage l’analyse des images sonar. Ses capacités de segmentation précises peuvent être utiles dans diverses applications sous-marines, notamment la recherche scientifique et la pêche. Par exemple, SAM 2 peut délimiter efficacement des structures sous-marines, détecter des déchets marins et identifier des objets dans des images sonar à balayage frontal, contribuant ainsi à une exploration et à une surveillance sous-marines plus précises et efficaces.

Voici les avantages potentiels de l’utilisation de SAM 2 pour analyser l’imagerie sonar :

• Efficacité : réduit le temps et les efforts nécessaires à la segmentation manuelle, ce qui permet aux professionnels de se concentrer davantage sur l’analyse et la prise de décision.
• Cohérence : fournit des résultats de segmentation cohérents et reproductibles, indispensables à la recherche et à la surveillance marines à grande échelle.
• Polyvalence : peut traiter un large éventail d’images sonar, ce qui le rend utile pour diverses applications en sciences et dans l’industrie marines.

En intégrant SAM 2 aux processus d’imagerie sonar, l’industrie maritime peut gagner en efficacité, en précision et en fiabilité dans l’exploration et l’analyse sous-marines, ce qui permettra, à terme, d’obtenir de meilleurs résultats dans la recherche marine.

Utiliser SAM 2 dans les véhicules autonomes#

Une autre application de SAM 2 concerne les véhicules autonomes. SAM 2 peut identifier avec précision et en temps réel des objets tels que les piétons, les autres véhicules, les panneaux de signalisation et les obstacles. Le niveau de détail fourni par SAM 2 est essentiel pour prendre des décisions sûres en matière de navigation et d’évitement des collisions. En traitant les données visuelles avec précision, SAM 2 contribue à créer une carte détaillée et fiable de l’environnement et à prendre de meilleures décisions.

Fig. 4. Utilisation de la segmentation pour comprendre la circulation.

La capacité de SAM 2 à bien fonctionner dans différentes conditions d’éclairage, malgré les changements météorologiques et dans des environnements dynamiques, le rend fiable pour les véhicules autonomes. Qu’il s’agisse d’une rue urbaine animée ou d’une autoroute brumeuse, SAM 2 peut identifier et segmenter les objets avec précision et de façon constante, afin que le véhicule puisse réagir correctement aux différentes situations.

Il faut toutefois garder à l’esprit certaines limites. Pour les objets complexes et rapides, SAM 2 peut parfois manquer des détails fins, et ses prédictions peuvent devenir instables d’une image à l’autre. SAM 2 peut aussi confondre des objets qui se ressemblent dans les scènes encombrées. Ces difficultés expliquent pourquoi l’intégration de capteurs et de technologies supplémentaires est essentielle dans les applications de conduite autonome.

Surveillance environnementale avec SAM 2#

La surveillance environnementale par vision par ordinateur peut être difficile, surtout lorsqu’il manque des données annotées, mais c’est aussi ce qui rend cette application de SAM 2 intéressante. SAM 2 peut servir à suivre et à analyser les changements dans les paysages naturels en segmentant et en identifiant avec précision diverses caractéristiques environnementales, comme les forêts, les étendues d’eau, les zones urbaines et les terres agricoles, à partir d’images satellites ou de drones. Plus précisément, une segmentation précise facilite la surveillance de la déforestation, de l’urbanisation et de l’évolution de l’utilisation des terres au fil du temps, afin de fournir des données utiles à la conservation de l’environnement et à la planification.

Fig. 5. Utilisation de SAM 2 pour la surveillance environnementale.

Voici quelques avantages de l’utilisation d’un modèle comme SAM 2 pour analyser l’évolution de l’environnement au fil du temps :

• Détection précoce : repère les premiers signes de dégradation de l’environnement, ce qui permet d’intervenir rapidement pour éviter d’autres dommages.
• Gestion des ressources : aide à gérer efficacement les ressources naturelles en fournissant des informations détaillées sur l’état de différentes caractéristiques environnementales.
• Préservation de la biodiversité : aide à suivre la faune et à surveiller la biodiversité, contribuant aux efforts de conservation et à la protection des espèces menacées.
• Intervention en cas de catastrophe : aide à évaluer l’impact de catastrophes naturelles comme les inondations, les feux de forêt et les ouragans, et permet d’intervenir rapidement et efficacement et de planifier le rétablissement.

Montage vidéo avec SAM 2 : essaie par toi-même#

La démo Segment Anything 2 est un excellent moyen d’essayer le modèle sur une vidéo. Grâce aux capacités PVS de SAM 2, nous avons pu prendre une ancienne vidéo YouTube d’Ultralytics, segmenter trois objets ou personnes dans la vidéo et les pixéliser. Traditionnellement, retirer trois personnes d’une vidéo de ce type aurait pris beaucoup de temps et demandé un travail fastidieux de masquage manuel image par image. SAM 2 simplifie toutefois ce processus. En quelques clics dans la démo, tu peux protéger en quelques secondes l’identité de trois objets d’intérêt.

Fig. 6. Essai de la démo SAM 2.

La démonstration permet aussi d’essayer quelques effets visuels, comme la mise en évidence des objets sélectionnés pour le suivi et l’effacement des objets suivis. Si la démonstration t’a plu et que tu souhaites commencer à innover avec SAM 2, consulte la page de documentation du modèle SAM 2 d’Ultralytics pour obtenir des instructions détaillées et prendre le modèle en main. Découvre les fonctionnalités, les étapes d’installation et les exemples afin de tirer pleinement parti du potentiel de SAM 2 dans tes projets. Depuis, Meta a publié SAM 3, qui ajoute la segmentation de concepts guidée par du texte.

Pour conclure#

Segment Anything Model 2 de Meta AI transforme la segmentation des vidéos et des images. À mesure que des tâches comme le suivi d’objets s’améliorent, nous découvrons de nouvelles possibilités dans le montage vidéo, la réalité mixte, la recherche scientifique et l’imagerie médicale. En simplifiant les tâches complexes et en accélérant les annotations, SAM 2 devrait devenir un outil important pour la communauté de l’IA. À mesure que nous continuons à explorer et à innover avec des modèles comme SAM 2, nous pouvons nous attendre à voir apparaître encore plus d’applications et d’avancées dans divers domaines.

Découvre l’IA en explorant notre dépôt GitHub et en rejoignant notre communauté. Consulte nos pages de solutions pour en savoir plus sur l’IA dans la fabrication et la santé.