Découverte de SAM 3 : le nouveau modèle Segment Anything de Meta AI

Le 19 novembre 2025, Meta AI a publié Segment Anything Model 3, également appelé SAM 3. Cette nouvelle version du modèle Segment Anything propose de nouvelles façons de détecter, segmenter et suivre des objets dans des images et des vidéos du monde réel à l’aide de prompts textuels, de prompts visuels et d’exemples d’images.

Le modèle SAM 3 s’appuie sur SAM et SAM 2, et apporte de nouvelles avancées et fonctionnalités telles que la segmentation par concepts, la détection à vocabulaire ouvert et le suivi vidéo en temps réel. Il peut comprendre de courtes expressions nominales, suivre des objets d’une image à l’autre et identifier des concepts rares ou très précis que les modèles précédents ne géraient pas aussi régulièrement.

Dans le cadre de la sortie de SAM 3, Meta a également présenté SAM 3D. Cette suite de modèles de nouvelle génération reconstruit des objets, des scènes et des corps humains entiers à partir d’une seule image, et étend l’écosystème Segment Anything à la compréhension 3D. Ces nouveautés ouvrent la voie à de nouvelles applications en vision par ordinateur, en robotique, en montage multimédia et dans les processus créatifs.

Dans cet article, nous allons découvrir ce qu’est SAM 3, ce qui le distingue de SAM 2, son fonctionnement et ses applications concrètes.

Qu’est-ce que SAM 3 ? Découvre Segment Anything Model 3 de Meta#

SAM 3 est un modèle de vision par ordinateur de pointe qui peut identifier, séparer et suivre des objets dans des images et des vidéos à partir de simples instructions. Au lieu de s’appuyer sur une liste fixe d’étiquettes, SAM 3 comprend le langage naturel et les indices visuels, ce qui te permet d’indiquer facilement au modèle ce que tu veux trouver.

Par exemple, avec SAM 3, tu peux saisir une courte expression comme « autobus scolaire jaune » ou « chat tigré », cliquer sur un objet ou mettre en évidence un exemple dans une image. Le modèle détecte alors tous les objets correspondants et génère des masques de segmentation nets (un contour visuel qui montre exactement quels pixels appartiennent à un objet). SAM 3 peut aussi suivre ces objets d’une image vidéo à l’autre, en assurant leur continuité pendant leurs déplacements.

SAM 3D permet la reconstruction 3D à partir d’une seule image#

Autre aspect passionnant de l’annonce de Meta AI : SAM 3D, qui étend le projet Segment Anything à la compréhension 3D. SAM 3D peut prendre une seule image 2D et reconstruire la forme, la pose ou la structure d’un objet ou d’un corps humain en trois dimensions. En d’autres termes, le modèle peut estimer l’occupation de l’espace par un élément, même lorsqu’un seul point de vue est disponible.

SAM 3D est disponible sous la forme de deux modèles distincts : SAM 3D Objects, qui reconstruit des objets du quotidien avec leur géométrie et leur texture, et SAM 3D Body, qui estime la forme et la pose d’un corps humain à partir d’une seule image. Les deux modèles utilisent le résultat de segmentation de SAM 3, puis génèrent une représentation 3D qui correspond à l’apparence et à la position de l’objet dans la photo d’origine.

Fig. 1. Exemple d’utilisation de SAM 3D. (Source : créé avec le terrain de jeu Segment Anything de Meta AI)

SAM 3 : de nouvelles fonctionnalités pour unifier détection, segmentation et suivi#

Voici quelques-unes des principales nouveautés de SAM 3, qui réunissent détection, segmentation et suivi au sein d’un modèle unifié :

• Tâches de segmentation par concept : Avec SAM et SAM 2, la segmentation d’objets reposait sur des invites visuelles comme des clics ou des cadres. SAM 3 ajoute la possibilité de segmenter des objets à partir d’une courte expression textuelle ou d’un exemple recadré de l’image. Le modèle peut ainsi identifier toutes les instances correspondantes sans qu’il soit nécessaire de cliquer sur chacune d’elles.
• Invites textuelles à vocabulaire ouvert : Contrairement aux versions précédentes, SAM 3 peut interpréter de courtes expressions en langage naturel. Il n’est donc plus nécessaire de fournir une liste fixe d’étiquettes, et le modèle peut traiter des concepts plus précis ou moins courants.
• Un modèle pour la détection, la segmentation et le suivi : SAM 3 unifie la détection, la segmentation et le suivi dans un seul modèle, éliminant le besoin de systèmes distincts pour trouver des objets, générer des masques de segmentation et les suivre d’une image vidéo à l’autre. Cela crée un flux de travail plus cohérent et plus simple pour les images comme pour les vidéos. SAM 2 offrait déjà certaines capacités de suivi, mais SAM 3 fournit des performances nettement supérieures et plus fiables.
• Des résultats plus stables dans les scènes complexes : Comme SAM 3 peut combiner du texte, des images d’exemple et des invites visuelles, il traite les scènes encombrées ou répétitives avec plus de fiabilité que les versions précédentes, qui s’appuyaient uniquement sur des clics visuels.

Fig. 2. SAM 3 introduit la segmentation par concept à partir d’exemples textuels ou d’images. (Source)

Comparaison de SAM 3, SAM 2 et SAM 1#

Imaginons que tu regardes une vidéo de safari avec de nombreux animaux et que tu veuilles détecter et segmenter uniquement les éléphants. À quoi ressemblerait cette tâche avec les différentes versions de SAM ?

Avec SAM, tu devrais cliquer manuellement sur chaque éléphant dans chaque image pour générer un masque de segmentation. Il n’y a pas de suivi : chaque nouvelle image nécessite donc de nouveaux clics.

Avec SAM 2, tu pourrais cliquer une fois sur un éléphant, obtenir son masque, puis laisser le modèle suivre ce même éléphant dans la vidéo. Cependant, il faudrait toujours fournir des clics distincts pour segmenter plusieurs éléphants (des objets spécifiques), car SAM 2 ne comprend pas de lui-même des catégories comme « éléphant ».

Avec SAM 3, le flux de travail devient beaucoup plus simple. Tu peux saisir « éléphant » ou tracer un cadre de délimitation autour d’un seul éléphant pour fournir un exemple. Le modèle trouve alors automatiquement tous les éléphants dans la vidéo, les segmente et les suit de manière cohérente d’une image à l’autre. Il prend toujours en charge les invites par clic et par cadre des versions précédentes, mais peut désormais aussi répondre à des invites textuelles et à des images d’exemple, ce que SAM et SAM 2 ne pouvaient pas faire.

Fonctionnement du modèle SAM 3#

Voyons maintenant de plus près comment fonctionne le modèle SAM 3 et comment il a été entraîné.

Présentation de l’architecture du modèle SAM 3#

SAM 3 réunit plusieurs composants pour prendre en charge les invites conceptuelles et visuelles dans un seul système. Au cœur du modèle se trouve le Meta Perception Encoder, l’encodeur unifié open source d’images et de textes de Meta.

Cet encodeur peut traiter à la fois des images et de courtes expressions nominales. En termes simples, cela permet à SAM 3 de mieux associer le langage aux caractéristiques visuelles que les versions précédentes de Segment Anything Model.

Au-dessus de cet encodeur, SAM 3 intègre un détecteur basé sur la famille de modèles Transformer DETR. Ce détecteur identifie les objets dans l’image et aide le système à déterminer lesquels correspondent à l’invite de l’utilisateur.

Plus précisément, pour la segmentation vidéo, SAM 3 utilise un composant de suivi qui s’appuie sur la banque mémoire et l’encodeur mémoire de SAM 2. Le modèle peut ainsi conserver des informations sur les objets d’une image à l’autre afin de les réidentifier et de les suivre au fil du temps.

Fig. 3. Fonctionnement de la segmentation par concept (Source : scontent)

Le moteur de données évolutif derrière Segment Anything Model 3#

Pour entraîner SAM 3, Meta avait besoin de bien plus de données annotées que celles qui existent actuellement sur Internet. Il est difficile de créer à grande échelle des masques de segmentation et des étiquettes textuelles de haute qualité, et délimiter entièrement chaque instance d’un concept dans des images et des vidéos est lent et coûteux.

Pour résoudre ce problème, Meta a conçu un nouveau moteur de données qui combine SAM 3, d’autres modèles d’IA et le travail conjoint d’annotateurs humains. Le processus commence par un pipeline de systèmes d’IA, dont SAM 3 et un modèle de génération de légendes basé sur Llama.

Ces systèmes analysent de grandes collections d’images et de vidéos, génèrent des légendes, les convertissent en étiquettes textuelles et produisent des premières propositions de masques de segmentation. Des annotateurs humains et des systèmes d’IA examinent ensuite ces propositions.

Les systèmes d’IA chargés de l’annotation, entraînés pour atteindre voire dépasser la précision humaine dans des tâches comme le contrôle de la qualité des masques et la vérification de la couverture des concepts, filtrent les cas simples. Les humains n’interviennent que pour les exemples plus difficiles, qui peuvent encore poser problème au modèle.

Fig. 4. Moteur de données de SAM 3 (Source)

Cette approche accélère considérablement l’annotation chez Meta. En confiant les cas simples aux systèmes d’IA chargés de l’annotation, le pipeline est environ cinq fois plus rapide pour les invites négatives et 36 % plus rapide pour les invites positives dans les domaines très spécifiques.

Cette efficacité a permis d’étendre le jeu de données à plus de quatre millions de concepts uniques. La boucle continue de propositions par l’IA, de corrections humaines et de prédictions mises à jour améliore également la qualité des étiquettes au fil du temps et aide SAM 3 à apprendre un éventail bien plus large de concepts visuels et textuels.

Améliorations des performances de SAM 3#

En matière de performances, SAM 3 représente une nette amélioration par rapport aux modèles précédents. Sur le nouveau benchmark SA-Co de Meta, qui évalue la détection et la segmentation de concepts à vocabulaire ouvert, SAM 3 atteint environ deux fois les performances des systèmes précédents, aussi bien sur les images que sur les vidéos.

Il égale ou dépasse également SAM 2 sur des tâches visuelles interactives comme point-vers-masque et masque-vers-ensemble de masques. Meta fait état de gains supplémentaires sur des évaluations plus difficiles, comme LVIS en zéro-shot (où les modèles doivent reconnaître des catégories rares sans exemples d’entraînement) et le comptage d’objets (qui mesure si toutes les instances d’un objet sont détectées), ce qui met en évidence une meilleure généralisation entre les domaines.

En plus de ces gains de précision, SAM 3 est efficace : il traite une image contenant plus de 100 objets détectés en environ 30 millisecondes sur un GPU H200 et conserve des vitesses proches du temps réel lors du suivi de plusieurs objets dans une vidéo. Avec des invites textuelles, SAM 3 et le nouveau SAM 3.1 sont aussi comparés à des modèles de vision-langage pour la détection d’objets du monde réel dans le classement VLM d’Ultralytics.

Applications de Segment Anything Model 3#

Maintenant que nous comprenons mieux SAM 3, voyons comment il est utilisé dans des applications concrètes, du raisonnement avancé guidé par le texte à la recherche scientifique et aux produits de Meta.

Traiter des requêtes textuelles complexes avec SAM 3 Agent#

SAM 3 peut également être utilisé comme outil au sein d’un modèle de langage multimodal plus vaste, appelé SAM 3 Agent par Meta. Au lieu de lui donner une courte expression comme « éléphant », l’agent peut décomposer une question plus complexe en invites plus petites que SAM 3 comprend.

Par exemple, si l’utilisateur demande « Quel objet sur l’image sert à contrôler et à guider un cheval ? », l’agent essaie différentes expressions nominales, les envoie à SAM 3 et vérifie quelles propositions de masques sont pertinentes. Il les affine jusqu’à trouver le bon objet.

Même sans avoir été entraîné sur des jeux de données spécifiques au raisonnement, SAM 3 Agent obtient de bons résultats sur des benchmarks conçus pour les requêtes textuelles complexes, comme ReasonSeg et OmniLabel. Cela montre que SAM 3 peut prendre en charge des systèmes qui ont besoin à la fois de comprendre le langage et d’effectuer une segmentation visuelle détaillée.

Applications scientifiques et de conservation de SAM 3#

Il est intéressant de noter que SAM 3 est déjà utilisé dans des travaux de recherche qui nécessitent des étiquettes visuelles détaillées. Meta a collaboré avec Conservation X Labs et Osa Conservation pour créer SA-FARI, un jeu de données public de vidéos de surveillance de la faune, qui en compte plus de 10 000.

Chaque animal dans chaque image est annoté avec des cadres et des masques de segmentation, une tâche qui prendrait énormément de temps si elle était effectuée manuellement. De même, dans la recherche océanographique, SAM 3 est utilisé avec FathomNet et MBARI pour créer des masques de segmentation d’instances pour les images sous-marines et contribuer à de nouveaux benchmarks d’évaluation.

Ces jeux de données aident les scientifiques à analyser plus efficacement les séquences vidéo et à étudier des animaux et des habitats qu’il est généralement difficile de suivre à grande échelle. Les chercheurs peuvent également utiliser ces ressources pour créer leurs propres modèles d’identification des espèces, d’analyse du comportement et de surveillance écologique automatisée.

Déploiement de SAM 3 dans les produits de Meta#

En plus de ses applications de recherche, SAM 3 alimente également de nouvelles fonctionnalités et de nouveaux usages dans les produits grand public de Meta. Voici quelques exemples d’intégrations déjà en place :

• Montage sur Instagram : les créateurs peuvent appliquer des effets à une personne ou à un objet précis dans une vidéo sans devoir traiter chaque image manuellement.
• Application Meta AI et meta.ai sur le Web : SAM 3 prend en charge de nouveaux outils de modification, d’amélioration et de remixage d’images et de vidéos.
• « View in Room » de Facebook Marketplace : SAM 3 fonctionne avec SAM 3D pour permettre aux utilisateurs de visualiser des meubles ou des objets de décoration chez eux à partir d’une seule photo.
• Lunettes de recherche Aria Gen 2 : Segment Anything Model 3 aide à segmenter et à suivre les mains et les objets en vue à la première personne, au service de la RA (réalité augmentée), de la robotique et de la recherche en IA contextuelle.

Points clés à retenir#

SAM 3 représente une avancée majeure pour la segmentation. Il introduit la segmentation par concept, les invites textuelles à vocabulaire ouvert et un suivi amélioré. Avec des performances nettement supérieures sur les images comme sur les vidéos, ainsi que l’ajout de SAM 3D, cette suite de modèles ouvre de nouvelles possibilités pour l’IA visuelle, les outils créatifs, la recherche scientifique et les produits du monde réel.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l’IA. Si tu souhaites créer ton propre projet d’IA visuelle, découvre nos options de licence. Pour en savoir plus sur des applications comme l’IA dans les soins de santé et la vision par IA dans le commerce de détail, consulte nos pages de solutions.