SAM 3 im Überblick: Metas neues Segmentierungsmodell

Am 19. November 2025 veröffentlichte Meta AI das Segment Anything Model 3, auch bekannt als SAM 3. Diese neue Version des Segment Anything Model bietet neue Möglichkeiten, Objekte in realen Bildern und Videos mithilfe von Textaufforderungen, visuellen Eingaben und Bildbeispielen zu erkennen, zu segmentieren und zu verfolgen.

Das Modell SAM 3 baut auf SAM und SAM 2 auf und bringt neue Fortschritte und Funktionen wie die Konzeptsegmentierung, die Erkennung mit offenem Vokabular und die Videoverfolgung in Echtzeit mit. Es kann kurze Nominalphrasen verstehen, Objekte über mehrere Frames hinweg verfolgen und feingliedrige oder seltene Konzepte erkennen, mit denen frühere Modelle weniger zuverlässig umgehen konnten.

Im Rahmen der Veröffentlichung von SAM 3 stellte Meta außerdem SAM 3D vor. Diese Modellreihe der nächsten Generation rekonstruiert Objekte, Szenen und vollständige menschliche Körper aus einem einzigen Bild und erweitert das Segment-Anything-Ökosystem um das Verständnis von 3D. Diese Neuerungen eröffnen neue Anwendungsmöglichkeiten in den Bereichen Computer Vision, Robotik, Medienbearbeitung und kreativen Arbeitsabläufen.

In diesem Artikel sehen wir uns an, was SAM 3 ist, wodurch es sich von SAM 2 unterscheidet, wie das Modell funktioniert und welche Anwendungen es in der Praxis gibt.

Was ist SAM 3? Ein Blick auf Metas Segment Anything Model 3#

SAM 3 ist ein hochmodernes Computer-Vision-Modell, das Objekte in Bildern und Videos anhand einfacher Anweisungen erkennen, abgrenzen und verfolgen kann. Statt sich auf eine feste Liste von Bezeichnungen zu stützen, versteht SAM 3 natürliche Sprache und visuelle Hinweise. So kannst du dem Modell einfach mitteilen, wonach es suchen soll.

Mit SAM 3 kannst du zum Beispiel einen kurzen Ausdruck wie „gelber Schulbus“ oder „gestreifte Katze“ eingeben, auf ein Objekt klicken oder ein Beispiel im Bild markieren. Das Modell erkennt dann alle passenden Objekte und erstellt saubere Segmentierungsmasken – visuelle Umrisse, die genau zeigen, welche Pixel zu einem Objekt gehören. SAM 3 kann diese Objekte auch in Videobildern verfolgen und sie beim Bewegen konsistent erfassen.

SAM 3D ermöglicht die 3D-Rekonstruktion aus einem einzelnen Bild#

Ein weiterer spannender Teil der Ankündigung von Meta AI ist SAM 3D, das das Segment-Anything-Projekt auf das Verständnis von 3D erweitert. SAM 3D kann ein einzelnes 2D-Bild verwenden, um die Form, Pose oder Struktur eines Objekts oder eines menschlichen Körpers dreidimensional zu rekonstruieren. Anders gesagt: Das Modell kann abschätzen, wie etwas im Raum angeordnet ist, obwohl nur eine einzige Perspektive verfügbar ist.

SAM 3D wurde als zwei verschiedene Modelle veröffentlicht: SAM 3D Objects rekonstruiert Alltagsgegenstände mit Geometrie und Textur, während SAM 3D Body Körperform und Pose eines Menschen anhand eines einzelnen Bildes schätzt. Beide Modelle verwenden die Segmentierungsausgabe von SAM 3 und erzeugen anschließend eine 3D-Darstellung, die dem Aussehen und der Position des Objekts im Originalfoto entspricht.

Abb. 1. Ein Beispiel für die Verwendung von SAM 3D. (Quelle: Erstellt mit Metas Segment-Anything-Playground)

SAM 3: Neue Funktionen zur Vereinheitlichung von Erkennung, Segmentierung und Verfolgung#

Hier sind einige der wichtigsten Neuerungen, mit denen SAM 3 Erkennung, Segmentierung und Verfolgung in einem einheitlichen Modell zusammenführt:

• Aufgaben zur Konzeptsegmentierung: Bei SAM und SAM 2 hing die Objektsegmentierung von visuellen Prompts wie Klicks oder Rahmen ab. SAM 3 kann Objekte zusätzlich anhand einer kurzen Textformulierung oder eines Beispielausschnitts aus dem Bild segmentieren. Das bedeutet, dass das Modell alle passenden Instanzen erkennen kann, ohne dass du jede einzelne anklicken musst.
• Text-Prompts mit offenem Vokabular: Anders als frühere Versionen kann SAM 3 kurze Formulierungen in natürlicher Sprache interpretieren. Dadurch ist keine feste Liste von Bezeichnungen mehr nötig, und das Modell kann mit spezifischeren oder weniger verbreiteten Konzepten arbeiten.
• Ein Modell für Erkennung, Segmentierung und Verfolgung: SAM 3 vereint Erkennung, Segmentierung und Verfolgung in einem Modell. Dadurch sind keine separaten Systeme mehr nötig, um Objekte zu finden, Segmentierungsmasken zu erstellen und Objekte über Videoframes hinweg zu verfolgen. Das sorgt für einen konsistenteren und effizienteren Arbeitsablauf bei Bildern und Videos. SAM 2 bot zwar ebenfalls einige Funktionen zur Verfolgung, doch SAM 3 liefert deutlich stärkere und zuverlässigere Ergebnisse.
• Stabilere Ergebnisse in komplexen Szenen: Da SAM 3 Text, Beispielbilder und visuelle Prompts kombinieren kann, bewältigt es unübersichtliche oder repetitive Szenen zuverlässiger als frühere Versionen, die ausschließlich auf visuelle Klicks angewiesen waren.

Abb. 2. SAM 3 führt die Konzeptsegmentierung anhand von Text- oder Bildbeispielen ein. (Quelle)

SAM 3 im Vergleich zu SAM 2 und SAM 1#

Stell dir vor, du siehst ein Safari-Video mit vielen verschiedenen Tieren und möchtest nur die Elefanten erkennen und segmentieren. Wie würde diese Aufgabe mit den verschiedenen SAM-Versionen aussehen?

Mit SAM müsstest du in jedem Frame manuell auf jeden Elefanten klicken, um eine Segmentierungsmaske zu erstellen. Es gibt keine Verfolgung, daher sind für jeden neuen Frame wieder Klicks nötig.

Mit SAM 2 könntest du einmal auf einen Elefanten klicken, seine Maske erhalten und das Modell würde denselben Elefanten im Video verfolgen. Wenn du jedoch mehrere Elefanten (bestimmte Objekte) segmentieren möchtest, müsstest du weiterhin für jeden einzelne Klicks setzen, da SAM 2 Kategorien wie „Elefant“ nicht selbstständig versteht.

Mit SAM 3 wird der Arbeitsablauf viel einfacher. Du kannst „Elefant“ eingeben oder als Beispiel einen Rahmen um einen einzelnen Elefanten zeichnen. Das Modell findet dann automatisch alle Elefanten im Video, segmentiert sie und verfolgt sie konsistent über die Frames hinweg. Die Klick- und Rahmen-Prompts aus früheren Versionen werden weiterhin unterstützt. SAM 3 kann jetzt aber auch auf Text-Prompts und Beispielbilder reagieren – etwas, das SAM und SAM 2 nicht konnten.

So funktioniert das SAM-3-Modell#

Sehen wir uns als Nächstes genauer an, wie das SAM-3-Modell funktioniert und wie es trainiert wurde.

Überblick über die Modellarchitektur von SAM 3#

SAM 3 vereint mehrere Komponenten, um Konzept- und visuelle Prompts in einem einzigen System zu unterstützen. Im Kern verwendet das Modell den Meta Perception Encoder, Metas einheitlichen Open-Source-Encoder für Bilder und Texte.

Dieser Encoder kann sowohl Bilder als auch kurze Nominalphrasen verarbeiten. Einfach gesagt kann SAM 3 dadurch Sprache und visuelle Merkmale wirksamer miteinander verknüpfen als frühere Versionen des Segment Anything Model.

Zusätzlich zu diesem Encoder umfasst SAM 3 einen Detektor, der auf der DETR-Familie von Transformer-Modellen basiert. Dieser Detektor erkennt Objekte im Bild und hilft dem System zu bestimmen, welche Objekte dem Prompt des Nutzers entsprechen.

Für die Videosegmentierung verwendet SAM 3 eine Tracking-Komponente, die auf der Speicherbank und dem Speicher-Encoder von SAM 2 aufbaut. So kann das Modell Informationen zu Objekten über mehrere Frames hinweg speichern und sie im Zeitverlauf wiedererkennen und verfolgen.

Abb. 3. So funktioniert die Segmentierung beliebiger Objekte anhand von Konzepten (Quelle: scontent)

Die skalierbare Datenpipeline hinter Segment Anything Model 3#

Für das Training von SAM 3 benötigte Meta deutlich mehr annotierte Daten, als derzeit im Internet verfügbar sind. Hochwertige Segmentierungsmasken und Textbezeichnungen lassen sich nur schwer in großem Maßstab erstellen. Außerdem ist es langsam und teuer, jede Instanz eines Konzepts in Bildern und Videos vollständig zu umranden.

Um dieses Problem zu lösen, entwickelte Meta eine neue Datenpipeline, die SAM 3 selbst, zusätzliche KI-Modelle und menschliche Annotatoren zusammenführt. Der Arbeitsablauf beginnt mit einer Pipeline aus KI-Systemen, darunter SAM 3 und ein auf Llama basierendes Modell zur Bildbeschreibung.

Diese Systeme durchsuchen große Sammlungen von Bildern und Videos, erstellen Bildbeschreibungen, wandeln diese Beschreibungen in Textbezeichnungen um und erzeugen erste Vorschläge für Segmentierungsmasken. Anschließend prüfen menschliche und KI-gestützte Annotatoren diese Vorschläge.

Die KI-gestützten Annotatoren wurden darauf trainiert, bei Aufgaben wie der Prüfung der Maskenqualität und der Überprüfung der Konzeptabdeckung mindestens die Genauigkeit von Menschen zu erreichen. Sie filtern einfache Fälle heraus. Menschen kommen nur bei schwierigeren Beispielen zum Einsatz, bei denen das Modell noch Probleme haben kann.

Abb. 4. Datenpipeline von SAM 3 (Quelle)

Dieser Ansatz steigert die Annotationsgeschwindigkeit bei Meta erheblich. Wenn KI-gestützte Annotatoren einfache Fälle übernehmen, wird die Pipeline bei negativen Prompts etwa fünfmal schneller und bei positiven Prompts in feingranularen Anwendungsbereichen um 36 % schneller.

Dank dieser Effizienz ließ sich der Datensatz auf mehr als vier Millionen einzigartige Konzepte erweitern. Die kontinuierliche Abfolge von KI-Vorschlägen, menschlichen Korrekturen und aktualisierten Modellvorhersagen verbessert außerdem mit der Zeit die Qualität der Bezeichnungen und hilft SAM 3, ein wesentlich breiteres Spektrum visueller und textbasierter Konzepte zu erlernen.

Leistungsverbesserungen von SAM 3#

Was die Leistung angeht, verbessert sich SAM 3 deutlich gegenüber früheren Modellen. Beim neuen SA-Co-Benchmark von Meta, der Erkennung und Segmentierung von Konzepten mit offenem Vokabular bewertet, erzielt SAM 3 sowohl bei Bildern als auch bei Videos ungefähr die doppelte Leistung früherer Systeme.

Bei interaktiven visuellen Aufgaben wie Punkt-zu-Maske und Maske-zu-Masklet erreicht SAM 2 vergleichbare oder bessere Ergebnisse. Meta berichtet außerdem von zusätzlichen Leistungssteigerungen bei anspruchsvolleren Tests wie LVIS im Zero-Shot-Verfahren (bei dem Modelle seltene Kategorien ohne Trainingsbeispiele erkennen müssen) und beim Zählen von Objekten (wobei gemessen wird, ob alle Instanzen eines Objekts erkannt werden). Das zeigt eine stärkere Generalisierung über verschiedene Bereiche hinweg.

Zusätzlich zu diesen Genauigkeitsverbesserungen ist SAM 3 effizient: Auf einer H200-GPU verarbeitet es ein Bild mit mehr als 100 erkannten Objekten in etwa 30 Millisekunden und erreicht beim Verfolgen mehrerer Objekte in Videos nahezu Echtzeitgeschwindigkeit. Mit Textvorgaben werden SAM 3 und das neuere SAM 3.1 auf der Ultralytics VLM Leaderboard ebenfalls mit Vision-Language-Modellen bei der Objekterkennung in realen Szenarien verglichen.

Anwendungen von Segment Anything Model 3#

Nachdem wir nun SAM 3 besser kennen, sehen wir uns an, wie es in praktischen Anwendungen zum Einsatz kommt – von fortgeschrittenem, textgesteuertem Schlussfolgern bis hin zu wissenschaftlicher Forschung und Metas eigenen Produkten.

Komplexe Textanfragen mit SAM 3 Agent bearbeiten#

SAM 3 kann auch als Werkzeug innerhalb eines größeren multimodalen Sprachmodells eingesetzt werden, das Meta SAM 3 Agent nennt. Statt SAM 3 eine kurze Formulierung wie „Elefant“ zu geben, kann der Agent eine kompliziertere Frage in kleinere Prompts aufteilen, die SAM 3 versteht.

Wenn der Nutzer zum Beispiel fragt: „Welcher Gegenstand auf dem Bild wird dazu verwendet, ein Pferd zu lenken und zu führen?“, probiert der Agent verschiedene Nominalphrasen aus, übermittelt sie an SAM 3 und prüft, welche Masken sinnvoll sind. Er verfeinert die Suche so lange, bis er den richtigen Gegenstand gefunden hat.

Obwohl SAM 3 Agent nicht mit speziellen Datensätzen für Schlussfolgerungen trainiert wurde, schneidet es bei Benchmarks für komplexe Textanfragen wie ReasonSeg und OmniLabel gut ab. Das zeigt, dass SAM 3 Systeme unterstützen kann, die sowohl Sprachverständnis als auch feingranulare visuelle Segmentierung benötigen.

Wissenschaftliche Anwendungen und Naturschutzanwendungen von SAM 3#

Interessanterweise wird SAM 3 bereits in Forschungsprojekten eingesetzt, in denen detaillierte visuelle Bezeichnungen wichtig sind. Meta arbeitete mit Conservation X Labs und Osa Conservation zusammen, um SA-FARI aufzubauen, einen öffentlich zugänglichen Datensatz zur Beobachtung von Wildtieren mit mehr als 10.000 Videos von Kamerafallen.

Jedes Tier in jedem Frame wird mit Rahmen und Segmentierungsmasken gekennzeichnet – eine Aufgabe, deren manuelle Annotation äußerst zeitaufwendig wäre. Auch in der Meeresforschung wird SAM 3 gemeinsam mit FathomNet und MBARI zur Erstellung von Instanzsegmentierungsmasken für Unterwasseraufnahmen und zur Unterstützung neuer Evaluierungsbenchmarks eingesetzt.

Solche Datensätze helfen Wissenschaftlern, Videoaufnahmen effizienter zu analysieren und Tiere sowie Lebensräume zu untersuchen, deren Beobachtung in großem Maßstab normalerweise schwierig ist. Forschende können diese Ressourcen auch nutzen, um eigene Modelle zur Artenbestimmung, Verhaltensanalyse und automatisierten ökologischen Überwachung zu entwickeln.

Wie Meta SAM 3 in seinen Produkten einsetzt#

Neben seinen Forschungsanwendungen ermöglicht SAM 3 auch neue Funktionen und Anwendungsfälle in Metas Produkten für Verbraucher. Hier ein kurzer Überblick über einige der bereits integrierten Einsatzmöglichkeiten:

• Instagram-Bearbeitungen: Kreative können Effekte auf eine bestimmte Person oder ein bestimmtes Objekt in einem Video anwenden, ohne die Frames manuell einzeln bearbeiten zu müssen.
• Meta-AI-App und meta.ai im Web: SAM 3 unterstützt neue Werkzeuge zum Bearbeiten, Verbessern und Remixen von Bildern und Videos.
• „Ansicht im Raum“ auf Facebook Marketplace: SAM 3 arbeitet mit SAM 3D zusammen, damit Nutzer Möbel oder Dekoration anhand eines einzelnen Fotos in den eigenen vier Wänden ansehen können.
• Forschungsbrille Aria Gen 2: Segment Anything Model 3 hilft dabei, Hände und Objekte aus der Ich-Perspektive zu segmentieren und zu verfolgen und unterstützt so Forschung zu AR (erweiterter Realität), Robotik und kontextbezogener KI.

Die wichtigsten Erkenntnisse#

SAM 3 ist ein spannender Fortschritt für die Segmentierung. Es führt Konzeptsegmentierung und Text-Prompts mit offenem Vokabular ein und verbessert die Objektverfolgung. Dank deutlich stärkerer Leistung bei Bildern und Videos sowie der Ergänzung durch SAM 3D eröffnet die Modellreihe neue Möglichkeiten für visuelle KI, kreative Werkzeuge, wissenschaftliche Forschung und Produkte für die Praxis.

Tritt unserer Community bei und sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Wenn du dein eigenes Projekt im Bereich visuelle KI entwickeln möchtest, sieh dir unsere Lizenzoptionen an. Erfahre auf unseren Lösungsseiten mehr über Anwendungen wie KI im Gesundheitswesen und visuelle KI im Einzelhandel.