Entdeckung von SAM 3: Meta AI's neues Segment Anything Model

Am 19. November 2025 hat Meta AI das Segment Anything Model 3, auch bekannt als SAM 3, veröffentlicht. Diese neueste Version des Segment Anything Model führt neue Möglichkeiten ein, um Objekte in realen Bildern und Videos mithilfe von Texteingaben, visuellen Prompts und Bildbeispielen zu erkennen, zu segmentieren und zu verfolgen.

Das SAM 3-Modell baut auf SAM und SAM 2 auf und bringt neue Weiterentwicklungen und Funktionen wie Konzeptsegmentierung, Open-Vocabulary-Erkennung und Echtzeit-Videoverfolgung mit sich. Es kann kurze Nomenphrasen verstehen, Objekte über Frames hinweg verfolgen und feingranulare oder seltene Konzepte identifizieren, die frühere Modelle nicht so konsistent verarbeiten konnten.

Als Teil der SAM 3-Veröffentlichung hat Meta außerdem SAM 3D vorgestellt. Diese Suite von Modellen der nächsten Generation rekonstruiert Objekte, Szenen und vollständige menschliche Körper aus einem einzigen Bild und erweitert das Segment Anything-Ökosystem auf das 3D-Verständnis. Diese Ergänzungen eröffnen neue Anwendungen in den Bereichen computer vision, Robotik, Videobearbeitung und kreative Workflows.

In diesem Artikel werden wir untersuchen, was SAM 3 ist, wodurch es sich von SAM 2 unterscheidet, wie das Modell funktioniert und wo seine realen Anwendungen liegen. Fangen wir an!

Was ist SAM 3? Ein Blick auf Metas Segment Anything Model 3#

SAM 3 ist ein hochmodernes computer vision model, das Objekte in Bildern und Videos anhand einfacher Anweisungen identifizieren, trennen und verfolgen kann. Anstatt sich auf eine feste Liste von Labels zu verlassen, versteht SAM 3 natürliche Sprache und visuelle Hinweise, wodurch es einfach ist, dem Modell zu sagen, was du finden möchtest.

Mit SAM 3 kannst du zum Beispiel einen kurzen Satz wie „gelber Schulbus“ oder „eine gestreifte Katze“ eingeben, auf ein Objekt klicken oder ein Beispiel in einem Bild markieren. Das Modell erkennt dann jedes passende Objekt und generiert saubere Segmentierungsmasken (einen visuellen Umriss, der genau zeigt, welche Pixel zu einem Objekt gehören). SAM 3 kann diesen Objekten auch über Videoframes hinweg folgen und sie konsistent halten, während sie sich bewegen.

SAM 3D ermöglicht 3D-Rekonstruktion aus einem einzigen Bild#

Ein weiterer aufregender Teil der Ankündigung von Meta AI ist SAM 3D, welches das Segment Anything-Projekt auf das 3D understanding ausweitet. SAM 3D kann ein einzelnes 2D-Bild nehmen und die Form, Pose oder Struktur eines Objekts oder eines menschlichen Körpers in drei Dimensionen rekonstruieren. Mit anderen Worten kann das Modell abschätzen, wie etwas den Raum einnimmt, selbst wenn nur ein einziger Blickwinkel verfügbar ist.

SAM 3D wurde als zwei verschiedene Modelle veröffentlicht: SAM 3D Objects, das alltägliche Gegenstände mit Geometrie und Textur rekonstruiert, und SAM 3D Body, das die Form und Pose eines menschlichen Körpers aus einem einzigen Bild schätzt. Beide Modelle verwenden die Segmentierungsausgabe von SAM 3 und generieren dann eine 3D-Repräsentation, die mit dem Aussehen und der Position des Objekts im Originalfoto übereinstimmt.

Abb. 1. Ein Beispiel für die Verwendung von SAM 3D. (Quelle: Erstellt mit dem Segment Anything Playground von Meta AI)

SAM 3: Neue Funktionen zur Vereinheitlichung von Erkennung, Segmentierung und Tracking#

Hier sind einige der wichtigsten Updates, die SAM 3 einführt, um Erkennung, Segmentierung und Tracking in einem einheitlichen Modell zusammenzuführen:

• Konzeptsegmentierungsaufgaben: In SAM und SAM 2 hing die Objektsegmentierung von visuellen Prompts wie Klicks oder Boxen ab. SAM 3 fügt die Fähigkeit hinzu, Objekte basierend auf einem kurzen Textausdruck oder einem Beispielausschnitt aus dem Bild zu segmentieren. Das bedeutet, das Modell kann alle übereinstimmenden Instanzen identifizieren, ohne für jede einzelne einen Klick zu erfordern.
• Open-Vocabulary-Text-Prompts: Im Gegensatz zu früheren Versionen kann SAM 3 kurze Sätze in natürlicher Sprache interpretieren. Dies macht eine feste Label-Liste überflüssig und ermöglicht es dem Modell, mit spezifischeren oder weniger verbreiteten Konzepten zu arbeiten.
• Ein Modell für Erkennung, Segmentierung und Tracking: SAM 3 vereinheitlicht Erkennung, Segmentierung und Tracking in einem Modell und macht separate Systeme überflüssig, um Objekte zu finden, Segmentierungsmasken zu erstellen und sie über Videoframes hinweg zu verfolgen. Dies schafft einen konsistenteren und effizienteren Workflow sowohl für Bilder als auch für Videos. Während SAM 2 auch einige Tracking-Funktionen bot, liefert SAM 3 eine deutlich stärkere und zuverlässigere Leistung.
• Stabilere Ergebnisse in komplexen Szenen: Da SAM 3 Text, Beispielbilder und visuelle Prompts kombinieren kann, kann es mit unübersichtlichen oder repetitiven Szenen zuverlässiger umgehen als frühere Versionen, die sich nur auf visuelle Klicks verließen.

Abb. 2: SAM 3 führt Konzeptsegmentierung mit Text- oder Bildbeispielen ein. (Quelle)

Vergleich von SAM 3 vs. SAM 2 vs. SAM 1#

Nehmen wir an, du schaust dir ein Safari-Video mit vielen verschiedenen Tieren an und möchtest nur die Elefanten erkennen und segmentieren. Wie würde diese Aufgabe in den verschiedenen Versionen von SAM aussehen?

Mit SAM müsstest du manuell auf jeden Elefanten in jedem Frame klicken, um eine Segmentierungsmaske zu erstellen. Es gibt kein Tracking, daher erfordert jeder neue Frame neue Klicks.

Mit SAM 2 könntest du einmal auf einen Elefanten klicken, seine Maske erhalten und das Modell würde diesen einen Elefanten durch das Video verfolgen. Du müsstest jedoch immer noch separate Klicks bereitstellen, wenn du mehrere Elefanten (spezifische Objekte) segmentieren möchtest, da SAM 2 Kategorien wie „Elefant“ nicht von sich aus versteht.

Mit SAM 3 wird der Workflow viel einfacher. Du kannst „Elefant“ tippen oder eine Bounding Box um einen einzelnen Elefanten zeichnen, um ein Beispiel zu geben, und das Modell findet automatisch jeden Elefanten im Video, segmentiert ihn und verfolgt ihn konsistent über alle Frames hinweg. Es unterstützt weiterhin die Klick- und Box-Prompts aus früheren Versionen, kann jetzt aber auch auf Text-Prompts und Beispielbilder reagieren – etwas, das SAM und SAM 2 nicht konnten.

Wie das SAM 3 Modell funktioniert#

Als Nächstes schauen wir uns genauer an, wie das SAM 3 Modell funktioniert und wie es trainiert wurde.

Ein Überblick über die Modellarchitektur von SAM 3#

SAM 3 bringt mehrere Komponenten zusammen, um Konzept-Prompts und visuelle Prompts in einem einzigen System zu unterstützen. Im Kern verwendet das Modell den Meta Perception Encoder, Metas einheitlichen Open-Source-Bild-Text-Encoder.

Dieser Encoder kann sowohl Bilder als auch kurze Nomen-Phrasen verarbeiten. Einfach gesagt erlaubt dies SAM 3, Sprache und visuelle Merkmale effektiver zu verknüpfen als frühere Versionen des Segment Anything Model.

Auf diesem Encoder aufbauend enthält SAM 3 einen Detektor, der auf der DETR-Familie von Transformer-Modellen basiert. Dieser Detektor identifiziert Objekte im Bild und hilft dem System zu bestimmen, welche Objekte dem Prompt des Benutzers entsprechen.

Speziell für die Videosegmentierung verwendet SAM 3 eine Tracking-Komponente, die auf der Memory Bank und dem Memory Encoder von SAM 2 aufbaut. Dies ermöglicht es dem Modell, Informationen über Objekte über Frames hinweg zu speichern, sodass es sie im Laufe der Zeit wiedererkennt und verfolgen kann.

Abb. 3. Wie Segment Anything mit Konzepten funktioniert (Quelle: scontent)

Die skalierbare Data Engine hinter dem Segment Anything Model 3#

Um SAM 3 zu trainieren, benötigte Meta weitaus mehr annotierte Daten, als derzeit im Internet existieren. Hochwertige Segmentierungsmasken und Textlabels sind in großem Maßstab schwer zu erstellen, und jede Instanz eines Konzepts in Bildern und Videos vollständig zu umreißen, ist langsam und teuer.

Um dies zu lösen, hat Meta eine neue Daten-Engine entwickelt, die SAM 3 selbst, zusätzliche KI-Modelle und menschliche Annotatoren zusammenbringt. Der Workflow beginnt mit einer Pipeline aus KI-Systemen, darunter SAM 3 und ein auf Llama basierendes Captioning-Modell.

Diese Systeme scannen große Sammlungen von Bildern und Videos, generieren Bildunterschriften, konvertieren diese in Textlabels und erstellen erste Kandidaten für Segmentierungsmasken. Menschliche und KI-Annotatoren überprüfen dann diese Kandidaten.

Die KI-Annotatoren, die darauf trainiert sind, die menschliche Genauigkeit bei Aufgaben wie der Überprüfung der Maskenqualität und der Verifizierung der Konzeptabdeckung zu erreichen oder sogar zu übertreffen, filtern einfache Fälle heraus. Menschen greifen nur bei anspruchsvolleren Beispielen ein, bei denen das Modell möglicherweise noch Schwierigkeiten hat.

Abb. 4: SAM 3 Daten-Engine (Quelle)

Dieser Ansatz verschafft Meta einen großen Schub bei der Annotationsgeschwindigkeit. Indem KI-Annotatoren einfache Fälle bearbeiten, wird die Pipeline bei negativen Prompts etwa fünfmal schneller und bei positiven Prompts in feinkörnigen Bereichen um 36 % schneller.

Diese Effizienz ermöglichte es, den Datensatz auf mehr als vier Millionen einzigartige Konzepte zu skalieren. Die ständige Schleife aus KI-Vorschlägen, menschlichen Korrekturen und aktualisierten Modellvorhersagen verbessert zudem die Label-Qualität im Laufe der Zeit und hilft SAM 3, ein viel breiteres Spektrum an visuellen und textbasierten Konzepten zu erlernen.

Leistungsverbesserungen von SAM 3#

In Bezug auf die Leistung bietet SAM 3 eine klare Verbesserung gegenüber früheren Modellen. Auf Metas neuem SA-Co-Benchmark, der Open-Vocabulary-Konzept-Erkennung und -Segmentierung bewertet, erreicht SAM 3 etwa die doppelte Leistung früherer Systeme sowohl bei Bildern als auch bei Videos.

Es erreicht oder übertrifft SAM 2 auch bei interaktiven visuellen Aufgaben wie Point-to-Mask und Mask-to-Masklet. Meta berichtet von weiteren Gewinnen bei härteren Evaluationen wie Zero-Shot LVIS (wobei Modelle seltene Kategorien ohne Trainingsbeispiele erkennen müssen) und Objektzählung (wobei gemessen wird, ob alle Instanzen eines Objekts erkannt werden), was eine stärkere Generalisierung über verschiedene Domänen hinweg unterstreicht.

Zusätzlich zu diesen Genauigkeitsverbesserungen ist SAM 3 effizient: Es verarbeitet ein Bild mit mehr als 100 erkannten Objekten in etwa 30 Millisekunden auf einer H200 GPU und behält bei der Verfolgung mehrerer Objekte in Videos nahezu Echtzeitgeschwindigkeit bei.

Anwendungen des Segment Anything Model 3#

Nachdem wir nun ein besseres Verständnis von SAM 3 haben, gehen wir durch, wie es in realen Anwendungen eingesetzt wird, von fortschrittlicher textgesteuerter Schlussfolgerung bis hin zur wissenschaftlichen Forschung und Metas eigenen Produkten.

Umgang mit komplexen Textanfragen mithilfe des SAM 3 Agent#

SAM 3 kann auch als Werkzeug innerhalb eines größeren multimodalen Sprachmodells verwendet werden, das Meta den SAM 3 Agent nennt. Anstatt SAM 3 einen kurzen Ausdruck wie „Elefant“ zu geben, kann der Agent eine kompliziertere Frage in kleinere Prompts aufteilen, die SAM 3 versteht.

Wenn der Benutzer beispielsweise fragt: „Welches Objekt auf dem Bild wird zum Steuern und Lenken eines Pferdes verwendet?“, probiert der Agent verschiedene Nomen-Phrasen aus, sendet sie an SAM 3 und überprüft, welche Masken Sinn ergeben. Er verfeinert das Ergebnis so lange, bis er das richtige Objekt findet.

Auch ohne auf speziellen Reasoning-Datensätzen trainiert zu sein, schneidet der SAM 3 Agent bei Benchmarks für komplexe Textanfragen wie ReasonSeg und OmniLabel gut ab. Dies zeigt, dass SAM 3 Systeme unterstützen kann, die sowohl Sprachverständnis als auch feinkörnige visuelle Segmentierung benötigen.

Wissenschaftliche und naturschutzbezogene Anwendungen von SAM 3#

Interessanterweise wird SAM 3 bereits in Forschungsumgebungen eingesetzt, in denen detaillierte visuelle Labels wichtig sind. Meta arbeitete mit Conservation X Labs und Osa Conservation zusammen, um SA-FARI zu erstellen, einen öffentlichen Datensatz zur Überwachung wildlebender Tiere mit mehr als 10.000 Wildkamera-Videos.

Jedes Tier in jedem Frame wird mit Boxen und Segmentierungsmasken versehen, was von Hand extrem zeitaufwändig zu annotieren wäre. Ähnlich wird SAM 3 in der Ozeanforschung zusammen mit FathomNet und MBARI eingesetzt, um Instanzsegmentierungsmasken für underwater imagery zu erstellen und neue Evaluierungs-Benchmarks zu unterstützen.

Solche Datensätze helfen Wissenschaftlern, Videomaterial effizienter zu analysieren und Tiere sowie Lebensräume zu untersuchen, die normalerweise schwer in großem Maßstab zu verfolgen sind. Forscher können diese Ressourcen auch nutzen, um eigene Modelle zur Artenidentifikation, Verhaltensanalyse und automatisierten ökologischen Überwachung zu entwickeln.

Wie Meta SAM 3 in seinen Produkten einsetzt#

Zusätzlich zu Forschungszwecken treibt SAM 3 auch neue Funktionen und Anwendungsfälle in den Verbraucherprodukten von Meta an. Hier ist ein Einblick in einige der Möglichkeiten, wie es bereits integriert wird:

• Instagram-Bearbeitungen: Ersteller können Effekte auf eine bestimmte Person oder ein Objekt in einem Video anwenden, ohne manuell Bild für Bild arbeiten zu müssen.
• Meta AI App und meta.ai im Web: SAM 3 unterstützt neue Werkzeuge zum Modifizieren, Verbessern und Remixen von Bildern und Videos.
• Facebook Marketplace „Im Raum ansehen“: SAM 3 arbeitet mit SAM 3D zusammen, damit Nutzer Möbel oder Dekoration mithilfe eines einzigen Fotos in ihrem Zuhause betrachten können.
• Aria Gen 2 research glasses: Das Segment Anything Model 3 hilft dabei, Hände und Objekte aus einer Ich-Perspektive zu segmentieren und zu verfolgen, und unterstützt damit AR (Augmented Reality), Robotik und kontextbezogene KI-Forschung.

Wichtige Erkenntnisse#

SAM 3 ist ein spannender Schritt vorwärts für die Segmentierung. Es führt Konzeptsegmentierung, Open-Vocabulary-Text-Prompts und verbessertes Tracking ein. Mit einer spürbar stärkeren Leistung bei Bildern und Videos sowie der Ergänzung durch SAM 3D eröffnet die Modell-Suite neue Möglichkeiten für Vision AI, kreative Werkzeuge, wissenschaftliche Forschung und reale Produkte.

Werde Teil von unserer Community und entdecke unser GitHub repository, um mehr über KI zu erfahren. Wenn du dein eigenes Vision-AI-Projekt entwickeln möchtest, sieh dir unsere Lizenzierungsoptionen an. Erfahre mehr über Anwendungen wie AI in healthcare und Vision AI in retail, indem du unsere Lösungsseiten besuchst.