Anwendungen von Metas Segment Anything Model 2 (SAM 2)

Am 29. Juli 2024 veröffentlichte Meta AI die zweite Version ihres Segmentierungsmodells für beliebige Objekte, SAM 2. Das neue Modell kann sowohl in Bildern als auch in Videos genau bestimmen, welche Pixel zu einem Zielobjekt gehören! Besonders praktisch ist, dass das Modell in Echtzeit zuverlässig ein Objekt über alle Einzelbilder eines Videos hinweg verfolgen kann. SAM 2 eröffnet spannende Möglichkeiten für die Videobearbeitung, Erlebnisse mit gemischter Realität und eine schnellere Annotation visueller Daten zum Trainieren von Computer-Vision-Systemen.

Aufbauend auf dem Erfolg des ursprünglichen SAM, das in Bereichen wie der Meeresforschung, der Satellitenbildauswertung und der Medizin eingesetzt wurde, bewältigt SAM 2 Herausforderungen wie sich schnell bewegende Objekte und Veränderungen des Erscheinungsbilds. Seine verbesserte Genauigkeit und Effizienz machen es zu einem vielseitig einsetzbaren Werkzeug für zahlreiche Anwendungen. In diesem Artikel konzentrieren wir uns darauf, wo SAM 2 eingesetzt werden kann und warum es für die KI-Community relevant ist.

Was ist SAM 2?#

Das Segmentierungsmodell für beliebige Objekte 2 ist ein fortschrittliches Basismodell, das sowohl in Bildern als auch in Videos eine promptgesteuerte visuelle Segmentierung (PVS) unterstützt. PVS ist eine Technik, bei der ein Modell verschiedene Teile eines Bildes oder Videos anhand spezifischer Eingaben oder Vorgaben des Benutzers segmentieren oder identifizieren kann. Diese Vorgaben können aus Klicks, Boxen oder Masken bestehen, die den interessierenden Bereich hervorheben. Anschließend erzeugt das Modell eine Segmentierungsmaske, die den angegebenen Bereich umreißt.

Die SAM-2-Architektur baut auf dem ursprünglichen SAM auf und erweitert die Bildsegmentierung um die Videosegmentierung. Sie verfügt über einen kompakten Maskendekodierer, der Bilddaten und Vorgaben verwendet, um Segmentierungsmasken zu erstellen. Für Videos führt SAM 2 ein Speichersystem ein, das Informationen aus vorherigen Einzelbildern speichert und so über die Zeit eine präzise Verfolgung ermöglicht. Das Speichersystem umfasst Komponenten, die Details zu den segmentierten Objekten speichern und wieder abrufen. SAM 2 kann außerdem Verdeckungen verarbeiten, Objekte über mehrere Einzelbilder hinweg verfolgen und mehrdeutige Vorgaben bewältigen, indem es mehrere mögliche Masken erzeugt. Dank seiner fortschrittlichen Architektur eignet sich SAM 2 besonders gut für statische und dynamische visuelle Umgebungen.

Insbesondere bei der Videosegmentierung erreicht SAM 2 im Vergleich zu früheren Methoden eine höhere Genauigkeit bei dreimal weniger Interaktionen durch den Benutzer. Bei der Bildsegmentierung übertrifft SAM 2 das ursprüngliche Segmentierungsmodell für beliebige Objekte (SAM) und ist sechsmal schneller und genauer. Diese Verbesserung wurde in der Forschungsarbeit zu SAM 2 anhand von 37 verschiedenen Datensätzen gezeigt, darunter 23 Datensätze, mit denen SAM zuvor getestet worden war.

Abb. 1: Vergleich von SAM und SAM 2.

Interessanterweise wurde Metas SAM 2 entwickelt, indem der bisher größte Datensatz zur Videosegmentierung erstellt wurde: der SA-V-Datensatz. Der umfangreiche Datensatz umfasst mehr als 50.000 Videos und 35,5 Millionen Segmentierungsmasken und wurde durch interaktive Beiträge von Benutzern zusammengestellt. Annotatoren lieferten Vorgaben und Korrekturen, damit das Modell aus einer Vielzahl von Szenarien und Objekttypen lernen konnte.

Anwendungen des Segmentierungsmodells für beliebige Objekte 2#

Dank seiner fortschrittlichen Fähigkeiten zur Bild- und Videosegmentierung kann SAM 2 in zahlreichen Branchen eingesetzt werden. Sehen wir uns einige dieser Anwendungen an.

SAM 2 ermöglicht erweiterte Realität (AR) und virtuelle Realität (VR)#

Das neue Segmentierungsmodell von Meta AI kann für Anwendungen in der erweiterten Realität (AR) und der virtuellen Realität (VR) eingesetzt werden. SAM 2 kann beispielsweise reale Objekte präzise identifizieren und segmentieren und die Interaktion mit virtuellen Objekten realistischer wirken lassen. Das kann in verschiedenen Bereichen wie Spielen, der Bildung und Schulungen nützlich sein, in denen eine realistische Interaktion zwischen virtuellen und realen Elementen entscheidend ist.

Da Geräte wie AR-Brillen immer leistungsfähiger werden, könnten die Fähigkeiten von SAM 2 schon bald in sie integriert werden. Stell dir vor, du setzt eine Brille auf und blickst dich in deinem Wohnzimmer um. Wenn deine Brille den Wassernapf deines Hundes segmentiert und erkennt, könnte sie dich daran erinnern, ihn nachzufüllen, wie im Bild unten dargestellt. Oder wenn du ein neues Rezept kochst, könnte die Brille die Zutaten auf deiner Arbeitsfläche identifizieren und dir Schritt-für-Schritt-Anweisungen und Tipps geben, wodurch dein Kocherlebnis verbessert wird und du alle benötigten Zutaten zur Hand hast.

Abb. 2: SAM 2 könnte schon bald in AR-Brillen eingesetzt werden.

Sonarbildgebung mit dem Segmentierungsmodell für beliebige Objekte 2#

Forschungsarbeiten mit dem Modell SAM haben gezeigt, dass es in spezialisierten Bereichen wie der Sonarbildgebung eingesetzt werden kann. Die Sonarbildgebung bringt aufgrund ihrer niedrigen Auflösung, des hohen Rauschpegels und der komplexen Formen der Objekte in den Bildern besondere Herausforderungen mit sich. Durch die Feinabstimmung von SAM für Sonarbilder haben Forscher gezeigt, dass das Modell verschiedene Unterwasserobjekte wie Meeresmüll, geologische Formationen und andere interessante Objekte präzise segmentieren kann. Präzise und zuverlässige Unterwasseraufnahmen können in der Meeresforschung, der Unterwasserarchäologie, der Fischereiverwaltung und bei Überwachungsaufgaben wie der Kartierung von Lebensräumen, der Entdeckung von Artefakten und der Erkennung von Gefahren eingesetzt werden.

Abb. 3. Beispiel für den Einsatz von feinabgestimmtem SAM zur Segmentierung von Sonarbildern.

Da SAM 2 aufbaut auf und viele der Herausforderungen verbessert, mit denen SAM konfrontiert ist, kann es die Analyse von Sonarbildern weiter verbessern. Seine präzisen Segmentierungsfähigkeiten können verschiedene Anwendungen in der Meeresforschung unterstützen, darunter wissenschaftliche Forschung und Fischerei. SAM 2 kann beispielsweise Unterwasserstrukturen effektiv umreißen, Meeresmüll erkennen und Objekte in vorausschauenden Sonarbildern identifizieren, was zu einer genaueren und effizienteren Erkundung und Überwachung der Unterwasserwelt beiträgt.

Hier sind die möglichen Vorteile des Einsatzes von SAM 2 zur Analyse von Sonarbildern:

• Effizienz: Reduziert den Zeitaufwand und die Arbeit für die manuelle Segmentierung, sodass sich Fachleute stärker auf Analyse und Entscheidungsfindung konzentrieren können.
• Konsistenz: Liefert konsistente und reproduzierbare Segmentierungsergebnisse, die für groß angelegte Forschung und Überwachung im Meeresbereich unerlässlich sind.
• Vielseitigkeit: Kann eine große Bandbreite an Sonarbildern verarbeiten und ist dadurch für vielfältige Anwendungen in Meeresforschung und -industrie geeignet.

Durch die Integration von SAM 2 in Prozesse der Sonarbildgebung kann die Meeresindustrie bei der Erkundung und Analyse der Unterwasserwelt eine höhere Effizienz, Genauigkeit und Zuverlässigkeit erreichen, was letztlich zu besseren Ergebnissen in der Meeresforschung führt.

Einsatz von SAM 2 in autonomen Fahrzeugen#

Eine weitere Anwendung von SAM 2 liegt in autonomen Fahrzeugen. SAM 2 kann Objekte wie Fußgänger, andere Fahrzeuge, Verkehrsschilder und Hindernisse in Echtzeit präzise identifizieren. Der Detailgrad, den SAM 2 liefern kann, ist entscheidend für Entscheidungen zur sicheren Navigation und Kollisionsvermeidung. Durch die präzise Verarbeitung visueller Daten trägt SAM 2 zur Erstellung einer detaillierten und zuverlässigen Umgebungskarte bei und ermöglicht bessere Entscheidungen.

Abb. 4. Einsatz von Segmentierung zum Verständnis des Verkehrs.

Die Fähigkeit von SAM 2, unter unterschiedlichen Lichtverhältnissen, bei wechselndem Wetter und in dynamischen Umgebungen zuverlässig zu arbeiten, macht das Modell für autonome Fahrzeuge geeignet. Ob auf einer belebten Straße in der Stadt oder auf einer nebligen Autobahn – SAM 2 kann Objekte konsistent und präzise identifizieren und segmentieren, sodass das Fahrzeug angemessen auf verschiedene Situationen reagieren kann.

Dennoch gibt es einige Einschränkungen, die du beachten solltest. Bei komplexen, sich schnell bewegenden Objekten kann SAM 2 manchmal feine Details übersehen, und seine Vorhersagen können über mehrere Einzelbilder hinweg instabil werden. Außerdem kann SAM 2 in dicht bevölkerten Szenen gelegentlich mehrere ähnlich aussehende Objekte verwechseln. Diese Herausforderungen machen die Integration zusätzlicher Sensoren und Technologien für Anwendungen im autonomen Fahren besonders wichtig.

Umweltüberwachung mit SAM 2#

Die Umweltüberwachung mithilfe von Computer Vision kann schwierig sein, insbesondere wenn annotierte Daten fehlen – genau das macht sie jedoch zu einer interessanten Anwendung für SAM 2. SAM 2 kann eingesetzt werden, um Veränderungen in Naturlandschaften zu verfolgen und zu analysieren, indem es verschiedene Umweltmerkmale wie Wälder, Gewässer, städtische Gebiete und landwirtschaftliche Flächen in Satelliten- oder Drohnenbildern präzise segmentiert und identifiziert. Eine präzise Segmentierung hilft insbesondere dabei, Abholzung, Verstädterung und Veränderungen der Landnutzung im Laufe der Zeit zu überwachen und wertvolle Daten für den Umweltschutz und die Planung bereitzustellen.

Hier sind einige Vorteile des Einsatzes eines Modells wie SAM 2 zur Analyse von Umweltveränderungen im Laufe der Zeit:

• Früherkennung: Erkennt frühe Anzeichen von Umweltzerstörung und ermöglicht rechtzeitige Maßnahmen, um weitere Schäden zu verhindern.
• Ressourcenmanagement: Unterstützt die effiziente Verwaltung natürlicher Ressourcen, indem detaillierte Einblicke in den Zustand verschiedener Umweltmerkmale bereitgestellt werden.
• Erhalt der biologischen Vielfalt: Hilft bei der Verfolgung von Wildtieren und der Überwachung der biologischen Vielfalt und trägt so zu Schutzmaßnahmen und zum Schutz gefährdeter Arten bei.
• Katastrophenhilfe: Unterstützt die Bewertung der Auswirkungen von Naturkatastrophen wie Überschwemmungen, Waldbränden und Hurrikanen und ermöglicht eine schnelle und wirksame Katastrophenhilfe sowie die Planung des Wiederaufbaus.

Videobearbeitung mit SAM 2: Probiere es selbst aus#

Die Demo von Segment Anything 2 ist eine gute Möglichkeit, das Modell an einem Video auszuprobieren. Mit den PVS-Funktionen von SAM 2 haben wir ein altes YouTube-Video von Ultralytics verwendet und konnten darin drei Objekte oder Personen segmentieren und verpixeln. Traditionell wäre es zeitaufwendig und mühsam, drei Personen aus einem solchen Video zu entfernen, da für jedes Einzelbild eine manuelle Maske erforderlich wäre. SAM 2 vereinfacht diesen Prozess jedoch. Mit wenigen Klicks in der Demo kannst du die Identität von drei interessierenden Objekten innerhalb weniger Sekunden schützen.

Abb. 6. Die SAM-2-Demo ausprobieren.

In der Demo kannst du außerdem verschiedene visuelle Effekte ausprobieren, etwa die von dir zur Verfolgung ausgewählten Objekte hervorheben oder die verfolgten Objekte löschen. Wenn dir die Demo gefallen hat und du mit SAM 2 eigene Innovationen entwickeln möchtest, findest du auf der Dokumentationsseite zum SAM-2-Modell von Ultralytics ausführliche Anweisungen für die praktische Arbeit mit dem Modell. Entdecke die Funktionen, Installationsschritte und Beispiele, um das Potenzial von SAM 2 in deinen Projekten voll auszuschöpfen!

Zum Abschluss#

Metas Segmentierungsmodell für beliebige Objekte 2 (SAM 2) verändert die Bild- und Videosegmentierung. Da sich Aufgaben wie die Objektverfolgung weiter verbessern, entdecken wir neue Möglichkeiten in der Videobearbeitung, der gemischten Realität, der wissenschaftlichen Forschung und der medizinischen Bildgebung. Indem SAM 2 komplexe Aufgaben vereinfacht und Annotationen beschleunigt, ist das Modell auf dem besten Weg, zu einem wichtigen Werkzeug für die KI-Community zu werden. Während wir Modelle wie SAM 2 weiter erforschen und weiterentwickeln, können wir mit noch mehr bahnbrechenden Anwendungen und Fortschritten in verschiedenen Bereichen rechnen!

Erfahre mehr über KI, indem du unser [GitHub-Repository](https://ultralytics-translation-0.invalid erkundest und unserer Community beitrittst. Auf unseren Lösungsseiten findest du ausführliche Einblicke in KI für die Fertigungsindustrie und das Gesundheitswesen. 🚀