Anwendungen von Meta AIs Segment Anything Model 2 (SAM 2)

Am 29. Juli 2024 veröffentlichte Meta AI die zweite Version seines Segment Anything Model, SAM 2. Das neue Modell kann sowohl in Bildern als auch in Videos genau bestimmen, welche Pixel zu einem Zielobjekt gehören. Außerdem kann es in Echtzeit ein Objekt über alle Einzelbilder eines Videos hinweg verfolgen. SAM 2 eröffnet spannende Möglichkeiten für die Videobearbeitung, Mixed-Reality-Erlebnisse und die schnellere Annotation visueller Daten zum Training von Computer-Vision-Systemen.

Aufbauend auf dem Erfolg des ursprünglichen SAM, das unter anderem in der Meeresforschung, bei Satellitenbildern und in der Medizin eingesetzt wurde, bewältigt SAM 2 Herausforderungen wie schnell bewegte Objekte und Veränderungen ihres Erscheinungsbilds. Die verbesserte Genauigkeit und Effizienz machen es zu einem vielseitigen Werkzeug für zahlreiche Anwendungen. In diesem Artikel konzentrieren wir uns darauf, wo SAM 2 eingesetzt werden kann und warum es für die KI-Community wichtig ist.

Was ist SAM 2?#

Das Segment Anything Model 2 ist ein fortschrittliches Basismodell, das sowohl in Bildern als auch in Videos promptbasierte visuelle Segmentierung (PVS) unterstützt. PVS ist eine Technik, bei der ein Modell verschiedene Teile eines Bildes oder Videos anhand konkreter Vorgaben oder Eingaben des Nutzers segmentieren oder identifizieren kann. Diese Vorgaben können in Form von Klicks, Rahmen oder Masken erfolgen, die den interessierenden Bereich hervorheben. Anschließend erzeugt das Modell eine Segmentierungsmaske, die den angegebenen Bereich umreißt.

Die Architektur von SAM 2 baut auf dem ursprünglichen SAM auf und erweitert die Bildsegmentierung um die Videosegmentierung. Das Modell verfügt über einen leichten Maskendecoder, der Bilddaten und Eingaben nutzt, um Segmentierungsmasken zu erstellen. Für Videos führt SAM 2 ein Speichersystem ein, das Informationen aus vorherigen Videobildern festhält und so eine genaue Verfolgung im Zeitverlauf ermöglicht. Das Speichersystem umfasst Komponenten, die Details zu den segmentierten Objekten speichern und abrufen. SAM 2 kann außerdem mit Verdeckungen umgehen, Objekte über mehrere Videobilder hinweg verfolgen und mehrdeutige Eingaben verarbeiten, indem es mehrere mögliche Masken erstellt. Dank seiner fortschrittlichen Architektur ist SAM 2 sowohl in statischen als auch in dynamischen visuellen Umgebungen sehr leistungsfähig.

Bei der Videosegmentierung erzielt SAM 2 im Vergleich zu früheren Methoden eine höhere Genauigkeit und benötigt dafür dreimal weniger Nutzerinteraktionen. Bei der Bildsegmentierung übertrifft SAM 2 das ursprüngliche Modell zur Segmentierung beliebiger Objekte (SAM): Es ist sechsmal schneller und genauer. Diese Verbesserung wurde in der Forschungsarbeit zu SAM 2 anhand von 37 verschiedenen Datensätzen gezeigt, darunter 23 Datensätze, mit denen SAM bereits zuvor getestet worden war.

Abb. 1 Vergleich von SAM und SAM 2.

Interessanterweise wurde SAM 2 von Meta AI mithilfe des bisher größten Datensatzes für die Videosegmentierung entwickelt: dem SA-V-Datensatz. Der umfangreiche Datensatz umfasst über 50.000 Videos und 35,5 Millionen Segmentierungsmasken und wurde durch interaktive Beiträge von Nutzern zusammengestellt. Annotatoren lieferten Vorgaben und Korrekturen, damit das Modell anhand einer großen Vielfalt von Szenarien und Objekttypen lernen konnte.

Anwendungen des Segment Anything Model 2#

Dank seiner fortschrittlichen Fähigkeiten zur Bild- und Videosegmentierung kann SAM 2 in verschiedenen Branchen eingesetzt werden. Sehen wir uns einige dieser Anwendungen an.

SAM 2 ermöglicht Augmented Reality (AR) und Virtual Reality (VR)#

Das neue Segmentierungsmodell von Meta AI kann für Anwendungen der erweiterten Realität (AR) und virtuellen Realität (VR) eingesetzt werden. SAM 2 kann beispielsweise Objekte in der realen Welt präzise identifizieren und segmentieren, wodurch die Interaktion mit virtuellen Objekten realistischer wirkt. Das Modell kann in verschiedenen Bereichen wie Gaming, Bildung und Training nützlich sein, in denen eine realistische Interaktion zwischen virtuellen und realen Elementen entscheidend ist.

Da Geräte wie AR-Brillen immer fortschrittlicher werden, könnten ihre Fähigkeiten bald in diese Geräte integriert werden. Stell dir vor, du setzt eine Brille auf und blickst dich in deinem Wohnzimmer um. Wenn die Brille den Wassernapf deines Hundes segmentiert und erkennt, erinnert sie dich vielleicht daran, ihn aufzufüllen, wie im Bild unten gezeigt. Wenn du ein neues Rezept kochst, könnte die Brille Zutaten auf deiner Arbeitsfläche erkennen und dir Schritt-für-Schritt-Anleitungen und Tipps geben. Das würde dein Kocherlebnis verbessern und sicherstellen, dass du alle benötigten Zutaten zur Hand hast.

Abb. 2 SAM 2 könnte bald in AR-Brillen eingesetzt werden.

Sonarbildgebung mit Segment Anything Model 2#

Forschungen zum Modell SAM haben gezeigt, dass es in spezialisierten Bereichen wie der Sonarbildgebung eingesetzt werden kann. Die Sonarbildgebung bringt aufgrund ihrer niedrigen Auflösung, des hohen Rauschpegels und der komplexen Formen von Objekten in den Bildern besondere Herausforderungen mit sich. Durch die Feinabstimmung von SAM für Sonarbilder haben Forschende gezeigt, dass das Modell verschiedene Unterwasserobjekte wie Meeresmüll, geologische Formationen und andere interessante Objekte präzise segmentieren kann. Eine präzise und zuverlässige Unterwasserbildgebung lässt sich in der Meeresforschung, Unterwasserarchäologie, Fischereiverwaltung und Überwachung einsetzen, etwa für die Kartierung von Lebensräumen, die Entdeckung von Artefakten und die Erkennung von Bedrohungen.

Abb. 3. Beispiel für den Einsatz von feinabgestimmtem SAM zur Segmentierung von Sonarbildern.

Da SAM 2 aufbaut auf und viele Herausforderungen von SAM verbessert, hat es das Potenzial, die Analyse von Sonarbildern weiter voranzubringen. Seine präzisen Segmentierungsfähigkeiten können bei verschiedenen Unterwasseranwendungen helfen, darunter wissenschaftliche Forschung und Fischerei. SAM 2 kann beispielsweise Unterwasserstrukturen zuverlässig umreißen, Meeresmüll erkennen und Objekte in vorausschauenden Sonarbildern identifizieren und so zu einer genaueren und effizienteren Erkundung und Überwachung der Unterwasserwelt beitragen.

Hier sind die möglichen Vorteile des Einsatzes von SAM 2 zur Analyse von Sonarbildern:

• Effizienz: Verringert den Zeit- und Arbeitsaufwand für die manuelle Segmentierung, sodass sich Fachleute stärker auf Analyse und Entscheidungsfindung konzentrieren können.
• Konsistenz: Liefert konsistente und reproduzierbare Segmentierungsergebnisse, die für groß angelegte Meeresforschung und Überwachung unerlässlich sind.
• Vielseitigkeit: Kann eine Vielzahl von Sonarbildern verarbeiten und ist dadurch für verschiedene Anwendungen in Meereswissenschaft und -industrie nützlich.

Durch die Integration von SAM 2 in die Sonarbildgebung kann die Meeresindustrie bei der Erkundung und Analyse der Unterwasserwelt eine höhere Effizienz, Genauigkeit und Zuverlässigkeit erreichen. Das führt letztlich zu besseren Ergebnissen in der Meeresforschung.

SAM 2 in autonomen Fahrzeugen einsetzen#

Eine weitere Anwendung von SAM 2 sind autonome Fahrzeuge. SAM 2 kann Fußgänger, andere Fahrzeuge, Verkehrsschilder und Hindernisse in Echtzeit zuverlässig erkennen. Die Detailgenauigkeit von SAM 2 ist entscheidend für sichere Navigations- und Kollisionsvermeidungsentscheidungen. Durch die präzise Verarbeitung visueller Daten hilft SAM 2 dabei, eine detaillierte und zuverlässige Karte der Umgebung zu erstellen, und ermöglicht bessere Entscheidungen.

Abb. 4. Verkehr mithilfe von Segmentierung verstehen.

Dank seiner Fähigkeit, unter unterschiedlichen Lichtverhältnissen, bei wechselndem Wetter und in dynamischen Umgebungen zuverlässig zu arbeiten, eignet sich SAM 2 für autonome Fahrzeuge. Ob auf einer belebten Stadtstraße oder einer nebligen Autobahn: SAM 2 kann Objekte konsistent und präzise erkennen und segmentieren, damit das Fahrzeug angemessen auf verschiedene Situationen reagieren kann.

Allerdings gibt es einige Einschränkungen, die du beachten solltest. Bei komplexen, schnell bewegten Objekten kann SAM 2 manchmal feine Details übersehen, und seine Vorhersagen können von Bild zu Bild instabil werden. Außerdem kann SAM 2 in belebten Szenen manchmal mehrere ähnlich aussehende Objekte verwechseln. Deshalb ist die Integration zusätzlicher Sensoren und Technologien für Anwendungen im autonomen Fahren so wichtig.

Umweltüberwachung mit SAM 2#

Umweltüberwachung mithilfe von Computer Vision kann schwierig sein, insbesondere wenn es an annotierten Daten fehlt. Genau das macht sie aber auch zu einer interessanten Anwendung für SAM 2. SAM 2 kann Veränderungen in Naturlandschaften verfolgen und analysieren, indem es verschiedene Umweltmerkmale wie Wälder, Gewässer, städtische Gebiete und landwirtschaftliche Flächen in Satelliten- oder Drohnenbildern präzise segmentiert und identifiziert. Eine präzise Segmentierung hilft insbesondere dabei, Entwaldung, Urbanisierung und Veränderungen der Landnutzung im Zeitverlauf zu überwachen und wertvolle Daten für den Umweltschutz und die Planung bereitzustellen.

Abb. 5. Einsatz von SAM 2 für die Umweltüberwachung.

Hier sind einige Vorteile des Einsatzes eines Modells wie SAM 2 zur Analyse von Umweltveränderungen im Zeitverlauf:

• Früherkennung: Erkennt frühe Anzeichen einer Umweltzerstörung und ermöglicht rechtzeitige Maßnahmen, um weitere Schäden zu verhindern.
• Ressourcenverwaltung: Unterstützt die effiziente Verwaltung natürlicher Ressourcen durch detaillierte Einblicke in den Zustand verschiedener Umweltmerkmale.
• Erhalt der Artenvielfalt: Hilft dabei, Wildtiere zu verfolgen und die Artenvielfalt zu überwachen. So trägt das Modell zu Schutzmaßnahmen und zum Schutz gefährdeter Arten bei.
• Katastrophenhilfe: Unterstützt die Bewertung der Auswirkungen von Naturkatastrophen wie Überschwemmungen, Waldbränden und Hurrikanen und ermöglicht eine schnelle und wirksame Katastrophenhilfe sowie Wiederherstellungsplanung.

Videobearbeitung mit SAM 2: Probiere es selbst aus#

Die Segment Anything 2-Demo ist eine tolle Möglichkeit, das Modell an einem Video auszuprobieren. Mit den PVS-Funktionen von SAM 2 konnten wir ein älteres Ultralytics-YouTube-Video verwenden, drei Objekte oder Personen im Video segmentieren und verpixeln. Traditionell wäre es zeitaufwendig und mühsam, drei Personen aus einem solchen Video zu entfernen, und würde eine manuelle Maskierung Bild für Bild erfordern. SAM 2 vereinfacht diesen Vorgang jedoch. Mit wenigen Klicks in der Demo kannst du die Identität von drei interessanten Objekten innerhalb weniger Sekunden schützen.

Abb. 6. Die SAM 2-Demo ausprobieren.

Die Demo bietet außerdem verschiedene visuelle Effekte zum Ausprobieren, etwa einen Scheinwerfer auf die Objekte zu richten, die du zur Verfolgung auswählst, oder die verfolgten Objekte zu löschen. Wenn dir die Demo gefallen hat und du mit SAM 2 eigene Ideen umsetzen möchtest, findest du auf der Dokumentationsseite zum Ultralytics-SAM-2-Modell ausführliche Anleitungen für den praktischen Einstieg. Erkunde die Funktionen, Installationsschritte und Beispiele, um das Potenzial von SAM 2 in deinen Projekten voll auszuschöpfen. Meta hat inzwischen SAM 3 veröffentlicht, das die Segmentierung von Konzepten anhand von Textvorgaben ergänzt.

Zum Abschluss#

Das Segment Anything Model 2 (SAM 2) von Meta AI verändert die Video- und Bildsegmentierung. Mit Verbesserungen bei Aufgaben wie der Objektverfolgung entdecken wir neue Möglichkeiten in der Videobearbeitung, Mixed Reality, wissenschaftlichen Forschung und medizinischen Bildgebung. Indem SAM 2 komplexe Aufgaben vereinfacht und Annotationen beschleunigt, wird es zu einem wichtigen Werkzeug für die KI-Community. Während wir Modelle wie SAM 2 weiter erforschen und verbessern, können wir mit noch mehr Anwendungen und Fortschritten in unterschiedlichen Bereichen rechnen.

Erfahre mehr über KI in unserem GitHub-Repository und werde Teil unserer Community. Auf unseren Lösungsseiten findest du ausführliche Einblicke in KI in der Fertigung und im Gesundheitswesen.