Anwendungen von Metas Segment Anything Model 2 (SAM 2)

Am 29. Juli 2024 hat Meta AI die zweite Version ihres Segment Anything Model, SAM 2, veröffentlicht. Das neue Modell kann genau bestimmen, welche Pixel in Bildern und Videos zu einem Zielobjekt gehören! Das Beste daran ist, dass das Modell in der Lage ist, ein Objekt in allen Frames eines Videos konsistent in Echtzeit zu verfolgen. SAM 2 eröffnet spannende Möglichkeiten für die Videobearbeitung, Mixed-Reality-Erlebnisse und eine schnellere Annotation von visuellen Daten für das Training von Computer Vision-Systemen.

Aufbauend auf dem Erfolg des ursprünglichen SAM, das in Bereichen wie der Meeresforschung, Satellitenbildern und der Medizin eingesetzt wurde, bewältigt SAM 2 Herausforderungen wie sich schnell bewegende Objekte und veränderte Erscheinungsbilder. Seine verbesserte Genauigkeit und Effizienz machen es zu einem vielseitigen Werkzeug für eine Vielzahl von Anwendungen. In diesem Artikel konzentrieren wir uns darauf, wo SAM 2 angewendet werden kann und warum es für die KI-Community von Bedeutung ist.

Was ist SAM 2?#

Das Segment Anything Model 2 ist ein fortschrittliches Basismodell, das prompteurbasierte visuelle Segmentierung oder PVS sowohl in Bildern als auch in Videos unterstützt. PVS ist eine Technik, bei der ein Modell verschiedene Teile eines Bildes oder Videos basierend auf spezifischen vom Benutzer gemachten Eingaben oder Prompts segmentieren oder identifizieren kann. Diese Prompts können in Form von Klicks, Boxen oder Masken erfolgen, die den Bereich von Interesse hervorheben. Das Modell generiert daraufhin eine Segmentierungsmaske, die den angegebenen Bereich umrissen darstellt.

Die Architektur von SAM 2 baut auf dem ursprünglichen SAM auf, indem sie von der Bildsegmentierung auf die Videosegmentierung erweitert wurde. Es verfügt über einen leichtgewichtigen Masken-Decoder, der Bilddaten und Prompts verwendet, um Segmentierungsmasken zu erstellen. Für Videos führt SAM 2 ein Gedächtnissystem ein, das dabei hilft, Informationen aus vorherigen Einzelbildern zu speichern und so eine genaue Verfolgung über die Zeit sicherzustellen. Das Gedächtnissystem enthält Komponenten, die Details über die zu segmentierenden Objekte speichern und abrufen. SAM 2 kann zudem mit Okklusionen umgehen, Objekte über mehrere Bilder hinweg verfolgen und mehrdeutige Prompts durch die Generierung mehrerer möglicher Masken verwalten. Die fortschrittliche Architektur von SAM 2 macht es in statischen wie dynamischen visuellen Umgebungen äußerst leistungsfähig.

Insbesondere im Hinblick auf die Videosegmentierung erreicht SAM 2 eine höhere Genauigkeit bei dreimal weniger Benutzerinteraktionen im Vergleich zu früheren Methoden. Für die Bildsegmentierung übertrifft SAM 2 das ursprüngliche Segment Anything Model (SAM), indem es sechsmal schneller und genauer ist. Diese Verbesserung wurde im Forschungsbericht zu SAM 2 über 37 verschiedene Datensätze hinweg demonstriert, darunter 23, auf denen SAM zuvor getestet wurde.

Abb. 1. Vergleich von SAM und SAM 2.

Interessanterweise wurde Meta AIs SAM 2 entwickelt, indem der bislang größte Datensatz zur Videosegmentierung erstellt wurde: der SA-V-Datensatz. Der umfangreiche Datensatz umfasst über 50.000 Videos und 35,5 Millionen Segmentierungsmasken und wurde durch interaktive Benutzerbeiträge zusammengetragen. Annotatoren lieferten Prompts und Korrekturen, um dem Modell zu helfen, aus einer Vielzahl von Szenarien und Objekttypen zu lernen.

Anwendungen des Segment Anything Model 2#

Dank seiner fortschrittlichen Fähigkeiten bei der Bild- und Videosegmentierung kann SAM 2 in verschiedenen Branchen eingesetzt werden. Lass uns einige dieser Anwendungen erkunden.

SAM 2 ermöglicht Augmented Reality (AR) und Virtual Reality (VR)#

Das neue Segmentierungsmodell von Meta AI kann für Anwendungen in Augmented Reality (AR) und Virtual Reality (VR) verwendet werden. Beispielsweise kann SAM 2 reale Objekte präzise identifizieren und segmentieren und die Interaktion mit virtuellen Objekten realistischer wirken lassen. Es kann in verschiedenen Bereichen wie Gaming, Bildung und Training nützlich ist, wo eine realistische Interaktion zwischen virtuellen und realen Elementen unerlässlich ist.

Mit Geräten wie AR-Brillen, die immer fortschrittlicher werden, könnten die Fähigkeiten von SAM 2 bald in diese integriert werden. Stell dir vor, du setzt eine Brille auf und schaust dich in deinem Wohnzimmer um. Wenn deine Brille den Wassernapf deines Hundes segmentiert und erkennt, könnte sie dich daran erinnern, ihn aufzufüllen, wie im Bild unten gezeigt. Oder, wenn du ein neues Rezept kochst, könnte die Brille die Zutaten auf deiner Arbeitsplatte identifizieren und dir Schritt-für-Schritt-Anleitungen und Tipps geben, was dein Kocherlebnis verbessert und sicherstellt, dass du alle notwendigen Artikel zur Hand hast.

Abb. 2. SAM 2 könnte bald in AR-Brillen eingesetzt werden.

Sonar-Bildgebung mit dem Segment Anything Model 2#

Die Forschung mit dem Modell SAM hat gezeigt, dass es in spezialisierten Domänen wie der Sonarbildgebung eingesetzt werden kann. Die Sonarbildgebung bringt aufgrund ihrer geringen Auflösung, hohen Rauschpegel und der komplexen Formen von Objekten in den Bildern einzigartige Herausforderungen mit sich. Durch das Fine-Tuning von SAM für Sonarbilder haben Forscher seine Fähigkeit demonstriert, verschiedene Unterwasserobjekte wie Meeresmüll, geologische Formationen und andere interessante Gegenstände präzise zu segmentieren. Präzise und zuverlässige Unterwasserbildgebung kann in der Meeresforschung, der Unterwasserarchäologie, dem Fischereimanagement und der Überwachung für Aufgaben wie Habitatkartierung, Artefaktentdeckung und Bedrohungserkennung eingesetzt werden.

Abb. 3. Ein Beispiel für die Verwendung von feingetuntem SAM zur Segmentierung von Sonarbildern.

Da SAM 2 auf vielen der Herausforderungen aufbaut, mit denen SAM konfrontiert ist, und diese verbessert, hat es das Potenzial, die Analyse von Sonarbildern weiter zu verbessern. Seine präzisen Segmentierungsfunktionen können bei verschiedenen Meeresanwendungen helfen, einschließlich wissenschaftlicher Forschung und Fischerei. Beispielsweise kann SAM 2 Unterwasserstrukturen effektiv umrissen darstellen, Meeresmüll erkennen und Objekte in nach vorn gerichteten Sonarbildern identifizieren, was zu einer genaueren und effizienteren Unterwassererkundung und -überwachung beiträgt.

Hier sind die potenziellen Vorteile der Verwendung von SAM 2 zur Analyse der Sonar-Bildgebung:

• Effizienz: Reduziert den Zeit- und Arbeitsaufwand für die manuelle Segmentierung, sodass Fachleute sich mehr auf Analyse und Entscheidungsfindung konzentrieren können.
• Konsistenz: Bietet konsistente und reproduzierbare Segmentierungsergebnisse, die für die groß angelegte Meeresforschung und -überwachung unerlässlich sind.
• Vielseitigkeit: In der Lage, eine breite Palette von Sonarbildern zu verarbeiten, was es für diverse Anwendungen in der Meereswissenschaft und -industrie nützlich macht.

Durch die Integration von SAM 2 in Sonar-Bildgebungsprozesse kann die marine Industrie eine höhere Effizienz, Genauigkeit und Zuverlässigkeit bei der Unterwassererkundung und -analyse erreichen, was letztendlich zu besseren Ergebnissen in der Meeresforschung führt.

Verwendung von SAM 2 in autonomen Fahrzeugen#

Eine weitere Anwendung von SAM 2 liegt in autonomen Fahrzeugen. SAM 2 kann Objekte wie Fußgänger, andere Fahrzeuge, Verkehrsschilder und Hindernisse in Echtzeit präzise identifizieren. Das Maß an Detailgenauigkeit, das SAM 2 liefern kann, ist entscheidend für Entscheidungen zur sicheren Navigation und Kollisionsvermeidung. Durch die präzise Verarbeitung visueller Daten hilft SAM 2 dabei, eine detaillierte und zuverlässige Karte der Umgebung zu erstellen und führt zu besseren Entscheidungen.

Abb. 4. Verwendung von Segmentierung zum Verständnis des Verkehrs.

Die Fähigkeit von SAM 2, bei unterschiedlichen Lichtverhältnissen, Wetteränderungen und in dynamischen Umgebungen gut zu funktionieren, macht es für autonome Fahrzeuge zuverlässig. Ob auf einer belebten Stadtstraße oder einer nebligen Autobahn, SAM 2 kann Objekte konsistent identifizieren und präzise segmentieren, damit das Fahrzeug korrekt auf verschiedene Situationen reagieren kann.

Es gibt jedoch einige Einschränkungen, die man im Auge behalten sollte. Bei komplexen, sich schnell bewegenden Objekten kann SAM 2 manchmal feine Details übersehen, und seine Vorhersagen können über Einzelbilder hinweg instabil werden. Außerdem kann SAM 2 in überfüllten Szenen manchmal mehrere ähnlich aussehende Objekte verwechseln. Diese Herausforderungen sind der Grund, warum die Integration zusätzlicher Sensoren und Technologien in Anwendungen des autonomen Fahrens von entscheidender Bedeutung ist.

Umweltüberwachung mit Hilfe von SAM 2#

Die Umweltüberwachung mittels Computer Vision kann knifflig sein, insbesondere wenn es an annotierten Daten mangelt, aber genau das macht sie auch zu einer interessanten Anwendung für SAM 2. SAM 2 kann verwendet werden, um Veränderungen in natürlichen Landschaften zu verfolgen und zu analysieren, indem verschiedene Umweltmerkmale wie Wälder, Gewässer, städtische Gebiete und landwirtschaftliche Flächen aus Satelliten- oder Drohnenbildern präzise segmentiert und identifiziert werden. Insbesondere hilft die präzise Segmentierung bei der Überwachung von Entwaldung, Urbanisierung und Veränderungen der Landnutzung im Laufe der Zeit, um wertvolle Daten für den Umweltschutz und die Planung bereitzustellen.

Hier sind einige der Vorteile der Verwendung eines Modells wie SAM 2 zur Analyse von Umweltveränderungen im Zeitverlauf:

• Früherkennung: Identifiziert frühe Anzeichen von Umweltzerstörung und ermöglicht rechtzeitige Eingriffe, um weitere Schäden zu verhindern.
• Ressourcenmanagement: Unterstützt die effiziente Verwaltung natürlicher Ressourcen durch detaillierte Einblicke in den Zustand verschiedener Umweltmerkmale.
• Artenschutz: Hilft bei der Verfolgung von Wildtieren und der Überwachung der Biodiversität, was zu Naturschutzbemühungen und dem Schutz gefährdeter Arten beiträgt.
• Katastrophenhilfe: Hilft bei der Bewertung der Auswirkungen von Naturkatastrophen wie Überschwemmungen, Waldbränden und Wirbelstürmen und ermöglicht eine schnelle und effektive Katastrophenhilfe und Wiederaufbauplanung.

Videobearbeitung mit SAM 2: Probier es selbst aus#

Das Segment Anything 2 Demo ist eine großartige Möglichkeit, das Modell an einem Video auszuprobieren. Unter Verwendung der PVS-Funktionen von SAM 2 haben wir ein altes Ultralytics YouTube-Video genommen und konnten drei Objekte oder Personen im Video segmentieren und verpixeln. Traditionell wäre das Herausbearbeiten von drei Personen aus einem solchen Video zeitaufwändig und mühsam und würde eine manuelle Maskierung von Frame zu Frame erfordern. SAM 2 vereinfacht diesen Prozess jedoch. Mit ein paar Klicks in der Demo kannst du die Identität von drei Objekten von Interesse in Sekundenschnelle schützen.

Abb. 6. Ausprobieren der SAM 2 Demo.

Die Demo ermöglicht es dir auch, ein paar verschiedene visuelle Effekte auszuprobieren, wie das Setzen eines Spotlights auf die von dir zur Verfolgung ausgewählten Objekte und das Löschen der verfolgten Objekte. Wenn dir die Demo gefallen hat und du bereit bist, mit SAM 2 Innovationen voranzutreiben, schaue dir die Dokumentationsseite zum Ultralytics SAM 2-Modell an, um detaillierte Anweisungen für den praktischen Umgang mit dem Modell zu erhalten. Erkunde die Funktionen, Installationsschritte und Beispiele, um das Potenzial von SAM 2 in deinen Projekten voll auszuschöpfen!

Zusammenfassung#

Meta AI's Segment Anything Model 2 (SAM 2) transformiert die Video- und Bildsegmentierung. Da sich Aufgaben wie die Objektverfolgung verbessern, entdecken wir neue Möglichkeiten in der Videobearbeitung, Mixed Reality, wissenschaftlichen Forschung und medizinischen Bildgebung. Indem es komplexe Aufgaben erleichtert und Annotationen beschleunigt, ist SAM 2 bereit, ein wichtiges Werkzeug für die KI-Community zu werden. Während wir weiterhin mit Modellen wie SAM 2 forschen und innovieren, können wir noch mehr bahnbrechende Anwendungen und Fortschritte in verschiedenen Bereichen erwarten!

Erfahre mehr über KI, indem du unser GitHub-Repository erkundest und unserer Community beitretest. Sieh dir unsere Lösungsseiten an, um detaillierte Einblicke in KI in der Fertigung und im Gesundheitswesen zu erhalten. 🚀