Anwendungen von Metas Segment Anything Model 2 (SAM 2)

Am 29. Juli 2024 veröffentlichte Meta AI die zweite Version ihres Segment Anything Model, SAM 2. Das neue Modell kann sowohl in Bildern als auch in Videos genau bestimmen, welche Pixel zu einem Zielobjekt gehören! Das Beste daran ist, dass das Modell in der Lage ist, ein Objekt in Echtzeit über alle Einzelbilder eines Videos hinweg zu verfolgen. SAM 2 eröffnet spannende Möglichkeiten für Videobearbeitung, Mixed-Reality-Erlebnisse und die schnellere Annotation visueller Daten für das Training von Computer-Vision-Systemen.

Aufbauend auf dem Erfolg des ursprünglichen SAM, das bereits in Bereichen wie Meereswissenschaften, Satellitenbildern und Medizin eingesetzt wurde, bewältigt SAM 2 Herausforderungen wie schnell bewegte Objekte und Erscheinungsbildänderungen. Seine verbesserte Genauigkeit und Effizienz machen es zu einem vielseitigen Werkzeug für eine breite Palette von Anwendungen. In diesem Artikel konzentrieren wir uns darauf, wo SAM 2 angewendet werden kann und warum es für die KI-Community wichtig ist.

Link to this sectionWas ist SAM 2?#

Das Segment Anything Model 2 ist ein fortschrittliches Basismodell, das promptable visual segmentation oder PVS sowohl für Bilder als auch für Videos unterstützt. PVS ist eine Technik, bei der ein Modell verschiedene Teile eines Bildes oder Videos basierend auf spezifischen Prompts oder Eingaben des Nutzers segmentieren oder identifizieren kann. Diese Prompts können in Form von Klicks, Boxen oder Masken erfolgen, die den Bereich von Interesse hervorheben. Das Modell generiert dann eine segmentation mask, die den angegebenen Bereich umreißt.

Die Architektur von SAM 2 baut auf dem ursprünglichen SAM auf, indem sie von der Bildsegmentierung auf die Videosegmentierung erweitert wurde. Es verfügt über einen leichtgewichtigen Masken-Decoder, der Bilddaten und Prompts verwendet, um Segmentierungsmasken zu erstellen. Für Videos führt SAM 2 ein Gedächtnissystem ein, das dabei hilft, Informationen aus vorherigen Einzelbildern zu speichern und so eine genaue Verfolgung über die Zeit sicherzustellen. Das Gedächtnissystem enthält Komponenten, die Details über die zu segmentierenden Objekte speichern und abrufen. SAM 2 kann zudem mit Okklusionen umgehen, Objekte über mehrere Bilder hinweg verfolgen und mehrdeutige Prompts durch die Generierung mehrerer möglicher Masken verwalten. Die fortschrittliche Architektur von SAM 2 macht es in statischen wie dynamischen visuellen Umgebungen äußerst leistungsfähig.

Insbesondere bei der Videosegmentierung erreicht SAM 2 eine höhere Genauigkeit mit dreimal weniger Benutzerinteraktionen im Vergleich zu früheren Methoden. Bei der Bildsegmentierung übertrifft SAM 2 das ursprüngliche Segment Anything Model (SAM) und ist dabei sechsmal schneller und genauer. Diese Verbesserung wurde in der Forschungsarbeit zu SAM 2 anhand von 37 verschiedenen Datensätzen demonstriert, darunter 23, an denen SAM zuvor getestet wurde.

Abb. 1. Vergleich von SAM und SAM 2.

Interessanterweise wurde SAM 2 von Meta AI durch die Erstellung des bisher größten Video-Segmentierungs-dataset, dem SA-V-Datensatz, entwickelt. Der umfangreiche Datensatz umfasst über 50.000 Videos sowie 35,5 Millionen Segmentierungsmasken und wurde durch interaktive Nutzerbeiträge gesammelt. Annotatoren lieferten Prompts und Korrekturen, um dem Modell zu helfen, aus einer Vielzahl von Szenarien und Objekttypen zu lernen.

Link to this sectionAnwendungen des Segment Anything Model 2#

Dank seiner fortschrittlichen Fähigkeiten bei der Bild- und Videosegmentierung kann SAM 2 in verschiedenen Branchen eingesetzt werden. Lass uns einige dieser Anwendungen erkunden.

Link to this sectionSAM 2 ermöglicht Augmented Reality (AR) und Virtual Reality (VR)#

Meta AI's neues Segmentierungsmodell kann für Augmented Reality (AR) und Virtual Reality (VR)-Anwendungen verwendet werden. Zum Beispiel kann SAM 2 reale Objekte präzise identifizieren und segmentieren und die Interaktion mit virtuellen Objekten realistischer wirken lassen. Es kann in verschiedenen Bereichen wie Gaming, Bildung und Training nützlich sein, wo eine realistische Interaktion zwischen virtuellen und realen Elementen unerlässlich ist.

Mit Geräten wie AR-Brillen, die immer fortschrittlicher werden, könnten die Fähigkeiten von SAM 2 bald in diese integriert werden. Stell dir vor, du setzt eine Brille auf und schaust dich in deinem Wohnzimmer um. Wenn deine Brille den Wassernapf deines Hundes segmentiert und erkennt, könnte sie dich daran erinnern, ihn aufzufüllen, wie im Bild unten gezeigt. Oder, wenn du ein neues Rezept kochst, könnte die Brille die Zutaten auf deiner Arbeitsplatte identifizieren und dir Schritt-für-Schritt-Anleitungen und Tipps geben, was dein Kocherlebnis verbessert und sicherstellt, dass du alle notwendigen Artikel zur Hand hast.

Abb. 2. SAM 2 könnte bald in AR-Brillen verwendet werden.

Link to this sectionSonar-Bildgebung mit dem Segment Anything Model 2#

Forschungen mit dem Modell SAM haben gezeigt, dass es in spezialisierten Bereichen wie der Sonar-Bildgebung angewendet werden kann. Sonar-Bilder bringen aufgrund ihrer geringen Auflösung, hohen Rauschpegel und der komplexen Formen der Objekte in den Bildern einzigartige Herausforderungen mit sich. Durch das Feintuning von SAM für Sonar-Bilder haben Forscher dessen Fähigkeit nachgewiesen, verschiedene Unterwasserobjekte wie Meeresmüll, geologische Formationen und andere interessante Objekte präzise zu segmentieren. Eine präzise und zuverlässige Unterwasser-Bildgebung kann in der Meeresforschung, Unterwasserarchäologie, Fischereimanagement und Überwachung für Aufgaben wie Habitatkartierung, Artefaktentdeckung und Bedrohungserkennung eingesetzt werden.

Abb. 3. Ein Beispiel für die Verwendung von feinabgestimmtem SAM zur Segmentierung von Sonarbildern.

Da SAM 2 auf vielen der Herausforderungen aufbaut, mit denen SAM konfrontiert ist, und diese verbessert, hat es das Potenzial, die Analyse der Sonar-Bildgebung weiter zu verbessern. Seine präzisen Segmentierungsfähigkeiten können bei verschiedenen Meeresanwendungen helfen, einschließlich wissenschaftlicher Forschung und Fischerei. Zum Beispiel kann SAM 2 effektiv Unterwasserstrukturen umreißen, Meeresmüll erkennen und Objekte in nach vorn gerichteten Sonarbildern identifizieren, was zu einer genaueren und effizienteren Unterwassererkundung und -überwachung beiträgt.

Hier sind die potenziellen Vorteile der Verwendung von SAM 2 zur Analyse der Sonar-Bildgebung:

• Effizienz: Reduziert den Zeit- und Arbeitsaufwand für die manuelle Segmentierung, sodass Fachleute sich mehr auf Analyse und Entscheidungsfindung konzentrieren können.
• Konsistenz: Bietet konsistente und reproduzierbare Segmentierungsergebnisse, die für die groß angelegte Meeresforschung und -überwachung unerlässlich sind.
• Vielseitigkeit: In der Lage, eine breite Palette von Sonarbildern zu verarbeiten, was es für diverse Anwendungen in der Meereswissenschaft und -industrie nützlich macht.

Durch die Integration von SAM 2 in Sonar-Bildgebungsprozesse kann die marine Industrie eine höhere Effizienz, Genauigkeit und Zuverlässigkeit bei der Unterwassererkundung und -analyse erreichen, was letztendlich zu besseren Ergebnissen in der Meeresforschung führt.

Link to this sectionVerwendung von SAM 2 in autonomen Fahrzeugen#

Eine weitere Anwendung von SAM 2 ist in autonomen Fahrzeugen. SAM 2 kann Objekte wie Fußgänger, andere Fahrzeuge, Straßenschilder und Hindernisse in Echtzeit präzise identifizieren. Der Detaillierungsgrad, den SAM 2 liefern kann, ist entscheidend für das Treffen von Entscheidungen für sichere Navigation und Kollisionsvermeidung. Durch die präzise Verarbeitung visueller Daten hilft SAM 2 dabei, eine detaillierte und zuverlässige Karte der Umgebung zu erstellen und führt zu einer besseren Entscheidungsfindung.

Abb. 4. Verwendung von Segmentierung zum Verständnis des Verkehrs.

Die Fähigkeit von SAM 2, bei unterschiedlichen Lichtverhältnissen, Wetteränderungen und in dynamischen Umgebungen gut zu funktionieren, macht es für autonome Fahrzeuge zuverlässig. Ob auf einer belebten Stadtstraße oder einer nebligen Autobahn, SAM 2 kann Objekte konsistent identifizieren und präzise segmentieren, damit das Fahrzeug korrekt auf verschiedene Situationen reagieren kann.

Es gibt jedoch einige Einschränkungen, die man im Auge behalten sollte. Bei komplexen, sich schnell bewegenden Objekten kann SAM 2 manchmal feine Details übersehen, und seine Vorhersagen können über Einzelbilder hinweg instabil werden. Außerdem kann SAM 2 in überfüllten Szenen manchmal mehrere ähnlich aussehende Objekte verwechseln. Diese Herausforderungen sind der Grund, warum die Integration zusätzlicher Sensoren und Technologien in Anwendungen des autonomen Fahrens von entscheidender Bedeutung ist.

Link to this sectionUmweltüberwachung mit Hilfe von SAM 2#

Umweltüberwachung mittels Computer Vision kann schwierig sein, insbesondere wenn es an annotierten Daten mangelt, aber das macht es auch zu einer interessanten Anwendung für SAM 2. SAM 2 kann verwendet werden, um Veränderungen in natürlichen Landschaften zu verfolgen und zu analysieren, indem es verschiedene Umweltmerkmale wie Wälder, Gewässer, städtische Gebiete und landwirtschaftliche Flächen aus Satelliten- oder Drohnenbildern genau segmentiert und identifiziert. Insbesondere hilft eine präzise Segmentierung bei der Überwachung von Entwaldung, Urbanisierung und Veränderungen der Landnutzung im Laufe der Zeit, um wertvolle Daten für Umweltschutz und Planung bereitzustellen.

Hier sind einige der Vorteile der Verwendung eines Modells wie SAM 2 zur Analyse von Umweltveränderungen im Zeitverlauf:

• Früherkennung: Identifiziert frühe Anzeichen von Umweltzerstörung und ermöglicht rechtzeitige Eingriffe, um weitere Schäden zu verhindern.
• Ressourcenmanagement: Unterstützt die effiziente Verwaltung natürlicher Ressourcen durch detaillierte Einblicke in den Zustand verschiedener Umweltmerkmale.
• Artenschutz: Hilft bei der Verfolgung von Wildtieren und der Überwachung der Biodiversität, was zu Naturschutzbemühungen und dem Schutz gefährdeter Arten beiträgt.
• Katastrophenhilfe: Hilft bei der Bewertung der Auswirkungen von Naturkatastrophen wie Überschwemmungen, Waldbränden und Wirbelstürmen und ermöglicht eine schnelle und effektive Katastrophenhilfe und Wiederaufbauplanung.

Link to this sectionVideobearbeitung mit SAM 2: Probier es selbst aus#

Die Segment Anything 2 Demo ist eine großartige Möglichkeit, das Modell an einem Video auszuprobieren. Unter Verwendung der PVS-Fähigkeiten von SAM 2 haben wir ein altes Ultralytics YouTube-Video genommen und konnten drei Objekte oder Personen im Video segmentieren und verpixeln. Traditionell wäre das Herausschneiden von drei Personen aus einem Video wie diesem zeitaufwendig und mühsam und würde eine manuelle Maskierung von Einzelbild zu Einzelbild erfordern. SAM 2 vereinfacht diesen Prozess jedoch. Mit wenigen Klicks in der Demo kannst du die Identität von drei interessierenden Objekten innerhalb von Sekunden schützen.

Abb. 6. Ausprobieren der SAM 2 Demo.

Die Demo lässt dich auch ein paar verschiedene visuelle Effekte ausprobieren, wie zum Beispiel einen Scheinwerfer auf die Objekte zu richten, die du zur Verfolgung auswählst, oder die verfolgten Objekte zu löschen. Wenn dir die Demo gefallen hat und du bereit bist, mit SAM 2 zu innovieren, schau dir die Ultralytics SAM 2 Model-Dokumentationsseite für detaillierte Anweisungen zur praktischen Arbeit mit dem Modell an. Entdecke die Funktionen, Installationsschritte und Beispiele, um das Potenzial von SAM 2 in deinen Projekten voll auszuschöpfen!

Link to this sectionZusammenfassung#

Meta AI's Segment Anything Model 2 (SAM 2) transformiert die Video- und Bildsegmentierung. Da sich Aufgaben wie die Objektverfolgung verbessern, entdecken wir neue Möglichkeiten in der Videobearbeitung, Mixed Reality, wissenschaftlichen Forschung und medizinischen Bildgebung. Indem es komplexe Aufgaben erleichtert und Annotationen beschleunigt, ist SAM 2 bereit, ein wichtiges Werkzeug für die KI-Community zu werden. Während wir weiterhin mit Modellen wie SAM 2 forschen und innovieren, können wir noch mehr bahnbrechende Anwendungen und Fortschritte in verschiedenen Bereichen erwarten!

Erfahre mehr über KI, indem du unser GitHub-Repository erkundest und unserer Community beitrittst. Sieh dir unsere Lösungsseiten für detaillierte Einblicke in KI in der Fertigung und im Gesundheitswesen an. 🚀