Was ist Instanzsegmentierung? Eine Kurzanleitung

Computer Vision-Anwendungen werden in unserem Alltag immer häufiger, von Verkehrskameras, die Straßenbedingungen überwachen, bis hin zu Self-Checkout-Systemen in Geschäften. Indem sie Maschinen in die Lage versetzen, visuelle Daten auf eine menschenähnliche Weise zu verstehen, hat Vision AI einen Einfluss auf eine Vielzahl von Branchen.

Viele dieser Anwendungen basieren auf Objekterkennung, einer Computer-Vision-Aufgabe, die Begrenzungsrahmen (Bounding Boxes) um wichtige Objekte in Bildern legt. Obwohl dieser Ansatz oft gut funktioniert, benötigen einige Bildanalyselösungen noch mehr Präzision.

Zum Beispiel erfordert medizinische Bildgebung mehr als nur die Erkennung eines Tumors – es ist entscheidend, dessen exakte Form zu umreißen. Ähnlich müssen Maschinen in der Robotik die genauen Konturen eines Objekts erkennen, um es korrekt zu greifen. Um diese Herausforderungen zu bewältigen, bietet die Instanzsegmentierung eine präzisere Lösung.

Die Instanzsegmentierung ist eine Computer-Vision-Aufgabe, die Anwendungsfälle unterstützen soll, bei denen die Objekterkennung allein nicht ausreicht – sie bietet Genauigkeit auf Pixelebene. Computer-Vision-Modelle wie Ultralytics YOLO11 können verwendet werden, um Instanzsegmentierung einfach auf Bilder und Videos anzuwenden.

Abb. 1. Beispiel für die Verwendung von YOLO11 zur Instanzsegmentierung.

In diesem Leitfaden erklären wir, wie die Instanzsegmentierung funktioniert, welche Anwendungen es gibt und wie Ultralytics YOLO11 für spezifische Segmentierungsaufgaben individuell trainiert werden kann.

Link to this sectionWas ist Instanzsegmentierung?#

Nehmen wir an, es gibt ein Gruppenfoto von Menschen, die dicht beieinander stehen. Die Objekterkennung kann helfen, Rahmen um jede Person zu zeichnen, aber das verrät dir nichts über ihre genaue Form.

Instanzsegmentierung hingegen ähnelt dem sorgfältigen Nachzeichnen jeder Person, sodass du deren vollständigen Umriss sehen kannst, selbst wenn sie sich überlappen. Anstatt nur mit einem Rahmen zu markieren, wo sich etwas befindet, identifiziert sie die exakte Form jedes Objekts auf Pixelebene, was das Verständnis komplexer Bilder erleichtert.

Das Ergebnis ist eine detaillierte Maske, die die Form eines Objekts ausfüllt und genau angibt, welche Pixel dazu gehören. Dieser Grad an Präzision ist in vielen realen Anwendungen nützlich, bei denen es wichtig ist, die genaue Form und die Grenzen von Objekten zu verstehen.

Abb. 2. Demonstration der YOLO11-Unterstützung für Instanzsegmentierung.

Link to this sectionInstanzsegmentierung vs. semantische Segmentierung#

Bei der Erkundung der Instanzsegmentierung wirst du möglicherweise auf das Konzept der semantischen Segmentierung stoßen.

Beide Techniken helfen Computern, Bilder auf Pixelebene zu verstehen, aber sie dienen unterschiedlichen Zwecken. Die semantische Segmentierung klassifiziert jedes Pixel basierend auf seiner Kategorie und gruppiert alle Objekte desselben Typs zusammen. Zum Beispiel würde die semantische Segmentierung in einem Bild mit mehreren Autos alle als „Auto“ markieren, ohne zwischen einzelnen Fahrzeugen zu unterscheiden.

Die Instanzsegmentierung hingegen geht einen Schritt weiter, indem sie jedes Objekt einzeln identifiziert. Sie weist einzelnen Instanzen eindeutige Labels zu und erstellt präzise Masken um deren Formen. Im selben Bild würde die Instanzsegmentierung also nicht alles nur als „Auto“ kennzeichnen, sondern jedes Auto einzeln erkennen und umreißen.

Der Hauptunterschied zwischen den beiden besteht darin, dass die semantische Segmentierung Objekte nach Kategorien gruppiert, während die Instanzsegmentierung jedes Objekt als einzigartiges Entität mit klaren Grenzen unterscheidet. Die Wahl der zu verwendenden Aufgabe hängt von der spezifischen Anwendung ab – ob es ausreicht zu wissen, was sich auf einem Bild befindet, oder ob es wichtig ist, zwischen einzelnen Objekten zu unterscheiden.

Abb. 3. Instanzsegmentierung vs. semantische Segmentierung (rechts bzw. links).

Link to this sectionGängige Modelle zur Instanzsegmentierung#

Es gibt heute verschiedene Modelle zur Instanzsegmentierung für die Vision-AI-Community. Einige sind schneller, einige genauer und einige einfacher zu bedienen.

Diese Optionen können, obwohl nützlich, zu der Frage führen: Welches ist das richtige für eine spezifische Aufgabe? Unter den Optionen sind Ultralytics YOLO-Modelle sehr beliebt, da sie sich auf Geschwindigkeit und Genauigkeit konzentrieren.

Zudem haben sich diese Modelle über die Jahre erheblich weiterentwickelt. Zum Beispiel vereinfachte Ultralytics YOLOv5 die Bereitstellung mithilfe von Frameworks wie PyTorch und machte fortschrittliche Vision AI einem breiteren Publikum zugänglich, ohne dass tiefgreifende technische Expertise erforderlich war.

Auf diesem Erfolg aufbauend führte Ultralytics YOLOv8 eine verbesserte Unterstützung für Computer-Vision-Aufgaben wie Instanzsegmentierung, Pose-Schätzung und Bildklassifizierung ein.

Jetzt hebt YOLO11 die Leistung auf ein neues Level. Es erreicht eine höhere mittlere durchschnittliche Präzision (mAP) auf dem COCO-Datensatz mit 22 % weniger Parametern als YOLOv8m, was bedeutet, dass es Objekte präziser erkennen kann, während es weniger Ressourcen verbraucht.

Abb. 4. Benchmarking von YOLO11.

Einfach gesagt liefert YOLO11 modernste Genauigkeit, ohne Kompromisse bei der Effizienz einzugehen, was es zu einem Wendepunkt in diesem Bereich macht.

Link to this sectionVerständnis der Funktionsweise der Instanzsegmentierung#

Als Nächstes schauen wir uns an, wie die Instanzsegmentierung typischerweise funktioniert. Ältere Computer-Vision-Modelle verwenden einen zweistufigen Ansatz.

Zuerst erkennen sie Objekte, indem sie Begrenzungsrahmen um sie herum zeichnen. Dann erzeugen sie eine Maske auf Pixelebene, um die exakte Form jedes Objekts zu umreißen. Ein bekanntes Beispiel ist Mask R-CNN, das auf Objekterkennungsmodellen aufbaut, indem es einen Schritt zur Maskenvorhersage hinzufügt. Obwohl diese Methode effektiv ist, kann sie langsam sein, da sie das Bild in mehreren Stufen verarbeitet, was Echtzeitanwendungen erschwert.

In der Zwischenzeit verarbeiten Modelle wie YOLO11 Bilder in einem Durchgang und sagen gleichzeitig die Begrenzungsrahmen der Objekte und die Instanzsegmentierungsmasken voraus. Dieser optimierte Ansatz macht sie viel schneller bei gleichbleibend hoher Genauigkeit. Daher ist er besonders nützlich für Echtzeitanwendungen wie autonomes Fahren, Videoanalyse und Robotik, bei denen sowohl Geschwindigkeit als auch Präzision entscheidend sind.

Link to this sectionIndividuelles Training von YOLO11 für die Instanzsegmentierung#

Out-of-the-box wird YOLO11 als vortrainiertes Modell geliefert. Es wurde auf dem COCO-Seg-Datensatz trainiert, der alltägliche Objekte für die Instanzsegmentierung abdeckt. Das Ultralytics Python-Paket unterstützt jedoch individuelles Training, was für spezialisierte Anwendungen unerlässlich ist, bei denen einzigartige Objekte segmentiert werden müssen.

Warum ist individuelles Training oder das Feinabstimmen (Fine-Tuning) eines Modells wichtig? Individuelles Training nutzt Transfer Learning, indem es auf dem Wissen aufbaut, das bereits in vortrainierten Modellen eingebettet ist. Anstatt bei null anzufangen, passt es ein bestehendes Modell mit kleineren Datensätzen und weniger Rechenressourcen an neue Aufgaben an, während gleichzeitig eine hohe Genauigkeit beibehalten wird.

Link to this sectionSo trainierst du YOLO11 individuell#

Hier ist ein genauerer Blick auf die Schritte beim Feinabstimmen von YOLO11 für die Instanzsegmentierung:

• Datenvorbereitung: Sammle und annotiere Bilder basierend auf deiner spezifischen Anwendung. Ultralytics bietet Unterstützung für mehrere Bilddatensätze, du kannst aber auch mit deinem eigenen Datensatz trainieren, indem du Bilder und Annotationen im erforderlichen YOLO-Format vorbereitest.
• Verwendung eines vortrainierten Modells: Anstatt bei null anzufangen, verwende ein vortrainiertes Ultralytics YOLO11-Modell.
• Modelltraining: Passe wichtige Trainingseinstellungen wie die Batchgröße (pro Iteration verarbeitete Bilder), die Bildgröße (Ziel-Eingabeauflösung) und Epochen (gesamte Trainingszyklen) an und trainiere das Modell.
• Leistungsbewertung: Nach Abschluss des Modelltrainings kannst du die Genauigkeit des Modells anhand von Leistungsmetriken wie mAP testen. Das Ultralytics Python-Paket bietet auch integrierte Funktionen für die Modellbewertung.

Link to this sectionAnwendungen der Instanzsegmentierung durch YOLO11#

Instanzsegmentierung kann zur Lösung realer Herausforderungen eingesetzt werden, indem sie Maschinen hilft, Objekte genauer zu sehen und zu verstehen. Von der Verbesserung der Automatisierung bis hin zum Schutz der Umwelt spielt sie in vielen Bereichen eine Schlüsselrolle. Gehen wir einige Beispiele durch, in denen sie Auswirkungen hat.

Link to this sectionBaustellensicherheit und -überwachung mit YOLO11#

Die Instanzsegmentierung kann ein entscheidender Teil der Gewährleistung von Sicherheit und Effizienz auf Baustellen sein. Sie kann zum Beispiel zur Überwachung schwerer Maschinen eingesetzt werden.

YOLO11 kann feinabgestimmt werden, um verschiedene Arten von Ausrüstung wie Kräne, Bagger und Planierraupen präzise zu segmentieren und zu identifizieren sowie deren Positionen in Echtzeit zu verfolgen. Dies ermöglicht es Baustellenleitern sicherzustellen, dass Maschinen strikt innerhalb der ausgewiesenen Bereiche arbeiten und nicht in Zonen eindringen, in denen sich Arbeiter aufhalten oder Gefahren bestehen.

Zudem ermöglicht die Integration solcher Lösungen mit Echtzeit-Warnsystemen schnelle Korrekturmaßnahmen. Darüber hinaus können die gesammelten Erkenntnisse dazu beitragen, die Baustelleneinrichtung und den Arbeitsablauf zu optimieren, was Risiken weiter reduziert und die Produktivität steigert.

Abb. 5. Überwachung schwerer Maschinen mit YOLO11.

Link to this sectionTierüberwachung mit Segmentierung und YOLO11#

Tierverhaltensüberwachung hilft Forschern, Landwirten und Naturschützern, Tiere in verschiedenen Umgebungen besser zu versorgen. Die Instanzsegmentierung spielt eine hilfreiche Rolle in diesen Systemen, indem sie einzelne Tiere auf Farmen, in Zoos und natürlichen Lebensräumen identifiziert und segmentiert. Im Gegensatz zur herkömmlichen Objekterkennung, die Begrenzungsrahmen verwendet, bietet die Instanzsegmentierung eine Abgrenzung jedes Tieres auf Pixelebene, was besonders nützlich ist, wenn Tiere sich in unmittelbarer Nähe befinden.

Detaillierte Segmentierung ermöglicht eine genauere Verfolgung von Bewegungen und Verhaltensweisen. Überlappende oder dicht beieinander stehende Tiere können deutlich erkannt werden und bieten eine präzisere Analyse von Interaktionen, Gesundheitsbewertungen und Aktivitätsmustern. Insgesamt verbessern tiefere Einblicke in das Tierverhalten die Tierpflege- und Managementpraktiken.

Abb. 6. Überwachung von Rindern mittels Instanzsegmentierung.

Link to this sectionYOLO11 in der Sportanalytik und Spieler-Verfolgung#

Präzise Spieler- und Ereignisverfolgung ist ein großer Teil der Sportanalyse. Herkömmliche Tracking-Methoden basieren auf manueller Tagging, das detaillierte Interaktionen möglicherweise nicht erfasst. Computer Vision kann verwendet werden, um Details wie jeden Spieler, den Ball und wichtige Ereignisse auf Pixelebene zu segmentieren, um detaillierte Einblicke zu erhalten.

Zum Beispiel kann die Instanzsegmentierung helfen, Ereignisse wie Fouls oder Vorfälle abseits des Balls zu erkennen, indem jeder Spieler und jedes Objekt klar getrennt wird. Diese granulare Überwachung, die durch Modelle wie YOLO11 ermöglicht wird, bietet Analysten klarere Informationen, um Bewegungsmuster, räumliche Positionierung und Interaktionen mit hoher Genauigkeit zu untersuchen. Ein Hauptvorteil dieser Erkenntnisse ist, dass sie Teams helfen, ihre Strategien zu verfeinern und die Gesamtleistung zu steigern.

Link to this sectionVor- und Nachteile der Instanzsegmentierung#

Hier sind einige der wichtigsten Vorteile, die die Instanzsegmentierung verschiedenen Branchen bieten kann:

• Verbesserte Automatisierung: Durch die Automatisierung von Aufgaben wie Qualitätskontrolle und Sicherheitsüberwachung reduziert die Instanzsegmentierung den Bedarf an manuellem Eingreifen und minimiert menschliches Versagen.
• Besseres Szenenverständnis: Durch das genaue Umreißen jedes Objekts trägt die Instanzsegmentierung zu einem tieferen Verständnis komplexer Szenen bei und unterstützt eine fundiertere Entscheidungsfindung.
• Effiziente Nachbearbeitung: Die Ausgabe auf Pixelebene vereinfacht Aufgaben wie Hintergrundentfernung, Objektzählung und räumliche Analyse, was den Bedarf an zusätzlichen Verarbeitungsschritten reduziert.

Obwohl diese Vorteile hervorheben, wie die Instanzsegmentierung verschiedene Anwendungsfälle beeinflusst, ist es auch wichtig, die Herausforderungen bei ihrer Implementierung zu berücksichtigen.

Hier sind einige der wichtigsten Einschränkungen der Instanzsegmentierung:

• Herausforderungen bei Transparenz: Das Segmentieren transparenter oder reflektierender Objekte wie Glas und Wasser ist schwierig, was zu ungenauen Grenzen führt.
• Wartungsaufwand: Um Modelle genau und relevant zu halten, sind kontinuierliche Updates und Feinabstimmungen erforderlich, da sich Umweltbedingungen und Datensätze ändern.
• Hoher Annotationsaufwand: Das Training von Instanzsegmentierungsmodellen erfordert detaillierte Annotationen auf Pixelebene, was den Zeit- und Kostenaufwand für die Datenvorbereitung erheblich erhöht.

Link to this sectionWichtige Erkenntnisse#

Die Instanzsegmentierung ermöglicht es, einzelne Objekte präzise zu unterscheiden, selbst wenn sie sich überlappen. Durch das Erfassen von Objektgrenzen auf Pixelebene bietet sie ein tieferes Verständnis visueller Daten im Vergleich zu herkömmlichen Computer-Vision-Aufgaben wie der Objekterkennung.

Jüngste Fortschritte im Computer Vision haben die Instanzsegmentierung schneller und einfacher nutzbar gemacht. Insbesondere Computer-Vision-Modelle wie Ultralytics YOLO11 vereinfachen den Prozess und ermöglichen Echtzeit-Segmentierung mit minimalem Einrichtungsaufwand, was sie für verschiedene Branchen und Anwendungen zugänglicher macht.

Neugierig auf KI? Besuche unser GitHub-Repository und vernetze dich mit unserer Community, um weiter zu forschen. Erfahre mehr über Innovationen wie KI in selbstfahrenden Autos und Vision AI in der Landwirtschaft auf unseren Lösungsseiten. Sieh dir unsere Lizenzoptionen an und beginne mit einem Computer-Vision-Projekt!