Was ist Instanzsegmentierung? Ein kurzer Leitfaden

Anwendungen der Computer Vision sind in unserem Alltag immer häufiger anzutreffen – von Verkehrskameras, die Straßenverhältnisse überwachen, bis hin zu Selbstbedienungskassen in Geschäften. Indem Vision-KI Maschinen ermöglicht, visuelle Daten ähnlich wie Menschen zu verstehen, wirkt sie sich auf zahlreiche Branchen aus.

Viele dieser Anwendungen basieren auf Objekterkennung, einer Aufgabe des maschinellen Sehens, bei der wichtige Objekte in Bildern mit Begrenzungsrahmen umgeben werden. Dieser Ansatz funktioniert oft gut, doch manche Lösungen zur Bildanalyse erfordern noch mehr Präzision.

Bei medizinischen Bildgebungsverfahren reicht es beispielsweise nicht aus, einen Tumor nur zu erkennen – entscheidend ist, seine genaue Form abzugrenzen. Ebenso müssen Roboter die exakten Konturen eines Objekts erkennen, um es richtig greifen zu können. Die Instanzsegmentierung bietet eine präzisere Lösung für diese Herausforderungen.

Die Instanzsegmentierung ist eine Aufgabe des maschinellen Sehens, die Anwendungsfälle unterstützt, bei denen es nicht ausreicht, Objekte zu erkennen – sie bietet Genauigkeit auf Pixelebene. Modelle für maschinelles Sehen wie Ultralytics YOLO11 lassen sich ganz einfach für die Instanzsegmentierung von Bildern und Videos einsetzen.

Abb. 1 Beispiel für die Instanzsegmentierung mit YOLO11.

In diesem Leitfaden erklären wir, wie die Instanzsegmentierung funktioniert, welche Anwendungsbereiche es gibt und wie du Ultralytics YOLO11 für bestimmte Segmentierungsaufgaben trainieren kannst.

Was ist Instanzsegmentierung?#

Stell dir ein Gruppenfoto von Menschen vor, die dicht beieinanderstehen. Mit der Objekterkennung lassen sich Rahmen um jede Person zeichnen, doch dadurch erfährst du nichts über ihre genaue Form.

Instanzsegmentierung funktioniert dagegen ähnlich wie das sorgfältige Nachzeichnen jeder einzelnen Person, sodass du die vollständigen Umrisse erkennen kannst, selbst wenn sich die Personen überlappen. Anstatt nur mit einem Rahmen zu markieren, wo sich etwas befindet, erkennt die Instanzsegmentierung die genaue Form jedes Objekts auf Pixelebene und erleichtert so das Verständnis komplexer Bilder.

Das Ergebnis ist eine detaillierte Maske, die die Form eines Objekts ausfüllt und genau angibt, welche Pixel zu diesem Objekt gehören. Diese Präzision ist in vielen praktischen Anwendungsfällen nützlich, in denen es auf die genaue Form und die Grenzen von Objekten ankommt.

Abb. 2. Unterstützung der Instanzsegmentierung durch Ultralytics YOLO11.

Instanzsegmentierung im Vergleich zur semantischen Segmentierung#

Wenn du dich mit Instanzsegmentierung beschäftigst, stößt du möglicherweise auch auf das Konzept der semantischen Segmentierung.

Beide Verfahren helfen Computern, Bilder auf Pixelebene zu verstehen, dienen aber unterschiedlichen Zwecken. Bei der semantischen Segmentierung wird jedes Pixel anhand seiner Kategorie klassifiziert, wobei alle Objekte desselben Typs zusammengefasst werden. In einem Bild mit mehreren Autos würden beispielsweise bei der semantischen Segmentierung alle als „Auto“ markiert, ohne die einzelnen Fahrzeuge voneinander zu unterscheiden.

Die Instanzsegmentierung geht dagegen einen Schritt weiter und identifiziert jedes Objekt einzeln. Sie weist einzelnen Instanzen eindeutige Bezeichnungen zu und erstellt präzise Masken um ihre Formen. Im selben Bild würde die Instanzsegmentierung also nicht einfach alles als „Auto“ kennzeichnen, sondern jedes Auto einzeln erkennen und abgrenzen.

Der Hauptunterschied zwischen den beiden Verfahren besteht darin, dass die semantische Segmentierung Objekte nach Kategorien gruppiert, während die Instanzsegmentierung jedes Objekt als eigenständige Einheit mit klaren Grenzen erfasst. Welches Verfahren du verwendest, hängt vom jeweiligen Anwendungsfall ab: Reicht es aus, zu wissen, was auf einem Bild zu sehen ist, oder müssen einzelne Objekte voneinander unterschieden werden?

Wenn du Hilfe bei der Entscheidung brauchst, welche Aufgabe dein Projekt erfordert, lies semantische Segmentierung oder Instanzsegmentierung: So triffst du die richtige Wahl.

Abb. 3 Instanzsegmentierung im Vergleich zur semantischen Segmentierung (rechts beziehungsweise links).

Beliebte Modelle für die Instanzsegmentierung#

Heutzutage stehen der Community für visuelle KI verschiedene Modelle zur Instanzsegmentierung zur Verfügung. Manche sind schneller, manche genauer und manche einfacher zu verwenden.

Diese Möglichkeiten sind zwar nützlich, werfen aber die Frage auf, welche davon sich für eine bestimmte Aufgabe eignet. Ultralytics YOLO-Modelle sind besonders beliebt, weil sie auf Geschwindigkeit und Genauigkeit ausgelegt sind.

Außerdem haben sich diese Modelle im Laufe der Jahre stark weiterentwickelt. So vereinfachte Ultralytics YOLOv5 beispielsweise die Bereitstellung mithilfe von Frameworks wie PyTorch und machte fortschrittliche visuelle KI einem breiteren Publikum zugänglich, ohne dass tiefgehende technische Kenntnisse erforderlich waren.

Auf diesem Erfolg aufbauend führte Ultralytics YOLOv8 eine erweiterte Unterstützung für Aufgaben des maschinellen Sehens ein, etwa für Instanzsegmentierung, Pose-Schätzung und Bildklassifizierung.

Ultralytics YOLO11 (inzwischen abgelöst durch Ultralytics YOLO26) steigerte die Leistung weiter. Auf dem COCO-Datensatz erzielt es eine höhere mittlere durchschnittliche Präzision (mAP) und benötigt dabei 22 % weniger Parameter als YOLOv8m. Das bedeutet, dass es Objekte genauer erkennen und zugleich weniger Ressourcen nutzen kann.

Abb. 4 Leistungsvergleich von YOLO11.

Einfach ausgedrückt bietet Ultralytics YOLO11 Genauigkeit auf dem neuesten Stand der Technik, ohne bei der Effizienz Abstriche zu machen.

So funktioniert die Instanzsegmentierung#

Sehen wir uns als Nächstes an, wie die Instanzsegmentierung üblicherweise funktioniert. Ältere Computer-Vision-Modelle verwenden einen zweistufigen Ansatz.

Zunächst erkennen sie Objekte, indem sie Begrenzungsrahmen um sie zeichnen. Anschließend erzeugen sie eine Maske auf Pixelebene, die die genaue Form jedes Objekts umreißt. Ein bekanntes Beispiel ist Mask R-CNN, das auf Modellen zur Objekterkennung aufbaut und eine Maskenvorhersage ergänzt. Obwohl diese Methode effektiv ist, kann sie langsam sein, weil sie das Bild in mehreren Schritten verarbeitet. Dadurch wird der Einsatz in Echtzeitanwendungen schwieriger.

Modelle wie Ultralytics YOLO11 verarbeiten Bilder hingegen in einem Durchgang und sagen gleichzeitig die Begrenzungsrahmen der Objekte und die Masken für die Instanzsegmentierung voraus. Dieser optimierte Ansatz ist deutlich schneller und erzielt dennoch eine hohe Genauigkeit. Deshalb eignet er sich besonders für Echtzeitanwendungen wie autonomes Fahren, Videoanalyse und Robotik, bei denen sowohl Geschwindigkeit als auch Präzision entscheidend sind.

Ultralytics YOLO11 speziell für die Instanzsegmentierung trainieren#

YOLO11 wird direkt als vortrainiertes Modell bereitgestellt. Es wurde auf dem COCO-Seg-Datensatz trainiert, der Alltagsobjekte für die Instanzsegmentierung umfasst. Das Ultralytics-Python-Paket unterstützt jedoch auch das Training mit eigenen Daten, das für spezialisierte Anwendungen unverzichtbar ist, bei denen ungewöhnliche Objekte segmentiert werden müssen.

Warum ist es wichtig, ein Modell mit eigenen Daten zu trainieren oder fein abzustimmen? Beim Training mit eigenen Daten wird Transferlernen genutzt, indem auf dem Wissen aufgebaut wird, das bereits in vortrainierten Modellen steckt. Anstatt bei null anzufangen, passt du ein vorhandenes Modell mithilfe kleinerer Datensätze und geringerer Rechenleistung an neue Aufgaben an und erzielst dabei weiterhin eine hohe Genauigkeit.

Ultralytics YOLO11 mit eigenen Daten trainieren#

Hier siehst du die einzelnen Schritte, um Ultralytics YOLO11 für die Instanzsegmentierung fein abzustimmen:

• Daten vorbereiten: Sammle und annotiere Bilder für deinen konkreten Anwendungsfall. Ultralytics unterstützt verschiedene Bilddatensätze. Du kannst aber auch mit deinem eigenen Datensatz trainieren, indem du Bilder und Annotationen im erforderlichen YOLO-Format vorbereitest.
• Ein vortrainiertes Modell verwenden: Anstatt bei null anzufangen, verwendest du ein vortrainiertes Ultralytics-YOLO11-Modell.
• Modell trainieren: Passe wichtige Trainingseinstellungen wie die Batch-Größe (Anzahl der pro Iteration verarbeiteten Bilder), die Bildgröße (die angestrebte Eingabeauflösung) und die Epochen (die Gesamtzahl der Trainingsdurchläufe) an und trainiere das Modell.
• Leistung bewerten: Nach Abschluss des Modelltrainings kannst du die Genauigkeit des Modells anhand von Leistungskennzahlen wie mAP testen. Das Ultralytics-Python-Paket bietet außerdem integrierte Funktionen zur Modellbewertung.

Anwendungsbereiche der Instanzsegmentierung mit Ultralytics YOLO11#

Mit Instanzsegmentierung lassen sich praktische Herausforderungen bewältigen, indem Maschinen Objekte genauer sehen und verstehen können. Sie spielt in vielen Bereichen eine wichtige Rolle – von der Verbesserung der Automatisierung bis zum Umweltschutz. Sehen wir uns einige Beispiele für ihren praktischen Einsatz an.

Sicherheit und Überwachung von Baustellen mit Ultralytics YOLO11#

Instanzsegmentierung kann entscheidend dazu beitragen, die Sicherheit und Effizienz auf Baustellen zu gewährleisten. So kann sie beispielsweise zur Überwachung schwerer Maschinen eingesetzt werden.

Ultralytics YOLO11 lässt sich fein abstimmen, um verschiedene Arten von Geräten wie Kräne, Bagger und Planierraupen präzise zu segmentieren und zu erkennen sowie ihre Positionen in Echtzeit zu verfolgen. So können Bauleiter sicherstellen, dass die Maschinen ausschließlich in den dafür vorgesehenen Bereichen arbeiten und weder in Bereiche mit Beschäftigten noch in Gefahrenzonen eindringen.

Durch die Integration solcher Lösungen in Echtzeit-Warnsysteme können außerdem schnell Korrekturmaßnahmen eingeleitet werden. Darüber hinaus helfen die gesammelten Erkenntnisse dabei, die Baustellenplanung und die Arbeitsabläufe zu optimieren, Risiken weiter zu verringern und die Produktivität zu steigern.

Abb. 5 Überwachung schwerer Maschinen mit Ultralytics YOLO11.

Tiere mit Segmentierung und Ultralytics YOLO11 überwachen#

Die Überwachung des Tierverhaltens hilft Forschern, Landwirten und Naturschützern, Tiere in verschiedenen Umgebungen besser zu versorgen. Instanzsegmentierung unterstützt diese Systeme, indem sie einzelne Tiere auf Bauernhöfen, in Zoos und in natürlichen Lebensräumen erkennt und segmentiert. Anders als bei der herkömmlichen Objekterkennung mit Begrenzungsrahmen werden bei der Instanzsegmentierung die einzelnen Tiere auf Pixelebene abgegrenzt. Das ist besonders nützlich, wenn Tiere dicht beieinander sind.

Eine detaillierte Segmentierung ermöglicht eine genauere Verfolgung von Bewegungen und Verhaltensweisen. Tiere, die sich überlappen oder dicht beieinanderstehen, lassen sich voneinander unterscheiden. So werden genauere Analysen ihrer Interaktionen, ihres Gesundheitszustands und ihrer Aktivitätsmuster möglich. Insgesamt tragen tiefere Einblicke in das Verhalten von Tieren zu besseren Pflege- und Haltungspraktiken bei.

Abb. 6 Rinderüberwachung mit Instanzsegmentierung.

Ultralytics YOLO11 für Sportanalysen und die Verfolgung von Spielern#

Die präzise Verfolgung von Spielern und Ereignissen ist ein wichtiger Bestandteil der Sportanalyse. Herkömmliche Verfolgungsverfahren beruhen auf manuellen Markierungen, die detaillierte Interaktionen möglicherweise nicht erfassen. Mit maschinellem Sehen lassen sich Details wie einzelne Spieler, der Ball und wichtige Ereignisse auf Pixelebene segmentieren, um detaillierte Erkenntnisse zu gewinnen.

Die Instanzsegmentierung kann beispielsweise helfen, Ereignisse wie Fouls oder Vorfälle abseits des Spielgeschehens zu erkennen, indem sie jeden Spieler und jedes Objekt klar voneinander abgrenzt. Die detaillierte Überwachung mit Modellen wie Ultralytics YOLO11 liefert Analysten klarere Informationen, um Bewegungsmuster, räumliche Positionen und Interaktionen mit hoher Genauigkeit zu untersuchen. Ein wesentlicher Vorteil dieser Erkenntnisse besteht darin, dass Teams damit ihre Strategien verfeinern und ihre Gesamtleistung steigern können.

Vor- und Nachteile der Instanzsegmentierung#

Hier sind einige der wichtigsten Vorteile, die die Instanzsegmentierung verschiedenen Branchen bieten kann:

• Verbesserte Automatisierung: Durch die Automatisierung von Aufgaben wie Qualitätskontrolle und Sicherheitsüberwachung verringert die Instanzsegmentierung den Bedarf an manuellen Eingriffen und minimiert menschliche Fehler.
• Besseres Szenenverständnis: Indem die Instanzsegmentierung jedes Objekt präzise abgrenzt, trägt sie zu einem tieferen Verständnis komplexer Szenen bei und ermöglicht fundiertere Entscheidungen.
• Effiziente Nachverarbeitung: Die Ergebnisse auf Pixelebene vereinfachen Aufgaben wie das Entfernen von Hintergründen, das Zählen von Objekten und die räumliche Analyse und verringern so den Bedarf an zusätzlichen Verarbeitungsschritten.

Diese Vorteile zeigen, welche Auswirkungen die Instanzsegmentierung auf verschiedene Anwendungsfälle hat. Ebenso wichtig ist es jedoch, die Herausforderungen bei ihrer Umsetzung zu berücksichtigen.

Hier sind einige der wichtigsten Einschränkungen der Instanzsegmentierung:

• Herausforderungen bei Transparenz: Transparente oder reflektierende Objekte wie Glas und Wasser lassen sich nur schwer segmentieren, was zu ungenauen Grenzen führt.
• Wartungsaufwand: Damit Modelle genau und relevant bleiben, müssen sie regelmäßig aktualisiert und fein abgestimmt werden, wenn sich Umgebungsbedingungen und Datensätze ändern.
• Hoher Annotationsaufwand: Zum Trainieren von Modellen für die Instanzsegmentierung sind detaillierte Annotationen auf Pixelebene erforderlich. Dadurch steigen Zeitaufwand und Kosten für die Datenvorbereitung erheblich.

Die wichtigsten Erkenntnisse#

Mit Instanzsegmentierung lassen sich einzelne Objekte präzise voneinander unterscheiden, selbst wenn sie sich überlappen. Indem ihre Grenzen auf Pixelebene erfasst werden, ermöglicht sie ein tieferes Verständnis visueller Daten als herkömmliche Aufgaben des maschinellen Sehens wie die Objekterkennung.

Jüngste Fortschritte im maschinellen Sehen haben die Instanzsegmentierung schneller und einfacher anwendbar gemacht. Insbesondere Modelle für maschinelles Sehen wie Ultralytics YOLO11 vereinfachen den Prozess und ermöglichen eine Segmentierung in Echtzeit bei minimalem Einrichtungsaufwand. Dadurch wird die Technologie für verschiedene Branchen und Anwendungsbereiche leichter zugänglich.

Neugierig auf KI? Besuche unser GitHub-Repository und tausche dich mit unserer Community aus, um mehr zu erfahren. Entdecke auf unseren Lösungsseiten Innovationen wie KI in selbstfahrenden Autos und visuelle KI in der Landwirtschaft. Sieh dir unsere Lizenzierungsoptionen an und starte dein eigenes Projekt zum maschinellen Sehen!