Instanz-Segmentierung

Die Instanzsegmentierung ist eine hochentwickelte Computer-Vision-Technik (CV), die Objekte innerhalb eines Bildes identifiziert und die genauen Grenzen jeder einzelnen Instanz auf Pixelebene abgrenzt. Im Gegensatz zu Methoden, die Objekte nur umrahmen, bietet die Instanzsegmentierung ein viel detaillierteres Verständnis einer Szene, indem sie für jedes erkannte Objekt eine eigene Maske erstellt, selbst wenn sie zur selben Klasse gehören. Diese Fähigkeit ist für fortgeschrittene Anwendungen der künstlichen Intelligenz (KI) von entscheidender Bedeutung, bei denen die genaue Kenntnis der Form, Größe und räumlichen Ausdehnung verschiedener Objekte wichtig ist, insbesondere wenn sich Objekte überschneiden.

So funktioniert die Instanzsegmentierung

Modelle zur Instanzsegmentierung analysieren ein Bild, um zunächst potenzielle Objekte zu lokalisieren und dann für jedes erkannte Objekt vorherzusagen, welche Pixel zu dieser spezifischen Instanz gehören. Herkömmliche Ansätze, wie die einflussreiche Mask R-CNN-Architektur, verwenden häufig einen zweistufigen Prozess: Zunächst führen sie eine Objekterkennung durch, um Vorschläge für Begrenzungsrahmen zu generieren, und anschließend erzeugen sie eine Segmentierungsmaske innerhalb jedes vorgeschlagenen Rahmens. Diese Methoden sind zwar effektiv, können aber sehr rechenintensiv sein.

Neuere Ansätze, darunter Modelle wie Ultralytics YOLO, verwenden oft einstufige Pipelines. Diese Modelle sagen in einem einzigen Durchgang durch das neuronale Netz (NN) gleichzeitig Bounding Boxes, Klassenbezeichnungen und Instanzmasken voraus, was zu erheblichen Geschwindigkeitsverbesserungen führt und sie für Echtzeit-Inferenz geeignet macht. Für das Training dieser Modelle sind große Datensätze mit Annotationen auf Pixelebene erforderlich, wie z. B. der weit verbreitete COCO-Datensatz, insbesondere seine Segmentierungsannotationen. Der Prozess umfasst in der Regel Deep-Learning-Techniken (DL), bei denen Convolutional Neural Networks (CNNs) zum Erlernen komplexer visueller Merkmale eingesetzt werden.

Instanzsegmentierung vs. verwandte Aufgaben

Es ist wichtig, die Instanzsegmentierung von anderen Bildsegmentierungsaufgaben zu unterscheiden:

• Objekt-Erkennung: Identifiziert das Vorhandensein und die Position von Objekten mithilfe von Begrenzungsrahmen, liefert aber keine Forminformationen. Die Instanzsegmentierung geht weiter, indem sie die genauen Pixel jedes Objekts umreißt.
• Semantische Segmentierung: Ordnet jedem Pixel eines Bildes eine Klassenbezeichnung zu (z. B. "Auto", "Person", "Straße"). Es wird jedoch nicht zwischen verschiedenen Instanzen der gleichen Klasse unterschieden. So würden beispielsweise alle Autos zu demselben Segment "Auto" gehören. Weitere Informationen finden Sie in diesem Leitfaden zu Instanzsegmentierung und semantischer Segmentierung.
• Panoptische Segmentierung: Kombiniert semantische und Instanzsegmentierung. Jedem Pixel wird eine Klassenbezeichnung zugewiesen (wie bei der semantischen Segmentierung) und jedes Objekt eindeutig identifiziert (wie bei der Instanzsegmentierung).

Die Instanzsegmentierung konzentriert sich speziell auf die Erkennung und Abgrenzung einzelner Objektinstanzen und bietet eine hohe Genauigkeit hinsichtlich der Objektgrenzen und -trennung.

Anwendungen der Instanzensegmentierung

Die Fähigkeit, einzelne Objekte präzise zu identifizieren und zu isolieren, macht die Instanzsegmentierung in zahlreichen Bereichen von unschätzbarem Wert:

• Autonomes Fahren: Selbstfahrende Autos sind auf die Segmentierung von Instanzen angewiesen, um ihre Umgebung genau wahrnehmen zu können. Die Unterscheidung zwischen einzelnen Fahrzeugen, Fußgängern, Radfahrern und Hindernissen, selbst in unübersichtlichen oder sich überschneidenden Szenen, ist entscheidend für eine sichere Navigation und Entscheidungsfindung. Unternehmen wie Waymo nutzen solche Techniken ausgiebig.
• Medizinische Bildanalyse: In der Radiologie und Pathologie hilft die Instanzsegmentierung, bestimmte Strukturen wie Tumore, Organe oder Zellen in Scans(CT, MRT usw.) zu umreißen. Diese Präzision auf Pixelebene hilft bei der Diagnose, der Messung der Tumorgröße, der Planung von Operationen und der Verfolgung des Krankheitsverlaufs. Die Verwendung von YOLO11 zur Tumorerkennung zeigt diese Anwendung im breiteren Kontext der KI im Gesundheitswesen.
• Robotik: Roboter, die Aufgaben wie Greifen oder Manipulationen in unstrukturierten Umgebungen ausführen, müssen einzelne Objekte genau identifizieren und lokalisieren. Die Segmentierung von Instanzen ermöglicht es Robotern, die genaue Form und die Grenzen von Objekten zu erkennen, um erfolgreich interagieren zu können, was in AI in Robotics näher untersucht wird.
• Analyse von Satellitenbildern: Zur detaillierten Kartierung der Bodenbedeckung, zur Überwachung der Ausbreitung von Städten durch Identifizierung einzelner Gebäude oder zur Verfolgung bestimmter Objekte wie Schiffe oder Fahrzeuge. Dieser Detaillierungsgrad unterstützt die Umweltüberwachung, das Ressourcenmanagement und die Sammlung von Informationen. Erkunden Sie die allgemeinen Techniken der Satellitenbildanalyse.
• Landwirtschaftliche Überwachung: Hilft beim Zählen einzelner Pflanzen oder Früchte, bei der Beurteilung des Gesundheitszustands von Pflanzen oder bei der Identifizierung bestimmter Unkrautarten für gezielte Maßnahmen und trägt so zur Präzisionslandwirtschaft bei.

Instanzsegmentierung mit Ultralytics YOLO

Ultralytics bietet hochmoderne Modelle, die eine effiziente Instanzsegmentierung durchführen können. Modelle wie YOLOv8 und YOLO11 sind so konzipiert, dass sie bei verschiedenen Computer-Vision-Aufgaben, einschließlich der Segmentierung von Instanzen, eine hohe Leistung erbringen(siehe Details zur Segmentierungsaufgabe). Benutzer können vortrainierte Modelle nutzen oder mit Hilfe von Tools wie der Ultralytics HUB-Plattform, die den Arbeitsablauf des maschinellen Lernens (ML) von der Datenverwaltung bis zur Modellbereitstellung vereinfacht, Feinabstimmungen an benutzerdefinierten Datensätzen vornehmen. Für die praktische Umsetzung stehen Ressourcen wie Tutorials zur Segmentierung mit vortrainierten Ultralytics YOLOv8-Modellen oder Anleitungen zur Isolierung von Segmentierungsobjekten zur Verfügung. Sie können auch lernen, wie man Ultralytics YOLO11 für die Segmentierung von Beispielen verwendet. Beliebte Frameworks wie PyTorch und TensorFlow werden üblicherweise für die Entwicklung und den Einsatz dieser Modelle verwendet.