Ein Leitfaden zur Polygon-Annotation mit der Ultralytics Platform

Modernste KI-Technologien halten Einzug in eine Vielzahl von Branchen, vom autonomen Fahren bis hin zur Präzisionslandwirtschaft. Milchbauern nutzen beispielsweise KI und Bildanalyse, um Krankheiten bei Rindern zu erkennen. Gesundheitliche Probleme wie Lahmheit können überwacht werden, indem Veränderungen im Gang und in der Haltung eines Tieres beobachtet werden, wie etwa ein gekrümmter Rücken und asymmetrische Bewegungen.

Abb. 1. Ein Beispiel für die Überwachung von Kühen mithilfe von KI und Bildanalyse.

Computer vision, ein Teilbereich der künstlichen Intelligenz, ermöglicht solche Anwendungen, indem Maschinen visuelle Daten interpretieren und analysieren können. Insbesondere instance segmentation ist eine Computer-Vision-Aufgabe, die jedes Objekt in einem Bild auf Pixelebene identifiziert und segmentiert, wodurch einzelne Tiere präzise erkannt und analysiert werden können.

Die Polygon-Annotation spielt dabei eine zentrale Rolle. Es ist eine Daten-Annotationsmethode, bei der die exakte Form eines Objekts in einem Bild durch das Setzen von Punkten entlang der Kanten sorgfältig nachgezeichnet wird. Im Gegensatz zu einfachen Bounding-Box-Annotationen folgt dieser Ansatz der wahren Kontur des Objekts, trägt zur Erstellung präziserer Trainingsdaten bei und hilft Vision-KI-Modellen, Objektbegrenzungen besser zu verstehen.

Heutzutage gibt es viele Werkzeuge für die Erstellung von Polygon-Annotationen. Diese Optionen wirken jedoch oft fragmentiert, besonders wenn sie eine uneinheitliche oder eingeschränkte Unterstützung für verschiedene Arten von Annotationen bieten, was die Verwaltung diverser Label-Anforderungen in einem einzigen Workflow erschwert.

Ultralytics Platform, unser neuer End-to-End-Vision-KI-Arbeitsbereich, der die Lücke zwischen Datensatzverwaltung, Annotation, Training, Bereitstellung und Überwachung schließt, löst dies durch die Unterstützung mehrerer Annotationstypen und KI-gestützter Workflows in einem nahtlosen Arbeitsbereich und vereinfacht so den gesamten Annotationsprozess.

In diesem Artikel werden wir untersuchen, was Polygon-Annotationen sind und wie du sie mit der Ultralytics Platform erstellst. Fangen wir an!

Link to this sectionEin genauerer Blick auf die Polygon-Annotation#

Bevor wir in die Ultralytics Platform und ihre Funktionen zur Polygon-Annotation eintauchen, machen wir einen Schritt zurück und klären, was eine Polygon-Annotation überhaupt ist.

Image annotation ist der Prozess des Hinzufügens von Labels zu visuellen Daten, damit KI-Modelle verstehen können, was sie sehen. Typischerweise beinhaltet dies die Identifizierung von Objekten in einem Bild und deren Kennzeichnung, damit ein Modell daraus lernen kann.

Eine der gängigsten Methoden ist das Zeichnen rechteckiger Boxen um Objekte, bekannt als Bounding Boxes. Diese bieten jedoch nur eine grobe Umrisslinie eines Objekts. Die Polygon-Annotation ist ein präziserer Ansatz.

Sie funktioniert, indem ein Objekt (seine Begrenzungen) Punkt für Punkt umrandet wird, anstatt es in eine Box einzuschließen. Dazu platzieren Annotatoren mehrere Eckpunkte (Punkte) entlang der Kanten eines Objekts und zeichnen dessen Kontur nach, bis die gesamte Form abgedeckt ist.

Diese verbundenen Punkte bilden ein Polygon, das den natürlichen Umriss des Objekts widerspiegelt. Da die Form der Objektbegrenzung genau folgt, erfasst die Annotation Details, die bei herkömmlichen Label-Methoden oft verloren gehen. Dies ist besonders nützlich bei Objekten mit unregelmäßigen Formen oder komplexen Kanten, wie etwa Blättern, menschlichen Silhouetten und sich überlappenden Objekten.

Eine solche Präzision bei den Daten hilft Modellen des maschinellen Lernens, während des Trainings effektiver zu lernen. Wenn Annotationen die wahren Grenzen eines Objekts exakt erfassen, können Modelle die Muster des Objekts besser auf Pixelebene verstehen. Dies führt zu einer verbesserten Modellleistung, insbesondere bei Segmentierungsaufgaben, die eine hohe Genauigkeit erfordern.

Link to this sectionDie Rolle der Polygon-Annotation in Computer-Vision-Workflows#

Wie werden Polygon-Annotationen also tatsächlich verwendet? Sie sind eng mit vision AI models verknüpft, die Bildsegmentierungsaufgaben wie instance segmentation unterstützen.

In vielen Computer-Vision-Anwendungen ist es wichtig, den exakten Bereich zu kennen, den jedes Objekt in einem Bild oder Videobild belegt. Ein gutes Beispiel ist die Erkennung von Autoteilen in der Fertigung. Hier müssen Modelle Teile wie Türen, Fenster und Scheinwerfer identifizieren und präzise umreißen, selbst wenn sie sich überlappen oder komplexe Formen aufweisen.

Hier kommt die instance segmentation ins Spiel. Sie ermöglicht es Modellen, jedes Objekt zu erkennen und seine exakten Grenzen auf Pixelebene abzubilden. Dies unterscheidet sich von der einfachen object detection, bei der Bounding Boxes verwendet werden.

Abb. 2. Instance segmentation kann auch dabei helfen, beschädigte Teile eines Autos zu unterscheiden. (Quelle)

Bounding Boxes bieten nur grobe rechteckige Bereiche um Objekte und enthalten oft zusätzlichen Hintergrund, was es schwieriger macht, unregelmäßige Formen zu erfassen oder überlappende Elemente zu trennen.

Die Polygon-Annotation spielt eine entscheidende Rolle, um dieses Maß an Präzision zu ermöglichen. Das Nachzeichnen der exakten Form jedes Objekts in den Bildern des Datensatzes schafft hochwertige Trainingsdaten, die die tatsächlichen Objektgrenzen widerspiegeln. Diese detaillierten Annotationen helfen Modellen wie Ultralytics YOLO26, die Struktur jedes Bauteils besser zu verstehen, was zu genaueren Segmentierungsergebnissen führt.

Link to this sectionEinschränkungen herkömmlicher Image-Annotation-Tools#

Lass uns als Nächstes die Einschränkungen herkömmlicher Annotationswerkzeuge durchgehen, um den Bedarf für effizientere und skalierbarere Lösungen wie die Ultralytics Platform zu verstehen.

Hier sind einige häufige Herausforderungen, mit denen Annotatoren bei der Verwendung herkömmlicher Polygon-Annotationstools konfrontiert sind:

• Eingeschränkte Unterstützung für Annotationstypen: Einige Tools konzentrieren sich auf eine einzige Annotationstechnik, was es schwierig macht, verschiedene Typen wie Polygone, Bounding Boxes und Keypoints an einem Ort zu bearbeiten.
• Ineffiziente Handhabung komplexer Annotationen: Werkzeuge verfügen möglicherweise nicht über Funktionen, die die präzise Annotation komplexer Objekte mit feinen Details erleichtern.
• Mangel an KI-gestützten Funktionen: Viele Werkzeuge verlassen sich vollständig auf manuelle Arbeit, ohne integrierte KI-Unterstützung, um die Annotation zu beschleunigen.
• Fragmentierte Datensatzverwaltung: Das Verwalten von Datensätzen, Versionen und Annotationen kann schwierig sein, insbesondere wenn Tools keinen zentralen Arbeitsbereich bieten.

Die Ultralytics Platform adressiert diese Bedenken mit KI-gestützten Annotationsfunktionen, die sowohl von Segment Anything Models (SAM) als auch von YOLO-Modellen angetrieben werden. SAM ermöglicht es Benutzern, hochwertige Segmentierungsmasken aus einfachen Eingaben wie Mausklicks zu generieren, die dann zu präzisen Polygon-Annotationen verfeinert werden können.

Ebenso nutzt die YOLO-basierte Smart-Annotation vortrainierte oder benutzerdefiniert trainierte YOLO-Modelle, um eine Inferenz auf einem Bild durchzuführen und Vorhersagen – wie Bounding Boxes, Segmentierungsmasken oder orientierte Bounding Boxes – als Annotationen hinzuzufügen, die dann überprüft und bei Bedarf angepasst werden können. Zusammen machen diese Funktionen den Annotationsprozess schneller, konsistenter und einfacher skalierbar.

Link to this sectionVerschiedene von der Ultralytics Platform unterstützte Annotationstypen#

Die Ultralytics Platform enthält einen integrierten Annotationseditor, mit dem Benutzer Bilder direkt im Arbeitsbereich annotieren können. Dies erleichtert das Erstellen und Verwalten von Datensätzen, ohne dass separate, oft zeitaufwendige Tools zur Datenkennzeichnung erforderlich sind.

Zusätzlich zu Polygon-Annotationen unterstützt die Ultralytics Platform mehrere andere Annotationstypen. Hier ein kurzer Überblick:

• Bounding Boxes: Annotatoren können einfache rechteckige Boxen um Objekte zeichnen, was das Kennzeichnen und Erkennen in einem Bild erleichtert.
• Keypoints: Diese Methode wird verwendet, um spezifische Punkte wie Körpergelenke oder Orientierungspunkte für Aufgaben wie Pose Estimation zu markieren.
• Oriented bounding boxes (OBBs): Diese ermöglichen es Benutzern, rotierte oder abgewinkelte Objekte genauer zu erfassen als mit standardmäßigen Bounding Boxes.
• Klassifizierungs-Labels: Für einfachere Aufgaben können Benutzer Labels ganzen Bildern zuweisen, anstatt einzelne Objekte zu markieren.

Link to this sectionObjekte mit Polygonen auf der Ultralytics Platform annotieren#

Lass uns nun sehen, wie man auf der Ultralytics Platform Polygon-Annotationen erstellt, entweder manuell oder mit KI-gestützten Tools.

Link to this sectionManuelle Erstellung von Polygon-Annotationen auf der Ultralytics Platform#

Hier ist eine kurze Schritt-für-Schritt-Anleitung zur manuellen Erstellung von Polygon-Annotationen:

• Schritt 1 – Navigiere zu deinem Datensatz: Öffne den Datensatz, der die Bilder enthält, die du annotieren möchtest. Hier werden deine Bilder und Annotationen gespeichert und verwaltet.
• Schritt 2 – Öffne ein Bild: Klicke auf ein Bild, um es in der Annotationsschnittstelle zu öffnen. Der Annotations-Workflow hängt von der Aufgabe des Datensatzes ab. In einem Datensatz für instance segmentation werden Annotationen beispielsweise mithilfe von Polygon-Masken erstellt.
• Schritt 3 – Beginne mit der Erstellung einer Maske: Klicke auf das Bild, um mit der Annotation zu beginnen. Jeder Klick fügt einen Eckpunkt entlang der Objektbegrenzung hinzu.
• Schritt 4 – Zeichne den Objektumriss nach: Klicke weiter um die Kanten des Objekts, um dessen Form zu definieren.
• Schritt 5 – Schließe das Polygon ab: Du kannst entweder „Enter“ drücken oder auf den ersten Punkt klicken, um das Polygon abzuschließen und ein Klassen-Label zuzuweisen.
• Schritt 6 – Füge weitere Annotationen hinzu: Wiederhole den Vorgang, um weitere Polygone für andere Objekte im Bild zu erstellen.
• Schritt 7 – Annotationen speichern: Annotationen werden automatisch gespeichert, während du sie erstellst.

Abb. 3. Ein Blick auf die manuelle Erstellung von Polygon-Annotationen mit der Ultralytics Platform (Quelle)

Link to this sectionSmart Polygon-Annotation auf der Ultralytics Platform#

Schauen wir uns als Nächstes die KI-gestützten Label-Funktionen an, die von der Ultralytics Platform unterstützt werden und den Annotationsprozess beschleunigen.

Die Plattform bietet zwei Ansätze für die Smart-Annotation: einen, der auf Segment Anything Models für interaktive, klickbasierte Annotationserstellung basiert, und einen, der auf YOLO-Modellen basiert, um Modellvorhersagen direkt als Annotationen hinzuzufügen. Beide Ansätze können für die Smart-Polygon-Annotation verwendet werden.

Link to this sectionSmart-Annotation mittels SAM innerhalb der Ultralytics Platform#

Die SAM-gestützte Annotation auf der Ultralytics Platform vereinfacht die manuelle Kennzeichnung durch den Einsatz des Segment Anything Model (SAM), um Segmentierungsmasken mit minimalem Input zu generieren. Anstatt Objekte Punkt für Punkt nachzuzeichnen, können Benutzer mit dem Bild über einfache Prompts wie Mausklicks interagieren, um anzugeben, was ein- oder ausgeschlossen werden soll.

Die Plattform unterstützt mehrere SAM-Modelle, einschließlich SAM 2.1 und SAM 3, was es Benutzern ermöglicht, je nach Bedarf zwischen schnellerer Leistung oder höherer Genauigkeit zu wählen. Basierend auf der Benutzereingabe generiert SAM in Echtzeit Masken auf Pixelebene. Diese Masken können dann verfeinert und als Polygon-Annotationen verwendet werden, was den Prozess schneller, konsistenter und einfacher skalierbar macht.

Hier sind die Schritte zur Verwendung von SAM für Polygon-Annotationen auf der Ultralytics Platform:

• Schritt 1 – Öffne ein Bild: Navigiere zu deinem Datensatz und klicke auf ein Bild, um den Vollbild-Viewer zu starten.
• Schritt 2 – Gehe in den Annotationsmodus: Klicke auf „Edit“ und wechsle dann in den Smart-Modus (oder drücke S), um SAM zu aktivieren.
• Schritt 3 – Wähle ein SAM-Modell: Wähle ein SAM-Modell aus der Symbolleiste basierend auf deinen Geschwindigkeits- und Genauigkeitsanforderungen.
• Schritt 4 – Gib Prompts ein: Klicke mit der linken Maustaste, um positive Punkte hinzuzufügen (Bereiche einschließen), und mit der rechten Maustaste, um negative Punkte hinzuzufügen (Bereiche ausschließen).
• Schritt 5 – Generiere und wende die Maske an: SAM sagt in Echtzeit eine Segmentierungsmaske voraus. Drücke „Enter“ (oder verwende die Auto-Apply-Funktion), um die Annotation anzuwenden.
• Schritt 6 – Verfeinere die Annotation: Füge bei Bedarf weitere Punkte hinzu oder passe das Ergebnis an, um die Genauigkeit vor dem Speichern zu verbessern.

Abb. 4. SAM-gestützte Polygon-Annotation innerhalb der Ultralytics Platform (Quelle)

Link to this sectionSmart-Annotation mittels YOLO innerhalb der Ultralytics Platform#

Die YOLO-basierte Smart-Annotation auf der Ultralytics Platform beschleunigt die Label-Erstellung durch den Einsatz vortrainierter Ultralytics YOLO-Modelle oder feinabgestimmter YOLO-Modelle, um Vorhersagen für ein Bild zu generieren und diese als Annotationen hinzuzufügen. Diese Vorhersagen können je nach Datensatzaufgabe Bounding Boxes, Segmentierungsmasken oder orientierte Bounding Boxes umfassen.

Benutzer können diese Annotationen dann nach Bedarf überprüfen und verfeinern. Hier ist ein Überblick über die Schritte bei der Verwendung der YOLO-basierten Smart-Annotation auf der Ultralytics Platform:

• Schritt 1 – Öffne ein Bild: Navigiere zu deinem Datensatz und wähle ein Bild aus, um es im Vollbild-Viewer zu öffnen.
• Schritt 2 – Gehe in den Annotationsmodus: Klicke auf „Edit“ und wechsle dann in den Smart-Modus (oder drücke S).
• Schritt 3 – Wähle ein YOLO-Modell: Wähle ein YOLO-Modell aus der Modellauswahl in der Symbolleiste.
• Schritt 4 – Führe eine Vorhersage aus: Klicke auf „Predict“, damit das Modell automatisch Annotationen generiert.
• Schritt 5 – Überprüfe die Annotationen: Untersuche die vorhergesagten Bounding Boxes, Segmentierungsmasken oder OBBs, die dem Bild hinzugefügt wurden.
• Schritt 6 – Verfeinere und speichere: Bearbeite, passe oder entferne fehlerhafte Annotationen nach Bedarf und speichere dann deine endgültigen Labels.

Abb. 5. Ein kurzer Einblick in die Verwendung der YOLO Smart-Annotation (Quelle)

Link to this sectionReale Anwendungsfälle für die Polygon-Annotation#

Die Polygon-Annotation hat reale Auswirkungen auf verschiedene Branchen, von der Qualitätskontrolle in der Fertigung bis hin zur Landwirtschaft und im Gesundheitswesen. Lass uns einige wichtige praktische Anwendungen erkunden.

Link to this sectionSchädlingserkennung mittels Computer Vision#

In der Landwirtschaft ist die Überwachung der Pflanzengesundheit entscheidend, um den Ertrag zu verbessern und Verluste zu reduzieren. Die Erkennung von schädlingsbefallenen Bereichen auf Pflanzenblättern kann schwierig sein, da diese Regionen oft unregelmäßige Formen und unklare Grenzen aufweisen.

Diese Art von Problem kann mithilfe von Bildsegmentierungstechniken wie der semantischen Segmentierung angegangen werden, die alle Pixel kennzeichnet, die zu einer Klasse gehören (z. B. infizierte Bereiche), oder mittels instance segmentation, die Objektkonturen präziser trennt.

Mit der Ultralytics Platform können Benutzer Polygon-Annotationen verwenden, um die exakte Form dieser infizierten Bereiche nachzuzeichnen. Dies trägt zur Erstellung genauerer Datensätze bei und erleichtert Vision-KI-Algorithmen das Erkennen subtiler Muster in landwirtschaftlichen Umgebungen.

Infolgedessen können Teams bessere Trainingsdaten aufbauen, die den Modellen helfen, genau zu identifizieren, wo Schädlingsbefall vorliegt. Dies ist effektiver als die Verwendung von Bounding Boxes, die Teile des Blattes einschließen können, die gar nicht betroffen sind.

Link to this sectionMedizinische Bildanalyse basierend auf instance segmentation#

Ähnlich wie bei der Schädlingserkennung in der Landwirtschaft können selbst kleine Unterschiede in den Begrenzungen beeinflussen, wie Krankheiten wie Krebs in der medizinischen Bildgebung analysiert werden. Dies ist besonders entscheidend bei der Identifizierung von Anomalien im Gesundheitswesen, wie etwa Tumoren in CT-Scans.

Herkömmliche Annotationsmethoden übersehen möglicherweise feine Ränder oder schließen umliegendes Gewebe ein, was die Genauigkeit verringern kann. Mit der Ultralytics Platform können Teams die Polygon-Annotation nutzen, um diese Regionen in den Trainingsdaten präzise nachzuzeichnen, was den Modellen hilft, eine genauere und zuverlässigere Tumorsegmentierung zu erzeugen.

Link to this sectionWichtige Erkenntnisse#

Die Polygon-Annotation ist entscheidend, wenn Modelle Objektformen in Bildern mit hoher Präzision verstehen müssen. Sie hilft dabei, komplexe Formen genauer abzubilden, insbesondere bei der Verwendung der Ultralytics Platform. Durch die Kombination von Präzision mit leistungsstarken Tools können Teams zuverlässigere und leistungsfähigere KI-Modelle entwickeln.

Bist du bereit, Vision-KI in deine Projekte einzubinden? Werde Teil unserer Community und entdecke KI in der Automobilindustrie sowie Vision-KI in der Robotik. Erkunde unser GitHub-Repository, um mehr zu erfahren. Sieh dir unsere Lizenzoptionen an, um noch heute loszulegen!