Ein Leitfaden zur Polygonannotation mit der Ultralytics Platform

Modernste KI-Technologien kommen in einer Vielzahl von Branchen zum Einsatz, vom autonomen Fahren bis zur Präzisionslandwirtschaft. Milchviehbetriebe nutzen beispielsweise KI und Bildanalyse, um Krankheiten bei Rindern zu erkennen. Gesundheitsprobleme wie Lahmheit lassen sich beobachten, indem Veränderungen im Gang und in der Körperhaltung eines Tieres erfasst werden, etwa ein gekrümmter Rücken und asymmetrische Bewegungen.

Abb. 1. Beispiel für die Überwachung von Kühen mit KI und Bildanalyse.

Bildverarbeitung, ein Teilgebiet der künstlichen Intelligenz, ermöglicht solche Anwendungen, indem Maschinen visuelle Daten interpretieren und analysieren können. Insbesondere ist die Instanzsegmentierung eine Aufgabe der Bildverarbeitung, bei der jedes Objekt in einem Bild auf Pixelebene erkannt und segmentiert wird. Dadurch lassen sich einzelne Tiere präzise erkennen und analysieren.

Die Polygonannotation spielt dabei eine wichtige Rolle. Sie ist eine Methode zur Datenannotation, bei der die genaue Form eines Objekts in einem Bild sorgfältig nachgezeichnet wird, indem Punkte entlang seiner Kanten gesetzt werden. Anders als einfache Annotationen mit Begrenzungsrahmen folgt diese Methode dem tatsächlichen Umriss des Objekts. So entstehen genauere Trainingsdaten, mit denen Bildverarbeitungsmodelle Objektgrenzen besser verstehen können.

Heute stehen zahlreiche Werkzeuge zum Erstellen von Polygonannotationen zur Verfügung. Allerdings wirken diese Angebote oft unzusammenhängend, insbesondere wenn sie unterschiedliche Annotationstypen uneinheitlich oder nur eingeschränkt unterstützen. Dadurch wird es schwieriger, vielfältige Anforderungen an die Beschriftung in einem einzigen Arbeitsablauf zu verwalten.

Die Ultralytics Platform, unser neuer durchgängiger Arbeitsbereich für Vision AI, der die Lücke zwischen Datensatzverwaltung, Annotation, Training, Bereitstellung und Überwachung schließt, löst dieses Problem: Sie unterstützt mehrere Annotationstypen und KI-gestützte Arbeitsabläufe in einem nahtlosen Arbeitsbereich und vereinfacht so den gesamten Annotationsprozess.

In diesem Artikel erklären wir, was Polygonannotationen sind und wie du sie mit der Ultralytics Platform erstellst. Los geht’s!

Polygonannotation im Detail#

Bevor wir uns mit der Ultralytics Platform und ihren Funktionen für Polygonannotationen beschäftigen, schauen wir uns zunächst an, was Polygonannotation bedeutet.

Bildannotation bezeichnet das Hinzufügen von Beschriftungen zu visuellen Daten, damit KI-Modelle verstehen können, was sie sehen. Dabei werden typischerweise Objekte in einem Bild identifiziert und so markiert, dass ein Modell daraus lernen kann.

Eine der verbreitetsten Methoden besteht darin, rechteckige Kästen um Objekte zu zeichnen, sogenannte Begrenzungsrahmen. Begrenzungsrahmen liefern jedoch nur einen groben Umriss des Objekts. Polygonannotation ist eine genauere Methode.

Dabei wird ein Objekt Punkt für Punkt entlang seiner Grenzen umrissen, anstatt es mit einem Kasten einzuschließen. Dazu setzen Annotierende mehrere Eckpunkte entlang der Objektkanten und zeichnen seine Kontur nach, bis die gesamte Form erfasst ist.

Diese verbundenen Punkte bilden ein Polygon, das dem natürlichen Umriss des Objekts entspricht. Da die Form der Objektgrenze genau folgt, erfasst die Annotation Details, die bei herkömmlichen Beschriftungsmethoden oft verloren gehen. Das ist besonders nützlich bei Objekten mit unregelmäßigen Formen oder komplexen Kanten, etwa Blättern, menschlichen Silhouetten und überlappenden Objekten.

Solche präzisen Daten helfen Modellen des maschinellen Lernens, während des Trainings effektiver zu lernen. Wenn Annotationen die tatsächlichen Grenzen eines Objekts genau erfassen, können Modelle seine Muster auf Pixelebene besser verstehen. Das verbessert die Modellleistung, besonders bei Segmentierungsaufgaben, die hohe Genauigkeit erfordern.

Die Rolle von Polygonannotationen in Bildverarbeitungsabläufen#

Wie werden Polygonannotationen also tatsächlich eingesetzt? Sie hängen eng mit Vision-AI-Modellen zusammen, die Aufgaben der Bildsegmentierung wie die Instanzsegmentierung unterstützen.

Bei vielen Bildverarbeitungsanwendungen muss genau bekannt sein, welche Fläche jedes Objekt in einem Bild oder Videobild einnimmt. Ein gutes Beispiel ist die Erkennung von Autoteilen in der Fertigung. In diesem Fall müssen Modelle Teile wie Türen, Fenster und Scheinwerfer identifizieren und präzise umranden, selbst wenn sie sich überlappen oder komplexe Formen haben.

Hier kommt die Instanzsegmentierung ins Spiel. Sie ermöglicht es Modellen, jedes Objekt zu erkennen und seine exakten Grenzen auf Pixelebene abzubilden. Das unterscheidet sie von der einfachen Objekterkennung, bei der Begrenzungsrahmen verwendet werden.

Abb. 2. Die Instanzsegmentierung kann auch dabei helfen, beschädigte Teile eines Autos zu unterscheiden. (Quelle)

Begrenzungsrahmen liefern lediglich grobe rechteckige Bereiche um Objekte und enthalten oft zusätzliche Hintergrundflächen. Dadurch lassen sich unregelmäßige Formen oder überlappende Gegenstände schwerer erfassen.

Die Polygonannotation spielt eine entscheidende Rolle, wenn diese Präzision erreicht werden soll. Indem die genaue Form jedes Objekts in den Bildern eines Datensatzes nachgezeichnet wird, entstehen hochwertige Trainingsdaten, die den tatsächlichen Objektgrenzen entsprechen. Solche detaillierten Annotationen helfen Modellen wie Ultralytics YOLO26, die Struktur jeder Komponente besser zu verstehen und dadurch genauere Segmentierungsergebnisse zu erzielen.

Einschränkungen herkömmlicher Bildannotationstools#

Sehen wir uns als Nächstes die Einschränkungen herkömmlicher Annotationswerkzeuge an, um zu verstehen, warum effizientere und skalierbare Lösungen wie die Ultralytics Platform nötig sind.

Hier sind einige häufige Herausforderungen, denen Annotierende bei der Verwendung herkömmlicher Werkzeuge für Polygonannotationen begegnen:

• Begrenzte Unterstützung von Annotationstypen: Manche Werkzeuge konzentrieren sich auf eine einzige Annotationsmethode. Dadurch wird es schwierig, verschiedene Typen wie Polygone, Begrenzungsrahmen und Schlüsselpunkte an einem Ort zu verwenden.
• Umständliche Bearbeitung komplexer Annotationen: Werkzeugen fehlen möglicherweise Funktionen, mit denen sich komplexe Objekte mit feinen Details leichter präzise annotieren lassen.
• Fehlende KI-Unterstützung: Viele Werkzeuge setzen vollständig auf manuelle Arbeit und bieten keine integrierte KI-Unterstützung, die den Annotationsprozess beschleunigt.
• Unzusammenhängende Datensatzverwaltung: Die Verwaltung von Datensätzen, Versionen und Annotationen kann schwierig sein, insbesondere wenn Werkzeuge keinen zentralen Arbeitsbereich bieten.

Die Ultralytics Platform begegnet diesen Herausforderungen mit KI-gestützten Annotationsfunktionen, die sowohl auf Segment Anything Models (SAM) als auch auf YOLO-Modellen basieren. SAM ermöglicht es Nutzern, aus einfachen Eingaben wie Klicks hochwertige Segmentierungsmasken zu erstellen, die anschließend zu präzisen Polygonannotationen verfeinert werden können.

Bei der intelligenten Annotation auf YOLO-Basis werden vortrainierte oder speziell trainierte YOLO-Modelle verwendet, um ein Bild einer Inferenz zu unterziehen und Vorhersagen wie Begrenzungsrahmen, Segmentierungsmasken oder orientierte Begrenzungsrahmen als Annotationen hinzuzufügen. Diese können anschließend überprüft und bei Bedarf angepasst werden. Zusammen beschleunigen diese Funktionen den Annotationsprozess, sorgen für mehr Einheitlichkeit und erleichtern die Skalierung.

Verschiedene von der Ultralytics Platform unterstützte Annotationstypen#

Die Ultralytics Platform verfügt über einen integrierten Annotationseditor, mit dem Nutzer Bilder direkt im Arbeitsbereich annotieren können. So lassen sich Datensätze leichter erstellen und verwalten, ohne auf separate, oft zeitaufwendige Werkzeuge zur Datenbeschriftung angewiesen zu sein.

Neben Polygonannotationen unterstützt die Ultralytics Platform mehrere weitere Annotationstypen. Hier ist ein kurzer Überblick:

• Begrenzungsrahmen: Annotatoren können einfache rechteckige Rahmen um Objekte zeichnen. So lassen sich Objekte in einem Bild leicht beschriften und erkennen.
• Keypoints: Mit dieser Methode werden bestimmte Punkte markiert, etwa Gelenke oder Orientierungspunkte am Körper, beispielsweise für Aufgaben wie die Pose-Schätzung.
• Orientierte Begrenzungsrahmen (OBBs): Damit lassen sich gedrehte oder schräg liegende Objekte genauer erfassen als mit herkömmlichen Begrenzungsrahmen.
• Klassifizierungslabels: Bei einfacheren Aufgaben können Nutzer ganze Bilder beschriften, anstatt einzelne Objekte zu markieren.

Objekte mit Polygonen auf der Ultralytics Platform annotieren#

Sehen wir uns nun an, wie du auf der Ultralytics Platform manuell oder mithilfe KI-gestützter Tools Polygonannotationen erstellst.

Polygonannotationen manuell auf der Ultralytics Platform erstellen#

Hier findest du eine kurze Schritt-für-Schritt-Anleitung zum manuellen Erstellen von Polygonannotationen:

• Schritt 1 – Zu deinem Datensatz navigieren: Öffne den Datensatz mit den Bildern, die du annotieren möchtest. Hier werden deine Bilder und Annotationen gespeichert und verwaltet.
• Schritt 2 – Ein Bild öffnen: Klicke auf ein Bild, um es in der Annotationsoberfläche zu öffnen. Der Annotationsablauf hängt von der Aufgabe des Datensatzes ab. In einem Instanzsegmentierungsdatensatz werden Annotationen beispielsweise mithilfe von Polygonmasken erstellt.
• Schritt 3 – Eine Maske erstellen: Klicke auf das Bild, um mit der Annotation zu beginnen. Jeder Klick fügt entlang der Objektkontur einen Eckpunkt hinzu.
• Schritt 4 – Die Objektkontur nachzeichnen: Klicke weiter entlang der Objektkanten, um seine Form festzulegen.
• Schritt 5 – Das Polygon abschließen: Drücke die Eingabetaste oder klicke auf den ersten Punkt, um das Polygon abzuschließen und ihm ein Klassenlabel zuzuweisen.
• Schritt 6 – Weitere Annotationen hinzufügen: Wiederhole den Vorgang, um weitere Polygone für andere Objekte im Bild zu erstellen.
• Schritt 7 – Annotationen speichern: Annotationen werden beim Erstellen automatisch gespeichert.

Abb. 3. Einblick in das manuelle Erstellen von Polygonannotationen mit der Ultralytics Platform (Quelle)

Intelligente Polygonannotation auf der Ultralytics Platform#

Sehen wir uns als Nächstes die KI-gestützten Funktionen zur Beschriftung an, die die Ultralytics Platform bietet, um den Annotationsprozess zu beschleunigen.

Die Plattform bietet zwei Ansätze für intelligente Annotationen: einen mit Segment Anything Models für die interaktive, klickbasierte Erstellung von Annotationen und einen mit YOLO-Modellen, um Modellvorhersagen direkt als Annotationen hinzuzufügen. Beide Ansätze eignen sich für intelligente Polygonannotationen.

Intelligente Annotation mit SAM auf der Ultralytics Platform#

Die SAM-gestützte Annotation auf der Ultralytics Platform vereinfacht die manuelle Beschriftung, indem sie das Segment Anything Model (SAM) nutzt, um mit minimalen Eingaben Segmentierungsmasken zu erstellen. Statt Objekte Punkt für Punkt nachzuzeichnen, kannst du mit einfachen Eingaben wie Klicks im Bild angeben, was ein- oder ausgeschlossen werden soll.

Die Plattform unterstützt mehrere SAM-Modelle, darunter SAM 2.1 und SAM 3. So kannst du je nach Bedarf zwischen höherer Geschwindigkeit und größerer Genauigkeit wählen. Auf Grundlage deiner Eingaben erstellt SAM in Echtzeit Masken auf Pixelebene. Diese Masken lassen sich anschließend verfeinern und als Polygonannotationen verwenden. Dadurch wird der Prozess schneller, konsistenter und besser skalierbar.

So verwendest du SAM für Polygonannotationen auf der Ultralytics Platform:

• Schritt 1 – Ein Bild öffnen: Navigiere zu deinem Datensatz und klicke auf ein Bild, um die Vollbildansicht zu öffnen.
• Schritt 2 – Den Annotationsmodus öffnen: Klicke auf „Edit“ und wechsle dann in den Smart-Modus (oder drücke S), um SAM zu aktivieren.
• Schritt 3 – Ein SAM-Modell auswählen: Wähle in der Symbolleiste ein SAM-Modell passend zu deinen Anforderungen an Geschwindigkeit und Genauigkeit aus.
• Schritt 4 – Eingaben machen: Klicke mit der linken Maustaste, um positive Punkte hinzuzufügen (Bereiche einschließen), und mit der rechten Maustaste, um negative Punkte hinzuzufügen (Bereiche ausschließen).
• Schritt 5 – Die Maske erstellen und anwenden: SAM sagt in Echtzeit eine Segmentierungsmaske voraus. Drücke die Eingabetaste (oder nutze die automatische Anwendung), um die Annotation anzuwenden.
• Schritt 6 – Die Annotation verfeinern: Füge weitere Punkte hinzu oder passe das Ergebnis bei Bedarf an, um die Genauigkeit vor dem Speichern zu verbessern.

Abb. 4. SAM-gestützte Polygonannotation auf der Ultralytics Platform (Quelle)

Intelligente Annotation mit YOLO auf der Ultralytics Platform#

Die intelligente Annotation mit YOLO auf der Ultralytics Platform beschleunigt die Beschriftung: Vortrainierte Ultralytics-YOLO-Modelle oder feinabgestimmte YOLO-Modelle erstellen Vorhersagen für ein Bild und fügen sie als Annotationen hinzu. Je nach Aufgabe des Datensatzes können diese Vorhersagen Begrenzungsrahmen, Segmentierungsmasken oder orientierte Begrenzungsrahmen umfassen.

Anschließend kannst du diese Annotationen prüfen und bei Bedarf verfeinern. Hier findest du eine Übersicht der Schritte für die intelligente Annotation mit YOLO auf der Ultralytics Platform:

• Schritt 1 – Ein Bild öffnen: Navigiere zu deinem Datensatz und wähle ein Bild aus, um es in der Vollbildansicht zu öffnen.
• Schritt 2 – Den Annotationsmodus öffnen: Klicke auf „Edit“ und wechsle dann in den Smart-Modus (oder drücke S).
• Schritt 3 – Ein YOLO-Modell auswählen: Wähle in der Modellauswahl der Symbolleiste ein YOLO-Modell aus.
• Schritt 4 – Vorhersage ausführen: Klicke auf „Predict“, damit das Modell automatisch Annotationen erstellt.
• Schritt 5 – Annotationen prüfen: Überprüfe die vorhergesagten Begrenzungsrahmen, Segmentierungsmasken oder OBBs, die dem Bild hinzugefügt wurden.
• Schritt 6 – Verfeinern und speichern: Bearbeite, korrigiere oder entferne fehlerhafte Annotationen nach Bedarf und speichere anschließend deine endgültigen Labels.

Abb. 5. Ein Einblick in die intelligente Annotation mit YOLO (Quelle)

Anwendungsfälle für Polygonannotationen in der Praxis#

Polygonannotationen zeigen branchenübergreifend Wirkung – von der Qualitätskontrolle in der Fertigung bis hin zu Landwirtschaft und Gesundheitswesen. Sehen wir uns einige wichtige Anwendungsfälle aus der Praxis an.

Schädlinge mithilfe von Computer Vision erkennen#

In der Landwirtschaft ist die Überwachung der Pflanzengesundheit entscheidend, um den Ertrag zu steigern und Verluste zu verringern. Von Schädlingen befallene Bereiche auf Blättern zu erkennen, kann schwierig sein, da diese Bereiche oft unregelmäßige Formen und unscharfe Grenzen haben.

Dieses Problem lässt sich mit Bildsegmentierung angehen, etwa mit semantischer Segmentierung, bei der alle Pixel einer Klasse (z. B. befallene Bereiche) gekennzeichnet werden, oder mit Instanzsegmentierung, bei der Objektkonturen präziser voneinander getrennt werden.

Mit der Ultralytics Platform kannst du Polygonannotationen verwenden, um die genaue Form dieser befallenen Bereiche nachzuzeichnen. So lassen sich genauere Datensätze erstellen, und Vision-KI-Algorithmen können subtile Muster in landwirtschaftlichen Umgebungen leichter erkennen.

So können Teams bessere Trainingsdaten erstellen, mit denen Modelle genau erkennen, wo Schädlingsbefall vorliegt. Das ist wirksamer als Begrenzungsrahmen, die auch nicht betroffene Teile des Blatts einschließen können.

Medizinische Bildanalyse mit Instanzsegmentierung#

Wie bei der Schädlingserkennung in der Landwirtschaft können selbst kleine Unterschiede an Konturen die Analyse von Krankheiten wie Krebs in der medizinischen Bildgebung beeinflussen. Das ist besonders wichtig, wenn Anomalien wie Tumoren in CT-Aufnahmen erkannt werden.

Herkömmliche Annotationsmethoden übersehen möglicherweise feine Kanten oder schließen umliegendes Gewebe ein, was die Genauigkeit verringern kann. Mit der Ultralytics Platform können Teams diese Bereiche in Trainingsdaten mithilfe von Polygonannotationen präzise nachzeichnen. So erstellen Modelle genauere und zuverlässigere Tumorsegmentierungen.

Die wichtigsten Erkenntnisse#

Polygonannotationen sind entscheidend, wenn Modelle Objektformen in Bildern mit hoher Präzision erfassen müssen. Sie helfen dabei, komplexe Formen genauer darzustellen, besonders mit der Ultralytics Platform. Indem Teams Präzision mit leistungsstarken Tools verbinden, können sie zuverlässigere und leistungsfähigere KI-Modelle entwickeln.

Möchtest du Vision-KI in deine Projekte integrieren? Werde Teil unserer Community und entdecke KI in der Automobilindustrie sowie Vision-KI in der Robotik. Erfahre mehr in unserem GitHub-Repository. Sieh dir unsere Lizenzoptionen an und leg noch heute los!