Bildannotation mit der Ultralytics Platform optimieren

Ultralytics hat kürzlich die Ultralytics Platform vorgestellt, eine Umgebung, die den gesamten Entwicklungszyklus von Computer-Vision-Lösungen unterstützt. Die Plattform bündelt Werkzeuge zur Verwaltung der verschiedenen Phasen von Workflows für visuelle KI, darunter die Vorbereitung von Datensätzen, die Bild- und Videoannotation, das Modelltraining und die Bereitstellung.

Trotz der zunehmenden Verbreitung in Branchen wie dem autonomen Fahren und dem Gesundheitswesen kann die Entwicklung von Lösungen für Computer Vision nach wie vor als fragmentierter Prozess gelten. Ein Hauptgrund dafür ist, dass Computer-Vision-Modelle stark von der Qualität der Daten abhängen, mit denen sie trainiert werden. Noch vor Beginn des Trainings müssen Datensätze erstellt, organisiert, überprüft und beschriftet werden, damit das Modell lernen kann, was es erkennen soll.

Bei visuellen Daten wird dieser Prozess als Datenannotation oder Bildannotation bezeichnet. Bei der Bildannotation werden bestimmte Teile eines Bildes markiert und mit Beschriftungen versehen, die das Modell während des Trainings anleiten.

Wenn beispielsweise Hunde auf Bildern erkannt werden sollen, können Annotatoren um jeden Hund einen Begrenzungsrahmen zeichnen, um seine Position zu markieren. Bei detaillierteren Aufgaben können sie die Form des Hundes mit Segmentierungsmasken umreißen oder wichtige Punkte markieren, um seine Körperhaltung zu erfassen. Diese beschrifteten Beispiele wirken sich direkt darauf aus, wie gut das Modell nach seiner Bereitstellung funktioniert.

Bildannotations-Workflows in großem Umfang zu verwalten, kann eine Herausforderung sein. Für große Datensätze sind oft einheitliche Beschriftungsstandards, die Zusammenarbeit mehrerer Annotatoren und Werkzeuge erforderlich, mit denen sich Annotationen einfacher überprüfen und verfeinern lassen.

Die Ultralytics Platform vereint all dies in einem integrierten Annotationseditor. Er unterstützt mehrere Arten von Annotationsaufgaben und bietet Teams eine einfachere Möglichkeit, Daten zu beschriften und Computer-Vision-Datensätze in einem einzigen Workflow vorzubereiten.

Abb. 1. Ein Blick auf den Annotationseditor in der Ultralytics Platform (Quelle)

In diesem Artikel sehen wir uns an, wie der Annotationseditor der Ultralytics Platform Teams dabei unterstützt, Datensätze effizient zu annotieren und die Datenaufbereitung zu vereinfachen. Los geht’s!

Datenannotation in Computer Vision#

Bevor wir uns die Bildannotationswerkzeuge auf der Ultralytics Platform ansehen, gehen wir einen Schritt zurück und klären, was Datenannotation ist und warum sie für die Entwicklung von Computer-Vision-Systemen wichtig ist.

Computer-Vision-Modelle lernen, indem sie große Sammlungen von Bildern oder Videos analysieren, die als Datensätze bezeichnet werden. Rohbilder allein enthalten jedoch nicht genügend Informationen, damit ein Modell versteht, was es erkennen soll. Damit die Daten für das Training nützlich sind, müssen Bilder beschriftet werden, sodass das Modell lernt, nach welchen Objekten, Formen oder Mustern es suchen soll.

Bei der Bildannotation werden bestimmte Elemente in einem Bild markiert und mit Beschriftungen versehen, die beschreiben, was das Modell lernen soll. Diese beschrifteten Beispiele leiten Deep-Learning-Modelle und Algorithmen während des Trainings an und helfen ihnen, ähnliche Muster beim Verarbeiten neuer Bilder wiederzuerkennen.

Je nach Anwendung und Anwendungsfall benötigen verschiedene Computer-Vision-Aufgaben unterschiedliche Arten der Bildannotation. Annotatoren können beispielsweise Objekte für die Objekterkennung mit Begrenzungsrahmen umschließen, Bereiche eines Bildes für die semantische Segmentierung umranden, wichtige Punkte für die Posenschätzung festlegen oder ein ganzes Bild für die Klassifizierung beschriften.

Daten verwalten und vorbereiten#

Die Vorbereitung von Daten für Computer-Vision-Projekte umfasst oft die Arbeit mit verschiedenen Dateiformaten und das Organisieren von Datensätzen. Dazu gehört auch sicherzustellen, dass alles für die Annotation und das Training von Machine-Learning-Algorithmen bereit ist. In vielen Workflows ist dieser Prozess auf mehrere Werkzeuge verteilt: Daten werden hochgeladen, bereinigt und zwischen Systemen verschoben, bevor sie verwendet werden können.

Die Ultralytics Platform vereinfacht diesen Prozess, indem sie Datenaufbereitung, Modelltraining und Bereitstellung in einer einzigen Umgebung ermöglicht. Teams können Bilder, Videos oder Datensatzarchive hochladen und ihre Daten flexibel vorbereiten – mit manuellen oder KI-gestützten Annotationen. Die Ultralytics Platform unterstützt sowohl Rohdaten als auch Standardformate wie YOLO und COCO, sodass sich neue Projekte leicht starten lassen. Außerdem ermöglicht sie den Zugriff auf vorhandene Datensätze auf der Plattform, darunter annotierte Datensätze, mit denen Teams schnell neue Projekte oder Experimente beginnen können.

Abb. 2. Datensätze in einer einzigen Umgebung auf der Ultralytics Platform hochladen und verwalten. (Quelle)

Sobald die Daten verfügbar sind, lassen sie sich direkt auf der Plattform verwalten. Entwickler können Bilder überprüfen, den Fortschritt der Annotation verfolgen und integrierte Visualisierungen nutzen, um die Verteilung des Datensatzes zu verstehen und mögliche Lücken zu erkennen.

Die Plattform unterstützt auch die Versionierung von Datensätzen. So können Teams den jeweiligen Stand ihrer Daten festhalten, während sich diese weiterentwickeln. Dadurch lassen sich Änderungen leichter nachverfolgen, Experimente vergleichen und die Konsistenz während des Trainings wahren.

Sobald die Daten vorbereitet sind, können Teams Bilder annotieren und sie beschriften, damit Modelle lernen, was sie erkennen sollen.

Datensätze auf der Ultralytics Platform annotieren#

Nach dem Hochladen der Daten folgt die Annotation. Dabei werden Bilddaten beschriftet und so die Grundlage für das Training von Computer-Vision-Modellen geschaffen. Die Ultralytics Platform bietet integrierte Bildannotationsdienste über einen Annotationseditor, mit dem Teams Datensätze direkt in derselben Umgebung beschriften und verwalten können.

Der Annotationseditor bietet einen übersichtlichen Arbeitsbereich, in dem Nutzer Bilder überprüfen, Beschriftungen hinzufügen und Annotationen bei Bedarf aktualisieren können. Alles ist an einem Ort organisiert. So lassen sich Datensätze leichter konsistent und für das Training bereit halten.

Teams können Datensätze hochladen und Bilder direkt im Browser beschriften. Dabei lassen sich Annotationsklassen festlegen und verwalten, damit die Beschriftungen im gesamten Datensatz einheitlich bleiben. Während Annotationen erstellt werden, können Nutzer sie im Editor visuell überprüfen und so ihre Genauigkeit kontrollieren, bevor sie mit dem Modelltraining fortfahren.

Bildannotationswerkzeuge in der Ultralytics Platform#

Die Ultralytics Platform bietet außerdem mehrere Funktionen, die effiziente Workflows zur Beschriftung von Datensätzen unterstützen und den Annotationsprozess mithilfe fortschrittlicher Algorithmen vereinfachen.

Hier sind einige der wichtigsten Funktionen der Ultralytics Platform:

• Manuelle Annotation: Dieser Ansatz gibt Nutzern die volle Kontrolle und Flexibilität beim Erstellen von Bildannotationen, etwa von Begrenzungsrahmen, Segmentierungsbereichen oder wichtigen Punkten direkt auf Bildern.
• KI-gestützte Beschriftung: Diese Funktion erzeugt automatisch Vorschläge für Annotationen und verringert so den Bedarf an manueller Beschriftung. Sie verwendet SAM (Modell zur Segmentierung beliebiger Objekte), um Objekte oder Bereiche mit nur einem Klick zu erkennen. Das vereinfacht den Annotationsprozess und ermöglicht es Nutzern, die Vorschläge zu überprüfen und zu bestätigen, bevor sie zum Datensatz hinzugefügt werden.
• Annotationen bearbeiten: Nutzer können Bildannotationen jederzeit nach ihrer Erstellung ändern oder verfeinern. So lassen sich Beschriftungsfehler korrigieren und einheitliche Beschriftungen im Datensatz während des gesamten Annotationsprozesses sicherstellen.
• Klassenverwaltung: Teams und einzelne Entwickler können Annotationsklassen für die Beschriftung von Datensätzen festlegen und organisieren. Dadurch bleiben die Beschriftungen über alle Bilder hinweg einheitlich – eine wichtige Voraussetzung dafür, dass Modelle Klassen zuverlässig erkennen und voneinander unterscheiden können.

Durch die Kombination manueller Werkzeuge mit künstlicher Intelligenz und Automatisierung hilft die Ultralytics Platform Nutzern, Bilder effizienter zu annotieren. Außerdem ermöglicht sie die Vorbereitung hochwertiger Trainingsdaten für skalierbare Computer-Vision-Modelle.

Unterstützte Arten von Annotationsaufgaben#

Für verschiedene Anwendungsfälle, etwa die Qualitätssicherung von Produkten, sind je nachdem, was in den Bildern oder Videos erkannt werden soll, unterschiedliche Arten der Annotation erforderlich. Wie bereits erwähnt, unterstützt die Ultralytics Platform fünf Aufgaben der Objekterkennung, für die jeweils eine eigene Art der Annotation verwendet wird.

Sehen wir uns die auf der Plattform unterstützten Annotationsaufgaben und ihre Verwendung bei der Beschriftung von Datensätzen genauer an.

Objekterkennung#

Die Objekterkennung identifiziert Objekte in einem Bild und bestimmt ihre Position. Annotatoren markieren jedes relevante Objekt mit einem Begrenzungsrahmen und zeigen so, wo die Objekte im Bild erscheinen.

Im Annotationseditor verwendest du dafür das Begrenzungsrahmen-Werkzeug. Nutzer können den „Bearbeitungsmodus“ aufrufen, klicken und ziehen, um ein Objekt mit einem Rechteck zu umschließen, und ihm über ein Dropdown-Menü eine Klassenbeschriftung zuweisen.

Begrenzungsrahmen lassen sich nach ihrer Erstellung anpassen. Annotatoren können sie durch Ziehen an den Eck- oder Kantengriffen vergrößern oder verkleinern, durch Ziehen an der Mitte des Rahmens verschieben oder mithilfe von Tastenkombinationen löschen. Diese Annotationen helfen Bildverarbeitungsmodellen, Objekte in unterschiedlichen Szenen und unter verschiedenen Bedingungen zu erkennen.

Abb. 3. Annotation zur Objekterkennung mit Begrenzungsrahmen auf der Ultralytics Platform. (Quelle)

Instanzsegmentierung#

Die Instanzsegmentierung ermöglicht detailliertere Annotationen, indem sie die genaue Form von Objekten in einem Bild festlegt. Anstatt eine einfache Box zu zeichnen, markieren Annotierende die Objektgrenzen mit Polygonen, um präzise Masken für Bildsegmentierungsaufgaben zu erstellen.

Der Annotationseditor enthält für diese Aufgabe ein Polygonwerkzeug. Annotierende setzen mehrere Eckpunkte entlang der Objektkanten, um dessen Form zu umreißen. Sobald die Eckpunkte platziert sind, lässt sich das Polygon schließen und so eine Segmentierungsmaske erstellen.

Eckpunkte lassen sich nach dem Erstellen des Polygons anpassen. Einzelne Punkte können verschoben werden, um Objektgrenzen zu verfeinern, und bei Bedarf lassen sich Eckpunkte entfernen. Diese Annotationen auf Pixelebene helfen Modellen, detaillierte visuelle Strukturen zu erlernen und nahe beieinanderliegende Objekte voneinander zu unterscheiden.

Posenschätzung#

Annotationen zur Pose-Schätzung erfassen die Positionen von Körpergelenken und deren Beziehungen zueinander. So können Modelle die Struktur und Bewegung von Menschen oder Tieren in einem Bild verstehen.

Mit dem Keypoint-Werkzeug setzen Annotierende Keypoints für Körpergelenke wie Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel. Die Plattform bietet mehrere integrierte Skelettvorlagen, darunter das 17-Punkte-Format für menschliche Posen von COCO sowie Vorlagen für Hände, Gesichter, Hunde und Boxecken.

Mit Vorlagen lässt sich ein vollständiges Skelettlayout mit einem einzigen Klick platzieren. Anschließend können einzelne Keypoints angepasst werden, damit sie zur Pose im Bild passen. Für jeden Keypoint lässt sich außerdem eine Sichtbarkeitsangabe festlegen, die anzeigt, ob er sichtbar oder verdeckt ist.

Abb. 4. Annotation zur Pose-Schätzung mit Keypoints und Skelettvorlagen. (Quelle)

Rotierte Begrenzungsrahmen (OBB)#

Rotierte Begrenzungsrahmen erweitern herkömmliche Begrenzungsrahmen um die Möglichkeit, sie zu drehen. Diese Art der Annotation ist nützlich, wenn Objekte schräg statt parallel zum Bildrand ausgerichtet sind.

Im Annotationseditor können Annotierende mit dem Werkzeug für rotierte Begrenzungsrahmen gedrehte Rechtecke um Objekte zeichnen. Nach dem Zeichnen des ersten Rahmens lässt sich der Winkel mit einem Drehgriff anpassen, während Griffe an den Ecken das Ändern der Größe ermöglichen.

Rotierte Annotationen werden häufig bei Luftaufnahmen, Datensätzen für die industrielle Inspektion und in anderen Szenarien verwendet, in denen Objekte diagonal oder aus unterschiedlichen Blickwinkeln erscheinen.

Abb. 5. Annotation mit rotiertem Begrenzungsrahmen (OBB) für gedrehte Objekte in Luftaufnahmen. (Quelle)

Bildklassifizierung#

Bei der Bildklassifizierung wird dem gesamten Bild eine Klasse zugewiesen, anstatt einzelne darin enthaltene Objekte zu markieren.

Für Klassifizierungsdatensätze bietet der Annotationseditor ein Bedienfeld zur Klassenauswahl. Annotierende können Bildern Klassen zuweisen, indem sie eine Klasse in der Seitenleiste auswählen oder Tastenkürzel für eine schnellere Kennzeichnung verwenden.

Diese Bildklassen helfen Modellen, übergeordnete visuelle Muster zu erlernen, die verschiedene Kategorien repräsentieren.

KI-gestützte Annotation mit SAM#

Das Kennzeichnen von Bildern für Aufgaben wie die Segmentierung erfordert oft sorgfältige und detaillierte Arbeit, insbesondere wenn Objekte präzise umrissen werden müssen. Die Ultralytics Platform bietet KI-gestützte Annotationswerkzeuge, die den Prozess beschleunigen und zugleich dafür sorgen, dass Annotationen präzise und einfach zu überprüfen sind.

Annotierende können beispielsweise auf Bereiche eines Objekts klicken, die in die Annotation aufgenommen werden sollen. Außerdem können sie Bereiche markieren, die ausgeschlossen werden sollen, um das Ergebnis zu verfeinern. Auf Grundlage dieser Eingaben erzeugt das Modell in Echtzeit eine Segmentierungsmaske, die vor dem Speichern überprüft und angepasst werden kann.

Mit diesem Ansatz lassen sich komplexe Bilder einfacher bearbeiten, ohne jedes Detail manuell nachzeichnen zu müssen. Gleichzeitig behalten Annotierende die Kontrolle über das endgültige Ergebnis und sorgen so für einheitliche Annotationen im gesamten Datensatz.

Abb. 6. KI-gestützte Segmentierung mit dem Smart-Annotationswerkzeug auf der Ultralytics Platform. (Quelle)

Diese Funktionen basieren auf Segmentierungsmodellen für beliebige Objekte (SAM). Diese Modelle gehören zu einem umfassenderen Ökosystem quelloffener Computer-Vision-Werkzeuge, die mit minimalen Eingaben hochwertige Segmentierungen erzeugen. Die Plattform unterstützt mehrere SAM-Varianten, darunter SAM 2.1 und SAM 3. So können Teams je nach Bedarf flexibel zwischen schnellerer Leistung und detaillierteren Ergebnissen wählen.

Diese KI-gestützten Tools lassen sich für Aufgaben wie Objekterkennung, Instanzsegmentierung und Erkennung orientierter Begrenzungsrahmen einsetzen. So können Teams große Datensätze effizienter verarbeiten und zugleich die für ein zuverlässiges Modelltraining erforderliche Qualität wahren. Objekterkennungsdatensätze lassen sich außerdem mit Vision-Language-Modellen automatisch annotieren und vor dem Training überprüfen.

Annotationsabläufe mit integrierten Werkzeugen verbessern#

Im Laufe der Annotationsarbeit ist es üblich, Labels anzupassen, Fehler zu beheben oder Bilder genauer zu überprüfen. Der Ultralytics Annotationseditor enthält integrierte Werkzeuge, die diese alltäglichen Aufgaben einfacher und zeitsparender machen.

Zu den im Editor verfügbaren Funktionen für den Arbeitsablauf gehören:

• Tastenkürzel: Der Editor enthält Tastenkürzel, mit denen sich häufige Aktionen schneller ausführen lassen, etwa Annotationen speichern, Änderungen rückgängig machen oder wiederherstellen, Labels löschen und beim Annotieren Klassen auswählen.
• Verlauf zum Rückgängigmachen und Wiederherstellen: Annotierende können Änderungen aus einer Bearbeitungssitzung problemlos rückgängig machen oder wiederherstellen. So können Teams Annotationen ausprobieren und Fehler schnell beheben, ohne ihren Fortschritt zu verlieren. Das unterstützt eine bessere Qualitätskontrolle bei der Vorbereitung von Datensätzen.
• Flexible Bearbeitung von Annotationen: Annotationen lassen sich auch nach ihrer Erstellung anpassen. Nutzende können Formen in der Größe ändern, Annotationen verschieben, rotierte Begrenzungsrahmen drehen oder Klassenlabels bei Bedarf aktualisieren – besonders bei der Verfeinerung unregelmäßig geformter Objekte.
• Sichtbarkeitseinstellungen: Im Editor können Nutzende Annotationen und Klassenlabels ein- oder ausblenden. So lassen sich Bilder während der Kennzeichnung leichter überprüfen.
• Werkzeuge für präzises Arbeiten: Funktionen wie Zoom und ein Fadenkreuzcursor mit Pixelkoordinaten helfen Annotierenden dabei, Labels bei der Arbeit mit detailreichen Bildern genauer zu platzieren.

Annotationsklassen auf der Ultralytics Platform verwalten#

Klare und einheitliche Annotationsklassen sind wichtig, um zuverlässige Computer-Vision-Datensätze zu erstellen. Mit zunehmendem Umfang eines Projekts kann die Verwaltung der Datenkennzeichnung großer Datensätze schwierig werden, insbesondere wenn mehrere Annotierende beteiligt sind. Eine gute Organisation der Klassen trägt dazu bei, einheitliche Annotationen sicherzustellen und Modelle mit strukturierten Daten zu trainieren.

Die Ultralytics Platform vereinfacht diesen Prozess, indem die Klassenverwaltung direkt in den Annotationseditor integriert ist. Statt Labels separat zu verwalten, können Teams Klassen beim Bearbeiten von Bildern erstellen, aktualisieren und überprüfen. So bleiben sie während des gesamten Annotationsablaufs leichter einheitlich.

Im Editor sind alle Klassen in einer Seitenleiste neben der Annotationsfläche verfügbar. So lässt sich beim Annotieren einfach das richtige Label auswählen und nachverfolgen, wie die Klassen im gesamten Datensatz verwendet werden. Nutzende können nach vorhandenen Klassen suchen oder bei Bedarf neue erstellen, ohne ihren Arbeitsablauf zu unterbrechen.

Klassendetails lassen sich jederzeit aktualisieren. Namen können direkt bearbeitet und Farben zugewiesen werden, damit sich verschiedene Klassen in den Annotationen leichter erkennen lassen. Außerdem zeigt der Editor, wie viele Annotationen mit jeder Klasse verknüpft sind, und ermöglicht es, diese zu überprüfen. So können Teams Einheitlichkeit und Genauigkeit kontrollieren.

Alle Klassen werden über eine zentrale Tabelle verwaltet, in der sie sortiert, durchsucht und aktualisiert werden können. Änderungen werden automatisch auf den gesamten Datensatz angewendet. So können Teams auch bei wachsenden Annotationsprojekten für Einheitlichkeit sorgen.

Abb. 7. Die Klassenverwaltung im Annotationseditor zeigt die Organisation der Labels und die Anpassung der Farben. (Quelle)

Wie sich die Qualität von Annotationen auf die Leistung in der Praxis auswirkt#

Wenn Computer-Vision-Systeme von der Entwicklung in den praktischen Einsatz übergehen, spielt die Qualität der annotierten Daten eine wichtige Rolle für die Leistung der Modelle. Gut gekennzeichnete Datensätze helfen Modellen, genauere und einheitlichere Vorhersagen zu treffen – besonders in dynamischen oder unvorhersehbaren Umgebungen.

In der Praxis können selbst kleine Uneinheitlichkeiten bei Annotationen das Verhalten eines Modells beeinflussen. Unterschiede bei der Kennzeichnung von Objekten oder beim Umgang mit Sonderfällen sind während des Trainings möglicherweise nicht offensichtlich, können aber nach der Bereitstellung der Systeme zu weniger zuverlässigen Vorhersagen führen.

Darüber hinaus können diese Uneinheitlichkeiten in realen Anwendungen stärker ins Gewicht fallen. In der Robotik und im Gesundheitswesen etwa verlassen sich Systeme auf visuelle Eingaben, um Objekte zu erkennen und Aktionen in Echtzeit zu steuern. Unterschiede bei der Kennzeichnung können beeinflussen, wie genau diese Systeme ihre Umgebung interpretieren.

Mit einheitlichen Annotationsverfahren und Plattformen wie Ultralytics, auf denen sich Datensätze verwalten und kontinuierlich verbessern lassen, können Teams Modelle entwickeln, die auch außerhalb kontrollierter Testumgebungen zuverlässiger arbeiten.

Die wichtigsten Erkenntnisse#

Hochwertige Datenannotation ist entscheidend, um genaue Computer-Vision-Modelle zu trainieren und Bildannotationsprojekte erfolgreich umzusetzen. Die Ultralytics Platform vereinfacht diesen Prozess mit einem leistungsstarken Annotationseditor, der verschiedene Bildverarbeitungsaufgaben unterstützt. Durch die Kombination manueller Annotationswerkzeuge mit KI-gestützter Kennzeichnung durch SAM und integrierten Funktionen für den Arbeitsablauf können Teams Datensätze effizienter vorbereiten und schneller von der Datenaufbereitung zur Modellentwicklung übergehen.

Werde Teil unserer Community und sieh dir das GitHub-Repository an, um mehr über Computer-Vision-Modelle zu erfahren. Lies auf unseren Lösungsseiten mehr über Anwendungen wie KI in der Automobilbranche und Computer Vision in der Robotik. Sieh dir unsere Lizenzoptionen an und beginne mit der Entwicklung deines eigenen KI-Modells für Bildverarbeitung.