Optimierung der Bildannotation mit der Ultralytics Platform

Ultralytics hat kürzlich die Ultralytics Platform eingeführt, eine Umgebung, die den gesamten Lebenszyklus der Computer-Vision-Entwicklung unterstützt. Die Plattform zentralisiert Tools zur Verwaltung verschiedener Phasen von Vision-AI-Workflows, einschließlich der Datensatzvorbereitung, Bild- und Videoannotation, Modellschulung und Bereitstellung.

Trotz der wachsenden Akzeptanz in Branchen wie autonomes Fahren und Gesundheitswesen wird der Aufbau von Computer-Vision-Lösungen oft noch als fragmentierter Prozess angesehen. Einer der Hauptgründe dafür ist, dass Computer-Vision-Modelle stark von der Qualität der Daten abhängen, mit denen sie trainiert werden. Bevor das Training überhaupt beginnt, müssen Datensätze erstellt, organisiert, überprüft und beschriftet werden, damit das Modell lernt, was es erkennen oder identifizieren soll.

Bei der Arbeit mit visuellen Daten ist dieser Prozess als Datenannotation oder Bildannotation bekannt. Während der Bildannotation werden bestimmte Teile eines Bildes markiert und mit Labels versehen, die das Modell während des Trainings anleiten.

Wenn es beispielsweise darum geht, Hunde in Bildern zu erkennen, könnten Annotatoren Bounding Boxes um jeden Hund zeichnen, um zu zeigen, wo er erscheint. Bei detaillierteren Aufgaben können sie die Form des Hundes mithilfe von Segmentierungsmasken umreißen oder Keypoints markieren, um seine Körperhaltung zu erfassen. Diese beschrifteten Beispiele beeinflussen direkt, wie gut das Modell nach der Bereitstellung funktioniert.

Die Verwaltung von Bildannotations-Workflows in großem Maßstab kann eine Herausforderung sein. Große Datensätze erfordern oft konsistente Beschriftungsstandards, die Zusammenarbeit zwischen mehreren Annotatoren und Tools, die das Überprüfen und Verfeinern von Annotationen erleichtern.

Die Ultralytics Platform bringt dies mit einem integrierten Annotation Editor zusammen. Sie unterstützt mehrere Annotationstypen und bietet Teams eine einfachere Möglichkeit, Daten zu beschriften und Computer-Vision-Datensätze innerhalb eines einzigen Workflows vorzubereiten.

Abb. 1. Ein Blick auf den Annotation Editor in der Ultralytics Platform (Quelle)

In diesem Artikel untersuchen wir, wie der Annotation Editor der Ultralytics Platform Teams dabei hilft, Datensätze effizient zu annotieren und die Datenvorbereitung zu optimieren. Fangen wir an!

Link to this sectionDatenannotation in der Computer Vision#

Bevor wir uns die auf der Ultralytics Platform verfügbaren Bildannotationstools ansehen, sollten wir kurz innehalten, um zu verstehen, was Datenannotation ist und warum sie beim Aufbau von Computer-Vision-Systemen so wichtig ist.

Computer-Vision-Modelle lernen durch die Analyse großer Sammlungen von Bildern oder Videos, den sogenannten Datensätzen. Rohbilder allein liefern jedoch nicht genügend Informationen, damit ein Modell verstehen kann, was es erkennen oder identifizieren soll. Um die Daten für das Training nutzbar zu machen, müssen Bilder durch Datenbeschriftung annotiert werden, damit das Modell lernen kann, auf welche Objekte, Formen oder Muster es achten muss.

Während der Bildannotation werden bestimmte Elemente innerhalb eines Bildes markiert und mit Labels versehen, die beschreiben, was das Modell lernen soll. Diese beschrifteten Beispiele leiten Deep-Learning-Modelle und Algorithmen während des Trainings an und helfen ihnen, ähnliche Muster bei der Verarbeitung neuer Bilder zu erkennen.

Unterschiedliche Computer-Vision-Aufgaben erfordern je nach Anwendung und Anwendungsfall unterschiedliche Arten der Bildannotation. Beispielsweise können Annotatoren Bounding Boxes um Objekte für die Objekterkennung ziehen, Regionen in einem Bild für die semantische Segmentierung umreißen, Keypoints für die Pose-Schätzung definieren oder Labels für ein ganzes Bild zur Klassifizierung vergeben.

Link to this sectionDaten verwalten und vorbereiten#

Die Vorbereitung von Daten für Computer-Vision-Projekte beinhaltet oft die Arbeit mit verschiedenen Dateiformaten und die Organisation von Datensätzen. Dazu gehört auch sicherzustellen, dass alles für die Annotation und das Training von Machine-Learning-Algorithmen bereit ist. In vielen Workflows ist dieser Prozess über mehrere Tools verteilt, bei denen Daten hochgeladen, bereinigt und zwischen Systemen verschoben werden müssen, bevor sie verwendet werden können.

Die Ultralytics Platform vereinfacht dies, indem sie Datenvorbereitung, Modellschulung und Bereitstellung in einer einzigen Umgebung abwickelt. Teams können Bilder, Videos oder Datensatzarchive hochladen und von einem vollständig anpassbaren Ansatz zur Vorbereitung ihrer Daten mit manuellen oder KI-automatisierten Annotationen profitieren. Die Ultralytics Platform unterstützt sowohl Rohdaten als auch Standardformate wie YOLO und COCO, was den Start neuer Projekte erleichtert. Sie bietet zudem Zugriff auf bestehende Datensätze auf der Plattform, einschließlich annotierter Datensätze, die Teams nutzen können, um schnell neue Projekte oder Experimente zu starten.

Abb. 2. Hochladen und Verwalten von Datensätzen in einer einzigen Umgebung auf der Ultralytics Platform. (Quelle)

Sobald die Daten verfügbar sind, können sie direkt auf der Plattform verwaltet werden. Entwickler können Bilder überprüfen, den Annotationsfortschritt überwachen und integrierte Visualisierungen verwenden, um die Verteilung des Datensatzes zu verstehen und potenzielle Lücken zu identifizieren.

Die Plattform unterstützt zudem Datensatz-Versioning, was Teams dabei hilft, Schnappschüsse ihrer Daten zu erstellen, während sie sich weiterentwickeln. Dies erleichtert die Nachverfolgung von Änderungen, den Vergleich von Experimenten und die Wahrung der Konsistenz während des Trainings.

Mit den vorbereiteten Daten können Teams mit der Annotation der Bilder beginnen, wobei diese beschriftet werden, damit die Modelle lernen, was zu erkennen ist.

Link to this sectionDatensätze auf der Ultralytics Platform annotieren#

Sobald die Daten hochgeladen sind, ist der nächste Schritt die Annotation. Hier werden Bilddaten beschriftet, um das Fundament für das Training von Computer-Vision-Modellen zu legen. Die Ultralytics Platform umfasst integrierte Bildannotationsdienste über einen Annotation Editor, der es Teams ermöglicht, Datensätze direkt in derselben Umgebung zu beschriften und zu verwalten.

Der Annotation Editor entfaltet sich in einem einfachen Arbeitsbereich, in dem Benutzer Bilder überprüfen, Labels hinzufügen und Annotationen bei Bedarf aktualisieren können. Alles ist an einem Ort organisiert, was es einfacher macht, Datensätze konsistent und bereit für das Datentraining zu halten.

Teams können Datensätze hochladen und direkt im Browser mit der Beschriftung der Bilder beginnen, wobei sie Annotationsklassen definieren und verwalten, um sicherzustellen, dass die Labels über den gesamten Datensatz hinweg konsistent bleiben. Während Annotationen erstellt werden, können Benutzer sie visuell im Editor überprüfen, was es einfacher macht, die Genauigkeit zu kontrollieren, bevor man zum Modelltraining übergeht.

Link to this sectionBildannotationstools in der Ultralytics Platform#

Die Ultralytics Platform enthält zudem mehrere Funktionen, die effiziente Datensatz-Beschriftungs-Workflows unterstützen und den Annotationsprozess mithilfe fortschrittlicher Algorithmen vereinfachen.

Hier sind einige der wichtigsten Funktionen, die in der Ultralytics Platform verfügbar sind:

• Manuelle Annotation: Dieser Ansatz bietet Benutzern volle Kontrolle und Flexibilität beim Erstellen von Bildannotationen, wie Bounding Boxes, Segmentierungsregionen oder Keypoints, direkt auf Bildern.
• KI-unterstützte Beschriftung: Diese Funktion generiert automatisch Vorschläge für Annotationen und reduziert die Notwendigkeit für manuelle Beschriftung. Sie verwendet SAM (Segment Anything Model), um Objekte oder Regionen mit nur einem Klick zu erkennen, was den Annotationsprozess rationalisiert und Benutzern hilft, die Vorschläge zu überprüfen und zu bestätigen, bevor sie sie zum Datensatz hinzufügen.
• Annotationsbearbeitung: Benutzer können die Bildannotationen jederzeit nach ihrer Erstellung ändern oder verfeinern. Dies hilft dabei, Beschriftungsfehler zu korrigieren und konsistente Datensatz-Labels während des gesamten Annotationsprozesses beizubehalten.
• Klassenverwaltung: Teams und einzelne Entwickler können Annotationsklassen definieren und organisieren, die bei der Datensatzbeschriftung verwendet werden. Dies hilft dabei, Labels über Bilder hinweg konsistent zu halten, was wichtig für das Training von Modellen ist, die Klassen präzise erkennen und voneinander unterscheiden können.

Durch die Kombination manueller Tools, künstlicher Intelligenz und Automatisierung hilft die Ultralytics Platform Benutzern dabei, Bilder effizienter zu annotieren. Sie ermöglicht zudem die Vorbereitung qualitativ hochwertiger Trainingsdaten für skalierbare Computer-Vision-Modelle.

Link to this sectionUnterstützte Annotationstypen#

Unterschiedliche Anwendungsfälle, wie etwa die Qualitätssicherung von Produkten, erfordern je nachdem, was in den Bildern oder Videos erkannt werden soll, unterschiedliche Arten der Annotation. Wie wir oben bereits erwähnt haben, unterstützt die Ultralytics Platform fünf Objekterkennungsaufgaben, von denen jede ihren eigenen Annotationstyp besitzt.

Schauen wir uns die auf der Plattform unterstützten Annotationsaufgaben genauer an und wie sie zur Beschriftung von Datensätzen verwendet werden können.

Link to this sectionObjekterkennung#

Die Objekterkennung identifiziert und lokalisiert Objekte innerhalb eines Bildes. Annotatoren markieren jedes Objekt von Interesse mithilfe von Bounding Boxes, die anzeigen, wo Elemente im Bild erscheinen.

Im Annotation Editor erfolgt dies mithilfe des Bounding-Box-Tools. Benutzer können in den „Bearbeitungsmodus“ wechseln, klicken und ziehen, um ein Rechteck um ein Objekt zu zeichnen, und aus einem Dropdown-Menü ein Klassen-Label zuweisen.

Bounding Boxes können nach der Erstellung angepasst werden. Annotatoren können sie durch Ziehen an den Ecken oder Kanten in der Größe verändern, sie durch Ziehen in der Mitte der Box verschieben oder sie mithilfe von Tastaturkürzeln löschen. Diese Annotationen helfen Vision-Modellen dabei, Objekte in verschiedenen Szenen und Bedingungen zu erkennen.

Abb. 3. Objekterkennungs-Annotation mithilfe von Bounding Boxes in der Ultralytics Platform. (Quelle)

Link to this sectionInstanz-Segmentierung#

Die Instanzsegmentierung bietet detailliertere Annotationen, indem sie die exakte Form von Objekten innerhalb eines Bildes definiert. Anstatt ein einfaches Kästchen zu zeichnen, umreißen Annotatoren die Grenzen des Objekts mithilfe von Polygon-Annotationen, um präzise Masken für Bildsegmentierungsaufgaben zu erstellen.

Der Annotation Editor enthält ein Polygon-Tool für diese Aufgabe. Annotatoren setzen mehrere Eckpunkte um die Kanten eines Objekts herum, um dessen Form zu umreißen. Sobald die Eckpunkte platziert sind, kann das Polygon geschlossen werden, um eine Segmentierungsmaske zu erstellen.

Eckpunkte können nach der Erstellung des Polygons angepasst werden. Einzelne Punkte können verschoben werden, um Objektgrenzen zu verfeinern, und Eckpunkte können bei Bedarf entfernt werden. Diese Annotationen auf Pixelebene helfen Modellen dabei, detaillierte visuelle Strukturen zu erlernen und Objekte zu unterscheiden, die nah beieinander liegen.

Link to this sectionPose-Schätzung#

Annotationen zur Pose-Schätzung erfassen die Positionen von Körpergelenken und deren Beziehungen zueinander. Dies hilft Modellen, die Struktur und Bewegung von Menschen oder Tieren in einem Bild zu verstehen.

Mithilfe des Keypoint-Tools platzieren Annotatoren Keypoints, die Körpergelenke wie Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel repräsentieren. Die Plattform unterstützt mehrere integrierte Skelettvorlagen, einschließlich des 17-Punkte-COCO-Formats für menschliche Posen sowie Vorlagen für Hände, Gesichter, Hunde und Box-Ecken.

Vorlagen ermöglichen es, ein vollständiges Skelett-Layout mit einem einzigen Klick zu platzieren, wonach einzelne Keypoints angepasst werden können, um der Pose im Bild zu entsprechen. Jeder Keypoint kann zudem ein Sichtbarkeits-Flag enthalten, um anzugeben, ob er sichtbar oder verdeckt ist.

Abb. 4. Pose-Schätzungs-Annotation mithilfe von Keypoints und Skelettvorlagen. (Quelle)

Link to this sectionOrientierte Bounding Boxes (OBB)#

Orientierte Bounding Boxes gehen einen Schritt weiter als herkömmliche Bounding Boxes, indem sie Rotation unterstützen. Diese Art der Annotation ist nützlich, wenn Objekte in Winkeln erscheinen, anstatt mit dem Bildrahmen ausgerichtet zu sein.

Im Annotation Editor können Annotatoren das Tool für orientierte Bounding Boxes verwenden, um gedrehte Rechtecke um Objekte zu zeichnen. Nach dem Zeichnen der ursprünglichen Box kann ein Rotationsgriff verwendet werden, um den Winkel anzupassen, während Eckgriffe es ermöglichen, die Größe der Box zu ändern.

Gedrehte Annotationen werden häufig in Luftbildern, Datensätzen für industrielle Inspektionen und anderen Szenarien verwendet, in denen Objekte diagonal oder aus verschiedenen Blickwinkeln erscheinen.

Abb. 5. Orientierte Bounding-Box (OBB)-Annotation für gedrehte Objekte in Luftbildern. (Quelle)

Link to this sectionBildklassifizierung#

Die Bildklassifizierung weist einem gesamten Bild ein Label zu, anstatt einzelne Objekte darin zu markieren.

Für Klassifizierungsdatensätze bietet der Annotation Editor ein Klassenauswahl-Panel. Annotatoren können Bildern Labels zuweisen, indem sie eine Klasse aus der Seitenleiste auswählen oder Tastaturkürzel für eine schnellere Beschriftung verwenden.

Diese Labels auf Bildebene helfen Modellen dabei, visuelle Muster auf hoher Ebene zu erlernen, die verschiedene Kategorien repräsentieren.

Link to this sectionKI-unterstützte Annotation mit SAM#

Die Beschriftung von Bildern für Aufgaben wie die Segmentierung erfordert oft sorgfältige, detaillierte Arbeit, insbesondere wenn Objekte präzise umrissen werden müssen. Die Ultralytics Platform enthält KI-unterstützte Annotationstools, die den Prozess beschleunigen und gleichzeitig die Annotationen präzise und leicht überprüfbar halten.

Annotatoren können beispielsweise mit einem Bild interagieren, indem sie auf Teile eines Objekts klicken, die sie in die Annotation aufnehmen möchten. Sie können auch Bereiche markieren, die ausgeschlossen werden sollen, um das Ergebnis zu verfeinern. Basierend auf diesen Eingaben generiert das Modell in Echtzeit eine Segmentierungsmaske, die anschließend überprüft und angepasst werden kann, bevor sie gespeichert wird.

Dieser Ansatz erleichtert die Arbeit an komplexen Bildern, ohne dass jedes Detail manuell nachgezeichnet werden muss. Gleichzeitig behalten Annotatoren die Kontrolle über das Endergebnis, was sicherstellt, dass die Annotationen über den gesamten Datensatz hinweg konsistent bleiben.

Abb. 6. KI-unterstützte Segmentierung mithilfe des Smart-Annotation-Tools in der Ultralytics Platform. (Quelle)

Diese Funktionen werden von Segment Anything Models (SAM) angetrieben. Diese Modelle sind Teil eines breiteren Ökosystems von Open-Source-Computer-Vision-Tools, die darauf ausgelegt sind, qualitativ hochwertige Segmentierungen aus minimalen Eingaben zu generieren. Die Plattform unterstützt mehrere SAM-Varianten, einschließlich SAM 2.1 und SAM 3. Dies gibt Teams die Flexibilität, je nach ihren Anforderungen zwischen schnellerer Leistung und detaillierteren Ergebnissen zu wählen.

Diese KI-unterstützten Tools können bei Aufgaben wie Objekterkennung, Instanzsegmentierung und orientierter Bounding-Box-Erkennung angewendet werden. Das bedeutet, dass Teams große Datensätze effizienter verarbeiten und gleichzeitig die für ein zuverlässiges Modelltraining erforderliche Qualität beibehalten können.

Link to this sectionVerbesserung von Annotations-Workflows mit integrierten Tools#

Während die Annotationsarbeit voranschreitet, ist es üblich, zurückzugehen und Labels anzupassen, Fehler zu beheben oder Bilder genauer zu überprüfen. Der Ultralytics Annotation Editor enthält integrierte Tools, die diese täglichen Aufgaben einfacher handhabbar und weniger zeitaufwendig machen.

Einige der im Editor verfügbaren Workflow-Funktionen umfassen:

• Tastaturkürzel: Der Editor enthält Tastaturkürzel, die häufige Aktionen beschleunigen, wie das Speichern von Annotationen, das Rückgängigmachen oder Wiederholen von Änderungen, das Löschen von Labels und das Auswählen von Klassen während der Annotation.
• Verlauf zum Rückgängigmachen und Wiederholen: Annotatoren können Änderungen, die während einer Bearbeitungssitzung vorgenommen wurden, leicht rückgängig machen oder wiederherstellen. Dies hilft Teams, mit Annotationen zu experimentieren und Fehler schnell zu beheben, ohne den Fortschritt zu verlieren, was eine bessere Qualitätskontrolle während der Datensatzvorbereitung unterstützt.
• Flexible Annotationsbearbeitung: Annotationen können auch nach der Erstellung angepasst werden. Benutzer können Formen in der Größe verändern, Annotationen verschieben, orientierte Bounding Boxes drehen oder Klassen-Labels bei Bedarf aktualisieren, insbesondere wenn es darum geht, Objekte mit unregelmäßigen Formen zu verfeinern.
• Sichtbarkeitskontrollen: Der Editor enthält Umschalter für die Sichtbarkeit, mit denen Benutzer Annotationen und Klassen-Labels ein- oder ausblenden können, was die Inspektion von Bildern während der Beschriftung erleichtert.
• Präzisionstools: Funktionen wie Zoom und ein Fadenkreuz-Cursor mit Pixelkoordinaten helfen Annotatoren dabei, Labels präziser zu platzieren, wenn sie an detaillierten Bildern arbeiten.

Link to this sectionVerwaltung von Annotationsklassen auf der Ultralytics Platform#

Klare und konsistente Annotationsklassen spielen eine wichtige Rolle beim Aufbau zuverlässiger Computer-Vision-Datensätze. Wenn Projekte wachsen, kann die Verwaltung der Datenbeschriftung über große Datensätze hinweg schwierig werden, insbesondere wenn mehrere Annotatoren beteiligt sind. Die gut organisierte Führung der Klassen trägt dazu bei, dass Annotationen konsistent bleiben und Modelle von strukturierten Daten lernen.

Die Ultralytics Platform vereinfacht diesen Prozess, indem sie die Klassenverwaltung direkt in den Annotation Editor bringt. Anstatt Labels separat zu handhaben, können Teams Klassen erstellen, aktualisieren und überprüfen, während sie an Bildern arbeiten, was es einfacher macht, während des gesamten Annotations-Workflows konsistent zu bleiben.

Im Editor sind alle Klassen in einer Seitenleiste neben der Annotations-Canvas verfügbar. Dies macht es einfach, beim Annotieren das richtige Label auszuwählen und nachzuverfolgen, wie Klassen über den gesamten Datensatz hinweg verwendet werden. Benutzer können nach bestehenden Klassen suchen oder bei Bedarf neue erstellen, ohne ihren Workflow zu unterbrechen.

Klassendetails können ebenfalls jederzeit aktualisiert werden. Namen können direkt bearbeitet und Farben zugewiesen werden, um verschiedene Klassen über Annotationen hinweg leichter identifizierbar zu machen. Der Editor zeigt auch an, wie viele Annotationen mit jeder Klasse verknüpft sind, und ermöglicht es Benutzern, diese zu überprüfen, was Teams dabei hilft, auf Konsistenz und Genauigkeit zu achten.

Alle Klassen werden über eine zentralisierte Tabelle verwaltet, in der sie sortiert, durchsucht und aktualisiert werden können. Alle hier vorgenommenen Änderungen werden automatisch auf den Datensatz angewendet, was Teams dabei hilft, die Konsistenz bei der Skalierung von Annotationsprojekten zu wahren.

Abb. 7. Die Klassenverwaltung im Annotation Editor zeigt die Label-Organisation und Farbanpassung. (Quelle)

Link to this sectionWie die Annotationsqualität die reale Leistung beeinflusst#

Wenn Computer-Vision-Systeme von der Entwicklung in den realen Einsatz übergehen, spielt die Qualität der annotierten Daten eine Schlüsselrolle für die Leistung der Modelle. Gut beschriftete Datensätze helfen Modellen dabei, präzisere und konsistentere Vorhersagen zu treffen, insbesondere in dynamischen oder unvorhersehbaren Umgebungen.

In der Praxis können sich selbst kleine Inkonsistenzen in der Annotation auf das Modellverhalten auswirken. Unterschiede darin, wie Objekte beschriftet werden oder wie mit Grenzfällen umgegangen wird, sind während des Trainings möglicherweise nicht offensichtlich, können aber nach der Bereitstellung der Systeme zu weniger zuverlässigen Vorhersagen führen.

Darüber hinaus können diese Inkonsistenzen in realen Anwendungen deutlicher werden. Beispielsweise verlassen sich Modelle in Robotik- und Gesundheitssystemen auf visuelle Eingaben, um Objekte zu erkennen und Aktionen in Echtzeit zu steuern. Abweichungen in der Beschriftung können beeinflussen, wie präzise diese Systeme ihre Umgebung interpretieren.

Durch die Einhaltung konsistenter Annotationspraktiken und die Nutzung von Plattformen wie Ultralytics zur Verwaltung und Verfeinerung von Datensätzen im Laufe der Zeit können Teams Modelle entwickeln, die über kontrollierte Testumgebungen hinaus zuverlässiger funktionieren.

Link to this sectionWichtige Erkenntnisse#

Hochwertige Datenannotation ist essenziell für das Training präziser Computer-Vision-Modelle und die Unterstützung erfolgreicher Bildannotationsprojekte. Die Ultralytics Platform vereinfacht diesen Prozess mit einem leistungsstarken Annotation Editor, der mehrere Vision-Aufgaben unterstützt. Durch die Kombination manueller Annotationstools mit KI-unterstützter Beschriftung mithilfe von SAM und integrierten Workflow-Funktionen können Teams Datensätze effizienter vorbereiten und schneller von der Datenvorbereitung zur Modellentwicklung übergehen.

Tritt unserer Community bei und erkunde das GitHub-Repository, um mehr über Computer-Vision-Modelle zu erfahren. Lies auf unseren Lösungsseiten mehr über Anwendungen wie KI in der Automobilbranche und Computer Vision in der Robotik. Schau dir unsere Lizenzoptionen an und beginne damit, dein eigenes Vision-AI-Modell zu erstellen.