Bildannotation mit der Ultralytics Platform optimieren

Ultralytics hat kürzlich die Ultralytics Platform vorgestellt, eine Umgebung zur Unterstützung des gesamten Lebenszyklus der Computer-Vision-Entwicklung. Die Plattform bündelt Werkzeuge zur Verwaltung der verschiedenen Phasen von Vision-KI-Workflows, darunter die Datensatzvorbereitung, die Annotation von Bildern und Videos, das Training von Modellen und deren Bereitstellung.

Trotz der zunehmenden Verbreitung in Branchen wie dem autonomen Fahren und dem Gesundheitswesen kann die Entwicklung von Computer-Vision-Lösungen noch immer als fragmentierter Prozess erscheinen. Einer der Hauptgründe dafür ist, dass Computer-Vision-Modelle stark von der Qualität der Daten abhängen, mit denen sie trainiert werden. Noch bevor das Training beginnt, müssen Datensätze erstellt, organisiert, überprüft und beschriftet werden, damit das Modell lernen kann, was es erkennen oder identifizieren soll.

Bei der Arbeit mit visuellen Daten wird dieser Prozess als Datenannotation oder Bildannotation bezeichnet. Bei der Bildannotation werden bestimmte Teile eines Bildes markiert und mit Bezeichnungen versehen, die das Modell während des Trainings unterstützen.

Wenn beispielsweise Hunde in Bildern erkannt werden sollen, können Annotatoren um jeden Hund Begrenzungsrahmen zeichnen, um zu zeigen, wo er sich befindet. Bei detaillierteren Aufgaben können sie die Form des Hundes mithilfe von Segmentierungsmasken nachzeichnen oder Schlüsselpunkte markieren, um seine Körperhaltung zu erfassen. Diese beschrifteten Beispiele beeinflussen direkt, wie gut das Modell nach seiner Bereitstellung arbeitet.

Die Verwaltung von Bildannotations-Workflows in großem Maßstab kann anspruchsvoll sein. Große Datensätze erfordern häufig einheitliche Beschriftungsstandards, die Zusammenarbeit mehrerer Annotatoren und Werkzeuge, die die Überprüfung und Überarbeitung von Annotationen erleichtern.

Die Ultralytics Platform führt dies mit einem integrierten Annotationseditor zusammen. Sie unterstützt mehrere Arten von Annotationsaufgaben und bietet Teams eine einfachere Möglichkeit, Daten zu beschriften und Computer-Vision-Datensätze in einem einzigen Workflow vorzubereiten.

Abb. 1. Ein Blick auf den Annotationseditor in der Ultralytics Platform (Quelle)

In diesem Artikel sehen wir uns an, wie der Annotationseditor der Ultralytics Platform Teams dabei unterstützt, Datensätze effizient zu annotieren und die Datenvorbereitung zu optimieren. Legen wir los!

Datenannotation in Computer Vision#

Bevor wir die auf der Ultralytics Platform verfügbaren Werkzeuge zur Bildannotation betrachten, gehen wir einen Schritt zurück und klären, was Datenannotation ist und warum sie für die Entwicklung von Computer-Vision-Systemen wichtig ist.

Computer-Vision-Modelle lernen, indem sie große Sammlungen von Bildern oder Videos analysieren, die als Datensätze bezeichnet werden. Rohbilder allein liefern einem Modell jedoch nicht genügend Informationen, um zu verstehen, was es erkennen oder identifizieren soll. Damit die Daten für das Training nutzbar sind, müssen Bilder durch Datenbeschriftung gekennzeichnet werden, damit das Modell lernen kann, nach welchen Objekten, Formen oder Mustern es suchen soll.

Bei der Bildannotation werden bestimmte Elemente innerhalb eines Bildes markiert und mit Bezeichnungen versehen, die beschreiben, was das Modell lernen soll. Diese beschrifteten Beispiele unterstützen Deep-Learning-Modelle und Algorithmen während des Trainings und helfen ihnen, ähnliche Muster bei der Verarbeitung neuer Bilder zu erkennen.

Je nach Anwendung und Anwendungsfall erfordern unterschiedliche Computer-Vision-Aufgaben verschiedene Arten der Bildannotation. Annotatoren können beispielsweise für die Objekterkennung Begrenzungsrahmen um Objekte zeichnen, für die semantische Segmentierung Regionen in einem Bild umreißen, für die Posenschätzung Schlüsselpunkte festlegen oder für die Klassifizierung einem gesamten Bild eine Bezeichnung zuweisen.

Daten verwalten und vorbereiten#

Die Vorbereitung von Daten für Computer-Vision-Projekte umfasst häufig die Arbeit mit verschiedenen Dateiformaten und die Organisation von Datensätzen. Dazu gehört auch, sicherzustellen, dass alles für die Annotation und das Training von Algorithmen des maschinellen Lernens bereit ist. In vielen Workflows erstreckt sich dieser Prozess über mehrere Werkzeuge: Daten werden hochgeladen, bereinigt und zwischen Systemen verschoben, bevor sie verwendet werden können.

Die Ultralytics Platform vereinfacht dies, indem sie Datenvorbereitung, Modelltraining und Bereitstellung in einer einzigen Umgebung ermöglicht. Teams können Bilder, Videos oder Datensatzarchive hochladen und ihre Daten mit manuellen oder KI-gestützten Annotationen vollständig anpassbar vorbereiten. Die Ultralytics Platform unterstützt sowohl Rohdaten als auch Standardformate wie YOLO und COCO, sodass neue Projekte einfach gestartet werden können. Außerdem bietet sie Zugriff auf vorhandene Datensätze auf der Plattform, darunter annotierte Datensätze, die Teams für den schnellen Start neuer Projekte oder Experimente nutzen können.

Abb. 2. Datensätze in einer einzigen Umgebung auf der Ultralytics Platform hochladen und verwalten. (Quelle)

Sobald die Daten verfügbar sind, können sie direkt auf der Plattform verwaltet werden. Entwickler können Bilder überprüfen, den Fortschritt der Annotation überwachen und integrierte Visualisierungen nutzen, um die Verteilung des Datensatzes zu verstehen und mögliche Lücken zu erkennen.

Die Plattform unterstützt außerdem die Versionierung von Datensätzen, sodass Teams Schnappschüsse ihrer sich weiterentwickelnden Daten festhalten können. Dadurch lassen sich Änderungen leichter nachverfolgen, Experimente vergleichen und während des Trainings eine einheitliche Datenbasis bewahren.

Nach der Datenvorbereitung können Teams mit der Annotation von Bildern fortfahren, bei der diese beschriftet werden, damit Modelle lernen, was sie erkennen sollen.

Datensätze auf der Ultralytics Platform annotieren#

Nach dem Hochladen der Daten ist der nächste Schritt die Annotation. Dabei werden Bilddaten beschriftet, wodurch die Grundlage für das anschließende Training von Computer-Vision-Modellen geschaffen wird. Die Ultralytics Platform umfasst integrierte Dienste zur Bildannotation über einen Annotationseditor, mit dem Teams Datensätze direkt in derselben Umgebung beschriften und verwalten können.

Der Annotationseditor bietet einen übersichtlichen Arbeitsbereich, in dem Benutzer Bilder überprüfen, Bezeichnungen hinzufügen und Annotationen bei Bedarf aktualisieren können. Alles ist an einem Ort organisiert, sodass Datensätze leichter einheitlich und für das Datentraining bereit bleiben.

Teams können Datensätze hochladen und Bilder direkt im Browser beschriften. Dabei können sie Annotationsklassen definieren und verwalten, um einheitliche Bezeichnungen im gesamten Datensatz sicherzustellen. Während Annotationen erstellt werden, können Benutzer sie visuell im Editor überprüfen und so ihre Genauigkeit kontrollieren, bevor sie mit dem Modelltraining fortfahren.

Werkzeuge zur Bildannotation in der Ultralytics Platform#

Die Ultralytics Platform umfasst außerdem mehrere Funktionen, die effiziente Workflows zur Datensatzbeschriftung unterstützen und den Annotationsprozess mithilfe fortschrittlicher Algorithmen vereinfachen.

Hier sind einige der wichtigsten in der Ultralytics Platform verfügbaren Funktionen:

• Manuelle Annotation: Dieser Ansatz bietet Benutzern vollständige Kontrolle und Flexibilität beim Erstellen von Bildannotation, etwa von Begrenzungsrahmen, Segmentierungsregionen oder Schlüsselpunkten, direkt in Bildern.
• KI-gestützte Beschriftung: Diese Funktion erstellt automatisch vorgeschlagene Annotationen und reduziert dadurch den Bedarf an manueller Beschriftung. Sie verwendet SAM (Modell zur Segmentierung beliebiger Objekte), um Objekte oder Regionen mit nur einem Klick zu erkennen. Dadurch wird der Annotationsprozess optimiert und Benutzer können die Vorschläge überprüfen und bestätigen, bevor sie zum Datensatz hinzugefügt werden.
• Bearbeitung von Annotationen: Benutzer können Bildannotation jederzeit nach ihrer Erstellung ändern oder verfeinern. So lassen sich Beschriftungsfehler korrigieren und einheitliche Bezeichnungen im Datensatz während des gesamten Annotationsprozesses bewahren.
• Klassenverwaltung: Teams und einzelne Entwickler können Annotationsklassen definieren und organisieren, die bei der Datensatzbeschriftung verwendet werden. Dadurch bleiben Bezeichnungen in allen Bildern einheitlich, was für das Training von Modellen wichtig ist, die Klassen zuverlässig erkennen und voneinander unterscheiden können.

Durch die Kombination manueller Werkzeuge mit künstlicher Intelligenz und Automatisierung unterstützt die Ultralytics Platform Benutzer dabei, Bilder effizienter zu annotieren. Außerdem ermöglicht sie die Vorbereitung hochwertiger Trainingsdaten für skalierbare Computer-Vision-Modelle.

Unterstützte Arten von Annotationsaufgaben#

Für unterschiedliche Anwendungsfälle, etwa die Qualitätssicherung von Produkten, sind je nachdem, was in den Bildern oder Videos erkannt werden soll, verschiedene Arten der Annotation erforderlich. Wie bereits erwähnt, unterstützt die Ultralytics Platform fünf Aufgaben zur Objekterkennung, jeweils mit einer eigenen Annotationsart.

Sehen wir uns die auf der Plattform unterstützten Annotationsaufgaben und ihre Verwendung zur Beschriftung von Datensätzen genauer an.

Objekterkennung#

Die Objekterkennung identifiziert und lokalisiert Objekte innerhalb eines Bildes. Annotatoren markieren jedes relevante Objekt mit Begrenzungsrahmen und geben dadurch an, wo die Objekte im Bild erscheinen.

Im Annotationseditor geschieht dies mit dem Werkzeug für Begrenzungsrahmen. Benutzer können den „Bearbeitungsmodus“ aufrufen, klicken und ziehen, um ein Rechteck um ein Objekt zu zeichnen, und über ein Dropdown-Menü eine Klassenbezeichnung zuweisen.

Begrenzungsrahmen können nach ihrer Erstellung angepasst werden. Annotatoren können sie durch Ziehen an den Griffen an Ecken oder Kanten in der Größe verändern, durch Ziehen in der Mitte des Rahmens verschieben oder mithilfe von Tastenkürzeln löschen. Diese Annotationen helfen Vision-Modellen, Objekte in verschiedenen Szenen und unter unterschiedlichen Bedingungen zu erkennen.

Abb. 3. Annotation zur Objekterkennung mit Begrenzungsrahmen auf der Ultralytics Platform. (Quelle)

Instanzsegmentierung#

Die Instanzsegmentierung liefert detailliertere Annotationen, indem sie die exakte Form von Objekten innerhalb eines Bildes definiert. Statt einen einfachen Rahmen zu zeichnen, verfolgen Annotatoren die Grenzen des Objekts mithilfe einer Polygonannotation, um präzise Masken für Bildsegmentierungsaufgaben zu erstellen.

Der Annotationseditor enthält für diese Aufgabe ein Polygonwerkzeug. Annotatoren setzen mehrere Eckpunkte entlang der Ränder eines Objekts, um seine Form nachzuzeichnen. Sobald die Eckpunkte platziert sind, kann das Polygon geschlossen werden, um eine Segmentierungsmaske zu erstellen.

Eckpunkte können nach der Erstellung des Polygons angepasst werden. Einzelne Punkte lassen sich verschieben, um Objektgrenzen zu verfeinern, und bei Bedarf können Eckpunkte entfernt werden. Diese Annotationen auf Pixelebene helfen Modellen, detaillierte visuelle Strukturen zu erlernen und nahe beieinander liegende Objekte zu unterscheiden.

Posenschätzung#

Annotationen zur Posenschätzung erfassen die Positionen von Körpergelenken und ihre Beziehungen zueinander. Dadurch können Modelle die Struktur und Bewegung von Menschen oder Tieren in einem Bild verstehen.

Mit dem Schlüsselpunktewerkzeug setzen Annotatoren Schlüsselpunkte, die Körpergelenke wie Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel darstellen. Die Plattform unterstützt mehrere integrierte Skelettvorlagen, darunter das 17-Punkte-Format für menschliche Posen von COCO sowie Vorlagen für Hände, Gesichter, Hunde und die Ecken von Begrenzungsrahmen.

Mithilfe von Vorlagen kann mit einem einzigen Klick ein vollständiges Skelettlayout platziert werden. Anschließend lassen sich einzelne Schlüsselpunkte an die Pose im Bild anpassen. Jeder Schlüsselpunkt kann außerdem ein Sichtbarkeitskennzeichen enthalten, das angibt, ob er sichtbar oder verdeckt ist.

Abb. 4. Annotation zur Posenschätzung mit Schlüsselpunkten und Skelettvorlagen. (Quelle)

Gedrehte Begrenzungsrahmen (OBB)#

Gedrehte Begrenzungsrahmen erweitern herkömmliche Begrenzungsrahmen um die Möglichkeit zur Drehung. Diese Annotationsart ist nützlich, wenn Objekte schräg erscheinen und nicht an den Bildrahmen ausgerichtet sind.

Im Annotationseditor können Annotatoren mit dem Werkzeug für gedrehte Begrenzungsrahmen gedrehte Rechtecke um Objekte zeichnen. Nach dem Zeichnen des ersten Rahmens kann der Drehgriff zum Anpassen des Winkels verwendet werden, während sich der Rahmen mit den Eckgriffen in der Größe verändern lässt.

Gedrehte Annotationen werden häufig bei Luftaufnahmen, Datensätzen zur industriellen Inspektion und anderen Szenarien verwendet, in denen Objekte diagonal oder aus unterschiedlichen Perspektiven erscheinen.

Abb. 5. Annotation gedrehter Begrenzungsrahmen (OBB) für gedrehte Objekte in Luftaufnahmen. (Quelle)

Bildklassifizierung#

Bei der Bildklassifizierung wird einem gesamten Bild eine Bezeichnung zugewiesen, anstatt einzelne darin enthaltene Objekte zu markieren.

Für Klassifizierungsdatensätze stellt der Annotationseditor ein Bedienfeld zur Klassenauswahl bereit. Annotatoren können Bildern Bezeichnungen zuweisen, indem sie eine Klasse in der Seitenleiste auswählen oder Tastenkürzel für eine schnellere Beschriftung verwenden.

Diese bildweiten Bezeichnungen helfen Modellen, übergeordnete visuelle Muster zu erlernen, die verschiedene Kategorien repräsentieren.

KI-gestützte Annotation mit SAM#

Das Beschriften von Bildern für Aufgaben wie die Segmentierung erfordert häufig sorgfältige Detailarbeit, insbesondere wenn Objekte präzise umrissen werden müssen. Die Ultralytics Platform umfasst KI-gestützte Annotationswerkzeuge, die den Prozess beschleunigen und gleichzeitig genaue und leicht zu überprüfende Annotationen ermöglichen.

Annotatoren können beispielsweise mit einem Bild interagieren, indem sie auf Teile eines Objekts klicken, die in die Annotation aufgenommen werden sollen. Außerdem können sie Bereiche markieren, die ausgeschlossen werden sollen, um das Ergebnis zu verfeinern. Auf Grundlage dieser Eingaben erstellt das Modell in Echtzeit eine Segmentierungsmaske, die anschließend überprüft und angepasst werden kann, bevor sie gespeichert wird.

Dieser Ansatz erleichtert die Bearbeitung komplexer Bilder, ohne jedes Detail manuell nachzeichnen zu müssen. Gleichzeitig behalten Annotatoren die Kontrolle über das endgültige Ergebnis und stellen so einheitliche Annotationen im gesamten Datensatz sicher.

Abb. 6. KI-gestützte Segmentierung mit dem Smart-Annotationswerkzeug in der Ultralytics Platform. (Quelle)

Diese Funktionen basieren auf Segmentierungsmodellen für beliebige Objekte (SAM). Diese Modelle sind Teil eines umfassenderen Ökosystems von Open-Source-Computer-Vision-Werkzeugen, die aus minimalen Eingaben hochwertige Segmentierungen erzeugen. Die Plattform unterstützt mehrere SAM-Varianten, darunter SAM 2.1 und SAM 3. Dadurch können Teams je nach Bedarf zwischen höherer Geschwindigkeit und detaillierteren Ergebnissen wählen.

Diese KI-gestützten Werkzeuge können für Aufgaben wie Objekterkennung, Instanzsegmentierung und die Erkennung gedrehter Begrenzungsrahmen eingesetzt werden. Dadurch können Teams große Datensätze effizienter verarbeiten und gleichzeitig die für ein zuverlässiges Modelltraining erforderliche Qualität bewahren.

Annotations-Workflows mit integrierten Werkzeugen verbessern#

Im Verlauf der Annotationsarbeit ist es üblich, Bezeichnungen erneut anzupassen, Fehler zu korrigieren oder Bilder genauer zu überprüfen. Der Ultralytics Annotationseditor umfasst integrierte Werkzeuge, die diese alltäglichen Aufgaben erleichtern und weniger zeitaufwendig machen.

Zu den im Editor verfügbaren Workflow-Funktionen gehören:

• Tastenkürzel: Der Editor enthält Tastenkürzel, die häufige Aktionen beschleunigen, etwa das Speichern von Annotationen, das Rückgängigmachen oder Wiederholen von Änderungen, das Löschen von Bezeichnungen und die Auswahl von Klassen während der Annotation.
• Verlauf zum Rückgängigmachen und Wiederholen: Annotatoren können während einer Bearbeitungssitzung vorgenommene Änderungen einfach rückgängig machen oder wiederherstellen. Dadurch können Teams Annotationen ausprobieren und Fehler schnell korrigieren, ohne ihren Fortschritt zu verlieren, was eine bessere Qualitätskontrolle bei der Datensatzvorbereitung unterstützt.
• Flexible Bearbeitung von Annotationen: Annotationen können auch nach ihrer Erstellung angepasst werden. Benutzer können Formen in der Größe verändern, Annotationen verschieben, gedrehte Begrenzungsrahmen rotieren oder Klassenbezeichnungen bei Bedarf aktualisieren, insbesondere beim Verfeinern von Objekten mit unregelmäßigen Formen.
• Sichtbarkeitssteuerung: Der Editor enthält Schalter für die Sichtbarkeit, mit denen Benutzer Annotationen und Klassenbezeichnungen ein- oder ausblenden können. So lassen sich Bilder während der Beschriftung leichter überprüfen.
• Werkzeuge für präzises Arbeiten: Funktionen wie die Zoomansicht und ein Fadenkreuzcursor mit Pixelkoordinaten helfen Annotatoren, Bezeichnungen bei der Arbeit mit detaillierten Bildern genauer zu platzieren.

Annotationsklassen auf der Ultralytics Platform verwalten#

Klare und einheitliche Annotationsklassen spielen eine wichtige Rolle beim Aufbau zuverlässiger Computer-Vision-Datensätze. Mit zunehmendem Projektumfang kann die Verwaltung der Datenbeschriftung über große Datensätze hinweg schwierig werden, insbesondere wenn mehrere Annotatoren beteiligt sind. Eine gut organisierte Klassenstruktur trägt dazu bei, einheitliche Annotationen sicherzustellen und Modelle aus strukturierten Daten lernen zu lassen.

Die Ultralytics Platform vereinfacht diesen Prozess, indem sie die Klassenverwaltung direkt in den Annotationseditor integriert. Statt Bezeichnungen separat zu verwalten, können Teams Klassen während der Arbeit an Bildern erstellen, aktualisieren und überprüfen und so leichter während des gesamten Annotations-Workflows einheitlich bleiben.

Im Editor sind alle Klassen neben der Annotationsfläche in einer Seitenleiste verfügbar. Dadurch lässt sich beim Annotieren einfach die richtige Bezeichnung auswählen und nachvollziehen, wie die Klassen im gesamten Datensatz verwendet werden. Benutzer können nach vorhandenen Klassen suchen oder bei Bedarf neue erstellen, ohne ihren Workflow zu unterbrechen.

Klassendetails können jederzeit aktualisiert werden. Namen lassen sich direkt bearbeiten, und Farben können zugewiesen werden, damit sich verschiedene Klassen in den Annotationen leichter unterscheiden lassen. Der Editor zeigt außerdem, wie viele Annotationen mit jeder Klasse verknüpft sind, und ermöglicht deren Überprüfung. So können Teams Einheitlichkeit und Genauigkeit kontrollieren.

Alle Klassen werden über eine zentrale Tabelle verwaltet, in der sie sortiert, gesucht und aktualisiert werden können. Änderungen, die hier vorgenommen werden, werden automatisch auf den gesamten Datensatz angewendet. So können Teams die Einheitlichkeit auch bei wachsendem Umfang von Annotationsprojekten bewahren.

Abb. 7. Die Klassenverwaltung im Annotationseditor zeigt die Organisation von Bezeichnungen und die Anpassung von Farben. (Quelle)

Wie sich die Annotationsqualität auf die Leistung in der Praxis auswirkt#

Wenn Computer-Vision-Systeme von der Entwicklung in den praktischen Einsatz übergehen, spielt die Qualität annotierter Daten eine entscheidende Rolle für die Leistung der Modelle. Gut beschriftete Datensätze helfen Modellen, genauere und einheitlichere Vorhersagen zu erzeugen, insbesondere in dynamischen oder unvorhersehbaren Umgebungen.

In der Praxis können sich bereits kleine Uneinheitlichkeiten bei der Annotation auf das Verhalten eines Modells auswirken. Unterschiede bei der Beschriftung von Objekten oder beim Umgang mit Sonderfällen fallen während des Trainings möglicherweise nicht auf, können aber nach der Bereitstellung der Systeme zu weniger zuverlässigen Vorhersagen führen.

Darüber hinaus können solche Uneinheitlichkeiten in realen Anwendungen noch deutlicher zutage treten. In der Robotik und im Gesundheitswesen beispielsweise stützen sich Modelle auf visuelle Eingaben, um Objekte zu erkennen und in Echtzeit Aktionen zu steuern. Unterschiede bei der Beschriftung können beeinflussen, wie genau diese Systeme ihre Umgebung interpretieren.

Durch einheitliche Annotationspraktiken und die Nutzung von Plattformen wie Ultralytics zur Verwaltung und kontinuierlichen Verfeinerung von Datensätzen können Teams Modelle entwickeln, die auch außerhalb kontrollierter Testumgebungen zuverlässiger arbeiten.

Wichtige Erkenntnisse#

Eine hochwertige Datenannotation ist für das Training genauer Computer-Vision-Modelle und erfolgreiche Bildannotationsprojekte unerlässlich. Die Ultralytics Platform vereinfacht diesen Prozess mit einem leistungsstarken Annotationseditor, der mehrere Vision-Aufgaben unterstützt. Durch die Kombination manueller Annotationswerkzeuge mit KI-gestützter Beschriftung mithilfe von SAM und integrierten Workflow-Funktionen können Teams Datensätze effizienter vorbereiten und schneller von der Datenvorbereitung zur Modellentwicklung gelangen.

Tritt unserer Community bei und sieh dir das GitHub-Repository an, um mehr über Computer-Vision-Modelle zu erfahren. Lies auf unseren Lösungsseiten über Anwendungen wie KI im Automobilbereich und Computer Vision in der Robotik. Informiere dich über unsere Lizenzoptionen und beginne mit der Entwicklung deines eigenen Vision-KI-Modells.