Data Annotation

Datenannotation ist der Prozess, Rohdaten um Ground-Truth-Informationen zu ergänzen, etwa um einen Klassennamen für ein Bild, eine Box oder ein Polygon um jedes Objekt, Keypoints auf einem Körper oder eine Kennzeichnung für einen Textabschnitt, damit Modelle des überwachten Lernens daraus lernen können. Der Begriff ist gleichbedeutend mit Datenbeschriftung, und Computer-Vision-Teams sprechen bei eingezeichneter Geometrie wie Boxen und Masken meist von Annotation. Eine Annotation besteht aus zwei Teilen: der Geometrie oder Kennzeichnung, die eine Person oder ein Modell einzeichnet, und dem Dateiformat, in dem sie für das Training gespeichert wird.

Annotationstypen nach Aufgabe#

Die Ausgabe, die ein Modell erzeugen muss, bestimmt, was die Annotierenden einzeichnen. Details kosten Zeit, deshalb wählen Teams den einfachsten Annotationstyp, der die benötigten Informationen für das Modell enthält.

• Begrenzungsboxen: Eine Box und eine Klasse pro Objekt für die Objekterkennung. Das YOLO-Format schreibt eine Textdatei pro Bild mit einer Zeile class x_center y_center width height pro Objekt, normalisiert auf den Bereich 0–1 anhand der Bildgröße. COCO JSON speichert [x_min, y_min, width, height] in Pixeln, und Pascal VOC XML speichert die Pixelkoordinaten zweier Ecken.
• Polygone und Masken: Umrisse für die Instanzsegmentierung oder eine Klasse für jedes Pixel bei der semantischen Segmentierung. YOLO und COCO speichern Polygone als Listen von Eckpunkten, und COCO speichert Masken für Menschenmengenbereiche zusätzlich als Lauflängenkodierung (RLE).
• Klassenlabels: Eine Klasse pro Bild für die Bildklassifizierung, häufig als Name des Ordners gespeichert, in dem das Bild liegt – die Ordnerstruktur von Klassifizierungsdatensätzen im ImageNet-Stil.
• Keypoints: Eine x-, y-Position und ein Sichtbarkeitskennzeichen für jeden Landmark-Punkt bei der Posenschätzung. COCO-Personenannotationen markieren 17 Keypoints, die jeweils als nicht beschriftet, beschriftet, aber verdeckt, oder sichtbar gekennzeichnet sind.
• Orientierte Boxen: Vier Eckpunkte, die gedrehte Objekte wie Schiffe und Fahrzeuge in Luftbildern umschließen, für die Erkennung orientierter Begrenzungsboxen.

Die Präzision der Annotation ist bei kleinen Objekten besonders wichtig. Wird eine 20 × 20 Pixel große Box horizontal und vertikal um jeweils 3 Pixel verschoben, sinkt ihre Schnittmenge über Vereinigungsmenge (IoU) mit der Originalbox auf 0,57. Eine Vorhersage, die dem tatsächlichen Objekt entspricht, würde daher bei 8 der 10 IoU-Schwellenwerte von 0,60 bis 0,95 als Fehlversuch gelten. Über diese Schwellenwerte wird die COCO-mittlere durchschnittliche Präzision (mAP) gemittelt. Schriftliche Richtlinien, die jede Klasse definieren und Grenzfälle klären – etwa, wie eng teilweise verdeckte Objekte eingerahmt werden sollen –, sorgen für einheitliche Annotationen über Tausende von Beispielen hinweg.

Annotation über Bilder hinaus#

• Video: Boxen oder Masken auf jedem Frame, verknüpft über Track-IDs, die jedes Objekt im Zeitverlauf verfolgen, für Multi-Objekt-Tracking.
• Lidar und 3D: Quader in Punktwolken, jeweils mit Mittelpunkt, Größe und Ausrichtungswinkel, für die 3D-Objekterkennung beim autonomen Fahren und in der Robotik.
• Text: Textabschnitte, die durch Zeichenoffsets und einen Entitätstyp für die Erkennung benannter Entitäten (NER) gekennzeichnet sind, oder ein Label pro Dokument für Aufgaben wie die Sentimentanalyse.
• Audio: Mit Zeitstempeln versehene Segmente mit Transkripten oder Sprecheridentitäten für die Spracherkennung.
• Modellpräferenzen: Annotierende wählen die bessere von zwei Modellantworten aus und erzeugen so Vergleichsdaten für das bestärkende Lernen aus menschlichem Feedback (RLHF).

Automatische Annotation#

Die modellgestützte Annotation beginnt mit Modellvorschlägen, die Personen überprüfen und korrigieren. Ein Detektor schlägt Boxen für ihm bereits bekannte Klassen vor, und ein promptbares Segmentierungsmodell wie Metas Segment Anything wandelt eine Box oder einen Klick in eine Maske um und ersetzt damit das manuelle Nachzeichnen eines Polygons Punkt für Punkt. Die Funktion auto_annotate im Ultralytics-Paket verknüpft beide Schritte: Ein YOLO26-Detektor findet und klassifiziert Objekte, und SAM 2.1, das im Ultralytics-Paket ausgeführt wird, wandelt jede Box in ein Polygon um, das im YOLO-Segmentierungsformat gespeichert wird.

from pathlib import Path

from ultralytics.data.annotator import auto_annotate
from ultralytics.utils import ASSETS

# Detect objects in the bundled sample images, then turn each box into a SAM 2.1 polygon
auto_annotate(data=ASSETS, det_model="yolo26n.pt", sam_model="sam2.1_b.pt", output_dir="auto_labels")

# Read the annotation file written for the bus image
rows = Path("auto_labels/bus.txt").read_text().splitlines()
print(f"{len(rows)} objects annotated")
print(rows[0][:80])

Jede Zeile von bus.txt enthält einen COCO-Klassenindex, gefolgt von den normalisierten x- und y-Koordinaten der Polygonpunkte im Bereich von 0 bis 1. Eine annotierende Person kann die Zeile prüfen und korrigieren, bevor das Training beginnt. Erkennungen unter dem standardmäßigen Konfidenzschwellenwert von 0,25 erhalten keine Annotation. Übersehene Objekte müssen daher weiterhin von Hand eingezeichnet werden. Die Ultralytics Platform kann Erkennungsdatensätze automatisch beschriften, indem sie Vision-Language-Modelle und Detektoren mit offenem Vokabular verwendet, die nur die Klassennamen benötigen. Die VLM-Benchmark-Ergebnisse zeigen, wie genau jedes Modell reale Bilder beschriftet.

Datenannotation und verwandte Begriffe#

• Datenbeschriftung: Ein Synonym, das häufiger für Klassenkennzeichnungen ganzer Elemente verwendet wird, etwa wenn eine E-Mail als Spam markiert wird.
• Datenerweiterung: Verändert annotierte Bilder und ihre Annotationen gemeinsam, etwa indem Boxkoordinaten bei einer horizontalen Spiegelung ebenfalls gespiegelt werden, um die Vielfalt der vorhandenen Ground-Truth-Daten zu erhöhen.
• Halbüberwachtes Lernen: Ein Modell annotiert nicht beschriftete Daten selbst und trainiert mit seinen eigenen sicheren Vorhersagen, sogenannten Pseudolabels, ohne menschliche Überprüfung.
• Synthetische Daten: Gerenderte oder generierte Bilder, deren Annotationen vom Generator stammen, der die genaue Position und den Umriss jedes Objekts kennt.