Data Annotation

L’annotation de données consiste à ajouter des informations de vérité terrain aux données brutes, comme le nom d’une classe pour une image, une boîte ou un polygone autour de chaque objet, des points clés sur un corps ou une étiquette sur un segment de texte, afin que les modèles d’apprentissage supervisé puissent apprendre à partir de ces données. C’est un synonyme d’étiquetage des données, et les équipes de vision par ordinateur emploient généralement le terme annotation pour les géométries tracées, comme les boîtes et les masques. Une annotation comporte deux éléments : la géométrie ou l’étiquette tracée par une personne ou un modèle, et le format de fichier dans lequel elle est stockée pour l’entraînement.

Types d’annotation par tâche#

La sortie que doit produire un modèle détermine ce que les annotateurs dessinent. Les détails prennent du temps ; les équipes choisissent donc le type d’annotation le plus simple qui contient les informations dont le modèle a besoin.

• Boîtes englobantes : Une boîte et une classe par objet pour la détection d’objets. Le format YOLO écrit un fichier texte par image, avec une ligne class x_center y_center width height par objet, normalisée entre 0 et 1 selon la taille de l’image. COCO JSON stocke [x_min, y_min, width, height] en pixels, et Pascal VOC XML stocke les coordonnées en pixels de deux coins.
• Polygones et masques : Contours pour la segmentation d’instances, ou une classe pour chaque pixel en segmentation sémantique. YOLO et COCO stockent les polygones sous forme de listes de sommets, et COCO stocke aussi les masques en codage par plages (RLE) pour les zones contenant des foules.
• Étiquettes de classe : Une classe par image pour la classification d’images, souvent stockée sous forme de nom du dossier qui contient l’image, selon l’organisation des dossiers des jeux de données de classification de type ImageNet.
• Points clés : Une position x, y et un indicateur de visibilité pour chaque repère en estimation de pose. Les annotations de personnes de COCO marquent 17 points clés, chacun signalé comme non étiqueté, étiqueté mais caché, ou visible.
• Boîtes orientées : Quatre points d’angle qui épousent la forme d’objets inclinés, comme des navires et des véhicules dans des images aériennes, utilisées pour la détection de boîtes englobantes orientées.

La précision des annotations est particulièrement importante pour les petits objets. Décaler horizontalement et verticalement de 3 pixels une boîte de 20 × 20 pixels réduit son intersection sur union (IoU) avec la boîte d’origine à 0,57 ; une prédiction correspondant à l’objet réel serait donc considérée comme un échec à 8 des 10 seuils IoU, de 0,60 à 0,95, moyennés dans la précision moyenne (mAP) COCO. Des consignes écrites qui définissent chaque classe et tranchent les cas limites, comme la taille à donner aux boîtes d’objets partiellement masqués, garantissent la cohérence de milliers d’annotations.

L’annotation au-delà des images#

• Vidéo : Des boîtes ou des masques sur chaque image, associés à des identifiants de suivi qui suivent chaque objet au fil du temps pour le suivi multi-objets.
• Lidar et 3D : Des cuboïdes dans les nuages de points, chacun avec un centre, une taille et un angle d’orientation, pour la détection d’objets 3D en conduite et en robotique.
• Texte : Des segments marqués par des décalages de caractères et un type d’entité pour la reconnaissance d’entités nommées (NER), ou une étiquette par document pour des tâches comme l’analyse des sentiments.
• Audio : Des segments horodatés avec transcriptions ou identités des locuteurs pour la reconnaissance vocale.
• Préférences du modèle : Les annotateurs choisissent la meilleure de deux réponses du modèle, produisant les données de comparaison utilisées dans l’apprentissage par renforcement à partir de retours humains (RLHF).

Annotation automatique#

L’annotation assistée par modèle part de propositions du modèle que les personnes vérifient et corrigent. Un détecteur propose des boîtes pour les classes qu’il connaît déjà, et un modèle de segmentation guidé par invites, comme Segment Anything de Meta, transforme une boîte ou un clic en masque, évitant ainsi de tracer les polygones sommet par sommet. La fonction auto_annotate du package Ultralytics enchaîne les deux étapes : un détecteur YOLO26 repère les objets et les classe, puis SAM 2.1, exécuté dans le package Ultralytics, convertit chaque boîte en polygone enregistré au format de segmentation YOLO.

from pathlib import Path

from ultralytics.data.annotator import auto_annotate
from ultralytics.utils import ASSETS

# Detect objects in the bundled sample images, then turn each box into a SAM 2.1 polygon
auto_annotate(data=ASSETS, det_model="yolo26n.pt", sam_model="sam2.1_b.pt", output_dir="auto_labels")

# Read the annotation file written for the bus image
rows = Path("auto_labels/bus.txt").read_text().splitlines()
print(f"{len(rows)} objects annotated")
print(rows[0][:80])

Chaque ligne de bus.txt contient un index de classe COCO, suivi des paires de coordonnées x et y des sommets du polygone, normalisées entre 0 et 1, prêtes à être vérifiées et corrigées par un annotateur avant l’entraînement. Les détections inférieures au seuil de confiance par défaut de 0.25 ne reçoivent aucune annotation ; les objets manqués doivent donc encore être tracés à la main. Ultralytics Platform peut aussi annoter automatiquement les jeux de données de détection avec des modèles de langage et de vision et des détecteurs à vocabulaire ouvert qui n’ont besoin que des noms de classes. Les résultats du benchmark VLM indiquent la précision avec laquelle chacun étiquette des images du monde réel.

Annotation de données et notions apparentées#

• Étiquetage des données : Un synonyme, plus courant pour les étiquettes de classe attribuées à des éléments entiers, comme marquer un e-mail comme indésirable.
• Augmentation des données : Transforme ensemble les images annotées et leurs annotations, par exemple en inversant les coordonnées des boîtes lors d’un retournement horizontal, pour multiplier la diversité de la vérité terrain existante.
• Apprentissage semi-supervisé : Un modèle annote lui-même les données non étiquetées et s’entraîne sur ses propres prédictions confiantes, appelées pseudo-étiquettes, sans vérification humaine.
• Données synthétiques : Des images rendues ou générées dont les annotations proviennent du générateur, qui connaît la position et le contour exacts de chaque objet.