Data Annotation

La anotación de datos es el proceso de añadir información de referencia a los datos sin procesar, como el nombre de una clase para una imagen, un cuadro o polígono alrededor de cada objeto, puntos clave en un cuerpo o una etiqueta en un segmento de texto, para que los modelos de aprendizaje supervisado puedan aprender de ellos. Es sinónimo de etiquetado de datos, y los equipos de visión artificial suelen hablar de anotación cuando se refieren a geometrías dibujadas, como cuadros y máscaras. Una anotación consta de dos partes: la geometría o etiqueta que dibuja una persona o un modelo, y el formato de archivo que la almacena para el entrenamiento.

Tipos de anotación según la tarea#

El resultado que debe producir un modelo determina qué dibujan los anotadores. El nivel de detalle requiere tiempo, así que los equipos eligen el tipo de anotación más sencillo que contenga la información que necesita el modelo.

• Cuadros delimitadores: Un cuadro y una clase por objeto para la detección de objetos. El formato YOLO escribe un archivo de texto por imagen con una fila class x_center y_center width height por objeto, normalizada entre 0 y 1 según el tamaño de la imagen. COCO JSON almacena [x_min, y_min, width, height] en píxeles, y Pascal VOC XML almacena las coordenadas en píxeles de dos esquinas.
• Polígonos y máscaras: Contornos para la segmentación de instancias, o una clase para cada píxel en la segmentación semántica. YOLO y COCO almacenan los polígonos como listas de vértices, y COCO también almacena máscaras mediante codificación de longitud de serie (RLE) para las regiones con multitudes.
• Etiquetas de clase: Una clase por imagen para la clasificación de imágenes, que a menudo se almacena con el nombre de la carpeta que contiene la imagen: la estructura de carpetas de los conjuntos de datos de clasificación al estilo ImageNet.
• Puntos clave: Una posición x, y y un indicador de visibilidad para cada punto de referencia en la estimación de pose. Las anotaciones de personas de COCO marcan 17 puntos clave, cada uno indicado como no etiquetado, etiquetado pero oculto o visible.
• Cuadros orientados: Cuatro puntos de esquina que encajan con objetos girados, como barcos y vehículos en imágenes aéreas, para la detección de cuadros delimitadores orientados.

La precisión de la anotación es más importante en los objetos pequeños. Desplazar 3 píxeles en horizontal y 3 en vertical una caja de 20 × 20 píxeles reduce su intersección sobre unión (IoU) con la caja original a 0.57, por lo que una predicción que coincide con el objeto real contaría como un fallo en 8 de los 10 umbrales IoU, del 0.60 al 0.95, promediados en la precisión media promedio (mAP) de COCO. Las directrices escritas que definen cada clase y resuelven casos límite, como cuánto ajustar la caja a objetos parcialmente ocultos, mantienen la coherencia de miles de anotaciones.

Anotación más allá de las imágenes#

• Vídeo: Cuadros o máscaras en cada fotograma, vinculados mediante ID de seguimiento que siguen cada objeto a lo largo del tiempo para el seguimiento de varios objetos.
• Lidar y 3D: Cuboides en nubes de puntos, cada uno con un centro, un tamaño y un ángulo de orientación, para la detección de objetos 3D en conducción y robótica.
• Texto: Segmentos marcados mediante desplazamientos de caracteres y un tipo de entidad para el reconocimiento de entidades nombradas (NER), o una etiqueta por documento para tareas como el análisis de sentimiento.
• Audio: Segmentos con marcas de tiempo y transcripciones o identidades de hablantes para el reconocimiento del habla.
• Preferencias de modelos: Los anotadores eligen la mejor de dos respuestas de un modelo, lo que genera los datos de comparación utilizados en el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF).

Anotación automática#

La anotación asistida por modelos parte de propuestas del modelo que las personas revisan y corrigen. Un detector propone cuadros para las clases que ya conoce, y un modelo de segmentación guiable por indicaciones, como Segment Anything de Meta, convierte un cuadro o un clic en una máscara, lo que evita trazar los polígonos vértice a vértice. La función auto_annotate del paquete Ultralytics encadena ambos pasos: un detector YOLO26 encuentra y clasifica los objetos, y SAM 2.1, que se ejecuta en el paquete Ultralytics, convierte cada cuadro en un polígono guardado en el formato de segmentación YOLO.

from pathlib import Path

from ultralytics.data.annotator import auto_annotate
from ultralytics.utils import ASSETS

# Detect objects in the bundled sample images, then turn each box into a SAM 2.1 polygon
auto_annotate(data=ASSETS, det_model="yolo26n.pt", sam_model="sam2.1_b.pt", output_dir="auto_labels")

# Read the annotation file written for the bus image
rows = Path("auto_labels/bus.txt").read_text().splitlines()
print(f"{len(rows)} objects annotated")
print(rows[0][:80])

Cada fila de bus.txt contiene un índice de clase COCO seguido de los pares de coordenadas x e y de los vértices del polígono, normalizados entre 0 y 1, listos para que un anotador los revise y corrija antes del entrenamiento. No se anota ninguna detección por debajo del umbral de confianza predeterminado de 0,25, así que los objetos que falten aún deben dibujarse a mano. Ultralytics Platform también puede anotar automáticamente conjuntos de datos de detección con modelos de lenguaje y visión y detectores de vocabulario abierto que solo necesitan los nombres de las clases. Los resultados del benchmark de VLM muestran la precisión con la que cada uno etiqueta imágenes del mundo real.

Anotación de datos y términos relacionados#

• Etiquetado de datos: Sinónimo, más habitual para etiquetas de clase aplicadas a elementos completos, como marcar un correo electrónico como correo no deseado.
• Aumento de datos: Transforma conjuntamente las imágenes anotadas y sus anotaciones, por ejemplo, reflejando las coordenadas de los cuadros al voltear horizontalmente, para multiplicar la variedad de los datos de referencia existentes.
• Aprendizaje semisupervisado: Un modelo anota por sí mismo datos sin etiquetar y entrena con sus propias predicciones de confianza alta, llamadas pseud etiquetas, sin revisión humana.
• Datos sintéticos: Imágenes renderizadas o generadas cuyas anotaciones proceden del generador, que conoce la posición y el contorno exactos de cada objeto.