Golden Dataset

Un conjunto de datos de referencia (golden dataset) es una colección de ejemplos cuidadosamente seleccionada, etiquetada con precisión y representativa que se utiliza como referencia de confianza para evaluar un sistema de inteligencia artificial. En lugar de maximizar el tamaño, prioriza la corrección, la cobertura y la relevancia para la aplicación prevista. Los equipos lo utilizan como una «clave de respuestas» estable para comparar modelos, comprobar regresiones, investigar fallos y decidir si un sistema está listo para su despliegue.

En el aprendizaje automático, «golden dataset» es un término de ingeniería informal más que un tipo de conjunto de datos estandarizado universalmente. Su contenido exacto depende de la tarea: imágenes con cuadros delimitadores verificados para la detección de objetos, consultas con respuestas aprobadas para un modelo de lenguaje o transacciones con resultados confirmados para la detección de fraudes.

Qué hace que un conjunto de datos sea de referencia#

Un conjunto de datos de referencia contiene entradas además de salidas esperadas de confianza, a menudo denominadas verdad de terreno (ground truth). En la visión por ordenador, estas salidas pueden ser etiquetas de clase, cuadros delimitadores, máscaras de segmentación o puntos clave producidos mediante una anotación de datos rigurosa.

Sus cualidades principales son:

• Precisión de las etiquetas: Expertos en la materia o revisores formados verifican las anotaciones utilizando directrices claras. Los ejemplos ambiguos se resuelven de forma coherente en lugar de dejarlos a la interpretación individual.
• Cobertura representativa: El conjunto de datos refleja condiciones de producción importantes, incluidos casos comunes, ejemplos difíciles, eventos raros y grupos de usuarios o ambientales relevantes.
• Alineación con la tarea: Cada ejemplo ayuda a medir un requisito definido, como la detección de paquetes dañados bajo la iluminación de un almacén.
• Independencia: Los ejemplos se separan de los datos de entrenamiento para evitar la fuga de datos (data leakage), lo que puede hacer que el rendimiento informado parezca engañosamente alto.
• Trazabilidad: Los equipos registran las fuentes de datos, las condiciones de recopilación, las reglas de anotación, los revisores y los cambios. El seguimiento de conjuntos de datos de MLflow ilustra cómo los hashes, los esquemas, las fuentes y el linaje de los conjuntos de datos pueden respaldar la reproducibilidad.
• Cambio controlado: Las actualizaciones se versionan y se revisan. La puntuación de un modelo solo es significativa cuando se conocen la versión exacta del conjunto de datos y la configuración de evaluación.

Que sea un conjunto de referencia no significa que sea perfecto o permanentemente correcto. Las condiciones y definiciones del mundo real pueden cambiar, por lo que el conjunto de referencia debe auditarse y actualizarse sin reescribir silenciosamente los resultados históricos.

Conjunto de datos de referencia frente a términos relacionados#

Un conjunto de datos de referencia se solapa con varios conceptos familiares, pero enfatiza la confianza y la gobernanza:

• Una etiqueta de verdad de terreno (ground-truth) es la respuesta aceptada para un solo ejemplo; un conjunto de datos de referencia es una colección de ejemplos revisados y sus respuestas aceptadas.
• Un conjunto de datos de referencia (benchmark) suele compartirse para comparar sistemas en una tarea común. Un conjunto de datos de referencia suele ser privado y estar adaptado a una sola organización, producto o entorno de despliegue.
• Los datos de validación guían la selección y el ajuste del modelo durante el desarrollo. Las decisiones repetidas basadas en ellos pueden sobreajustar gradualmente el proceso de desarrollo.
• Los datos de prueba se reservan para la evaluación final. Un conjunto de datos de referencia suele actuar como un conjunto de pruebas o de regresión de gran calidad, aunque también puede contener porciones separadas para el desarrollo y las pruebas finales.
• Los datos de entrenamiento enseñan los parámetros del modelo y suelen ser mucho más grandes. Un conjunto de datos de referencia debe mantenerse fuera del entrenamiento a menos que una copia versionada se retire deliberadamente de la evaluación.

La directriz de Google sobre la división de conjuntos de datos recomienda mantener distintos los ejemplos de entrenamiento, validación y prueba. Cuando los datos son escasos, las técnicas de validación cruzada pueden mejorar la estimación, pero sigue siendo valioso un conjunto de referencia final protegido.

Aplicaciones en el mundo real#

Inspección de defectos de fabricación: Una fábrica puede crear un conjunto de datos de referencia de imágenes revisadas que muestran productos aceptables y defectos confirmados como grietas, componentes faltantes o un montaje incorrecto. Incluye múltiples líneas de producción, posiciones de cámara, materiales y condiciones de iluminación. Cada modelo candidato se evalúa en el mismo conjunto antes de su lanzamiento. Si la recuperación (recall) desciende en el caso de las grietas pequeñas, el equipo puede bloquear el despliegue incluso cuando la métrica general parezca aceptable.

Monitoreo de estantes en tiendas: Un minorista puede mantener imágenes de tiendas verificadas que contienen estantes abarrotados, espacios vacíos, productos parcialmente ocultos, envases de temporada y reflejos. Este conjunto de datos mide si un sistema de visión detecta de forma fiable los productos y la falta de existencias en distintos entornos de tienda. La revisión del rendimiento por escenario o categoría de producto sigue la práctica más general de encontrar cohortes con altas tasas de error descrita en la guía de IA responsable de Microsoft.

These applications show why overall accuracy alone is insufficient. The golden dataset should support slice-based evaluation for rare classes, locations, devices, or conditions where errors carry different consequences. The NIST AI Risk Management Framework Core similarly emphasizes documented test sets, suitable metrics, and evaluation under deployment-like conditions.

Creación y mantenimiento de un conjunto de datos de referencia#

Empieza por definir el comportamiento previsto del modelo y los modos de fallo importantes. Recopila ejemplos representativos, escribe instrucciones de anotación precisas, ejecuta la calibración de los revisores y resuelve los desacuerdos con expertos en la materia. Mantén los duplicados cercanos y los fotogramas de vídeo relacionados en la misma división para que el contenido visualmente similar no pueda cruzar la frontera entre entrenamiento y evaluación.

Para proyectos de visión, Ultralytics Platform admite la gestión de conjuntos de datos en la nube, anotación, entrenamiento y despliegue. Su flujo de trabajo de anotación permite a los equipos crear y perfeccionar etiquetas, mientras que las vistas de conjuntos de datos ayudan a inspeccionar las distribuciones de clases, las imágenes sin anotar, las divisiones, los duplicados y los valores atípicos.

Versiona cada lanzamiento aprobado y documenta las adiciones, eliminaciones, correcciones de etiquetas y cambios en las directrices. La guía del NIST sobre pruebas, evaluación, validación y verificación de IA proporciona un marco más amplio para una evaluación significativa. Tras el despliegue, compara los datos entrantes con la referencia y supervisa los cambios en las condiciones; la guía de supervisión de modelos de Azure explica cómo las señales de deriva (drift) y de calidad de datos pueden revelar cuándo un conjunto de referencia necesita revisión.

Evaluación de un modelo de visión#

Ultralytics YOLO puede evaluar predicciones frente a etiquetas revisadas utilizando el modo de validación (Validation mode):

from ultralytics import YOLO

# Load a pretrained object detection model
model = YOLO("yolo26n.pt")

# Evaluate predictions against a labeled reference split
metrics = model.val(data="coco8.yaml", split="val")

# Report the primary detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Este flujo de trabajo demuestra el papel del lado del modelo de un conjunto de datos de referencia: ejecuta un modelo fijo frente a una división etiquetada fija y registra una métrica reproducible. En los proyectos de producción, los equipos también deben inspeccionar los resultados por clase, las matrices de confusión, los ejemplos difíciles y los umbrales de aceptación específicos de la aplicación antes de aprobar un lanzamiento.