Benchmark Dataset

Un conjunto de datos de referencia es un conjunto de datos público y fijo, con particiones predefinidas y una métrica de evaluación oficial, que la comunidad investigadora utiliza para comparar modelos en una misma tarea y bajo las mismas condiciones. Los resultados se expresan con un número por métrica, como la precisión top-1 en ImageNet o mAP_50-95 en COCO val2017. Esos números solo se pueden comparar entre artículos porque todos utilizan las mismas imágenes, etiquetas, código de evaluación y reglas. Los conjuntos de referencia permiten seguir el progreso del aprendizaje automático (ML), determinan qué métodos se adoptan y proporcionan las cifras destacadas de los artículos y las fichas de modelos.

Qué define un conjunto de referencia#

Un conjunto de referencia fija todo lo que podría impedir comparar dos puntuaciones:

• Datos y particiones: Las imágenes exactas de entrenamiento, validación y prueba, para que nadie pueda evaluar el modelo con un subconjunto más sencillo.
• Tarea y conjunto de etiquetas: Lo que debe generar el modelo, como una de 1.000 clases o una caja y una clase para cada una de 80 categorías de objetos.
• Métrica y código de evaluación: La implementación oficial, como la evaluación COCO, que promedia la precisión en diez umbrales de IoU, desde 0.50 hasta 0.95.
• Reglas: Qué se considera una participación válida; por ejemplo, si se permiten datos de entrenamiento adicionales, aumentos durante la prueba o conjuntos de modelos.

Muchos conjuntos de referencia mantienen privadas las etiquetas de prueba para impedir que los equipos ajusten los modelos con el conjunto de prueba. Los participantes entrenan con las particiones públicas, suben las predicciones de las imágenes de prueba y un servidor de evaluación las puntúa con las etiquetas ocultas antes de publicar los resultados en una clasificación. Cuando las etiquetas de prueba nunca se publican, como ocurre con ImageNet, los artículos presentan los resultados de la partición pública de validación.

Conjuntos de datos de referencia habituales#

• Clasificación de imágenes: ImageNet-1k, que se puntúa con la precisión top-1 y top-5, y CIFAR-10 y CIFAR-100, para experimentos más pequeños.
• Detección de objetos y segmentación: COCO, con 80 categorías y la precisión media promedio (mAP) como métrica principal; Pascal VOC, con 20 categorías; y LVIS, con 1.203 categorías, para el reconocimiento de distribuciones de cola larga.
• Conducción autónoma: KITTI y el conjunto de datos abierto de Waymo, con grabaciones de tráfico real tomadas con cámaras y lidar.
• Lenguaje y razonamiento: Preguntas científicas de nivel universitario en GPQA, preguntas para expertos de muchos campos en el último examen de la humanidad y problemas de programación en LiveCodeBench.

Ultralytics publica la precisión de detección de YOLO26 como mAP_50-95 de un único modelo y una única escala, en la partición COCO val2017 de 5.000 imágenes a 640 píxeles: de 40,9 para YOLO26n a 57,5 para YOLO26x. yolo detect val data=coco.yaml reproduce esa evaluación. La clasificación de VLM de Ultralytics aplica el mismo enfoque a los modelos de lenguaje y visión y puntúa cada uno con mAP₅₀ en conjuntos de datos de detección del mundo real de ámbitos como la imagen médica, las fotografías aéreas y las estanterías de comercios.

Limitaciones de los conjuntos de referencia#

• Sobreajuste al conjunto de referencia: Elegir modelos durante años usando un mismo conjunto de prueba puede hacer que un campo se ajuste a las particularidades de ese conjunto. ImageNetV2 puso a prueba esta posibilidad recopilando un nuevo conjunto de prueba con el procedimiento original: la precisión cayó entre un 11 % y un 14 %, pero se mantuvo el orden de los modelos. Los autores atribuyeron la caída a imágenes ligeramente más difíciles, no a la reutilización del conjunto de prueba.
• Errores de etiquetado: Un estudio de 10 conjuntos de prueba muy utilizados estimó que al menos el 3,3 % de sus etiquetas son erróneas. En ImageNet con etiquetas corregidas, ResNet-18 supera a ResNet-50 cuando la proporción de imágenes de prueba mal etiquetadas originalmente aumenta tan solo un 6 %.
• Saturación: Cuando los mejores modelos se acercan al límite impuesto por el ruido de las etiquetas, las diferencias de puntuación dejan de distinguirlos y aparecen conjuntos sucesores más difíciles. El último examen de la humanidad recopiló 2.500 preguntas para expertos después de que los modelos de lenguaje grandes superaran el 90 % de precisión en MMLU.
• Contaminación: La filtración de elementos de prueba en los datos de entrenamiento a escala web infla las puntuaciones de los modelos de lenguaje grandes. LiveCodeBench lo contrarresta añadiendo continuamente nuevos problemas de concursos junto con sus fechas de publicación, para que cada modelo pueda evaluarse con problemas publicados después de su fecha límite de entrenamiento.
• Desajuste con el despliegue: Un conjunto de referencia mide una distribución de datos concreta. Un modelo que ocupa el primer puesto en COCO puede pasar por alto objetos pequeños, inusuales o específicos de un dominio en una fábrica o un hospital. Por eso, los equipos también conservan un conjunto de datos de referencia propio para su caso de uso.

Conjuntos de datos de referencia y términos relacionados#

• Datos de prueba: Datos reservados para medir una sola vez un modelo terminado. La partición de prueba de un conjunto de referencia es un conjunto de datos de prueba compartido por todo un campo, mientras que el conjunto de prueba propio de un equipo mide el rendimiento con sus datos de despliegue.
• Datos de validación: Datos utilizados durante el desarrollo para ajustar hiperparámetros y seleccionar puntos de control. Los conjuntos de referencia suelen incluir una partición oficial de validación para este fin.
• Evaluación comparativa (velocidad): Medición de la latencia, el rendimiento o el uso de memoria de un modelo en un hardware y unos entornos de ejecución determinados, como ONNX Runtime o TensorRT. Por lo general, se comprueba la precisión después de cada exportación para confirmar que la conversión no haya degradado el modelo.