Benchmark Dataset

Um conjunto de dados de benchmark é um conjunto de dados público e fixo, com divisões predefinidas e uma métrica oficial de avaliação, que a comunidade de pesquisa usa para comparar modelos na mesma tarefa e sob as mesmas condições. Os resultados são apresentados como um número por métrica, como a precisão top-1 no ImageNet ou mAP_50-95 no COCO val2017; esses números só são comparáveis entre artigos porque todos usam as mesmas imagens, rótulos, código de avaliação e regras. Os benchmarks acompanham o progresso do aprendizado de máquina (ML), determinam quais métodos são adotados e fornecem os principais resultados em artigos e cartões de modelo.

O que um benchmark define#

Um benchmark fixa todos os fatores que poderiam tornar duas pontuações incomparáveis:

• Dados e divisões: As imagens exatas de treinamento, validação e teste, para que ninguém possa avaliar usando um subconjunto mais fácil.
• Tarefa e conjunto de rótulos: O que o modelo deve produzir, como uma entre 1,000 classes ou uma caixa e uma classe para cada uma das 80 categorias de objetos.
• Métrica e código de avaliação: A implementação oficial, como a avaliação do COCO, que calcula a média da precisão em dez limiares de IoU, de 0.50 a 0.95.
• Regras: O que é considerado uma submissão válida, como permitir ou não dados de treinamento adicionais, aumento de dados no teste ou conjuntos de modelos.

Muitos benchmarks mantêm privados os rótulos de teste para impedir que as equipes ajustem os modelos com base no conjunto de teste. Os participantes treinam nos subconjuntos públicos, enviam previsões para as imagens de teste e um servidor de avaliação as compara com os rótulos ocultos antes de publicar os resultados em um placar. Quando os rótulos de teste nunca são divulgados, como no ImageNet, os artigos apresentam os resultados no subconjunto público de validação.

Conjuntos de dados de benchmark comuns#

• Classificação de imagens: ImageNet-1k, avaliado pela precisão top-1 e top-5, e CIFAR-10 e CIFAR-100 para experimentos menores.
• Detecção de objetos e segmentação: o COCO, com 80 categorias e a precisão média média (mAP) como principal métrica; o Pascal VOC, com 20 categorias; e o LVIS, com 1.203 categorias, para reconhecimento de classes de cauda longa.
• Condução autônoma: KITTI e o Waymo Open Dataset, com gravações de câmeras e lidar do trânsito real.
• Linguagem e raciocínio: Questões de ciências de nível universitário em GPQA, questões de especialistas de diversas áreas em Humanity's Last Exam e problemas de programação em LiveCodeBench.

A Ultralytics publica a precisão de detecção do YOLO26 como mAP_50-95 de modelo único e escala única na divisão val2017 do COCO, com 5.000 imagens a 640 pixels: de 40,9 para o YOLO26n a 57,5 para o YOLO26x; yolo detect val data=coco.yaml reproduz essa avaliação. O Leaderboard de VLMs da Ultralytics aplica a mesma abordagem a modelos de linguagem visual, pontuando cada um por mAP₅₀ em conjuntos de dados de detecção do mundo real de áreas como imagens médicas, fotos aéreas e prateleiras de varejo.

Limitações dos benchmarks#

• Sobreajuste ao benchmark: Anos de seleção de modelos em um único conjunto de teste podem ajustar uma área às particularidades desse conjunto. O ImageNetV2 testou isso coletando um novo conjunto de teste com o procedimento original: a precisão caiu de 11% a 14%, mas a classificação relativa dos modelos se manteve; os autores atribuíram a queda a imagens um pouco mais difíceis, não à reutilização do conjunto de teste.
• Erros de rotulagem: Um estudo de 10 conjuntos de teste amplamente usados estimou que pelo menos 3.3% dos rótulos estão incorretos. No ImageNet com rótulos corrigidos, a ResNet-18 supera a ResNet-50 quando a proporção de imagens de teste rotuladas incorretamente no original aumenta apenas 6%.
• Saturação: Quando os melhores modelos se aproximam do limite imposto pelo ruído nos rótulos, as diferenças de pontuação deixam de distingui-los, e benchmarks mais difíceis os substituem. O Humanity's Last Exam reuniu 2,500 questões de especialistas depois que os modelos de linguagem grandes atingiram 90% de precisão no MMLU.
• Contaminação: Itens de teste que vazam para dados de treinamento em escala da web elevam as pontuações dos modelos de linguagem grandes. O LiveCodeBench combate isso adicionando continuamente novos problemas de competições com suas datas de publicação, para que cada modelo possa ser avaliado com problemas publicados após o fim do seu treinamento.
• Incompatibilidade com a implantação: Um benchmark mede uma distribuição de dados específica. Um modelo que lidera no COCO ainda pode deixar passar objetos pequenos, incomuns ou específicos de um domínio em uma fábrica ou hospital, por isso as equipes também mantêm um conjunto de dados de referência para seu próprio caso de uso.

Conjunto de dados de benchmark vs. termos relacionados#

• Dados de teste: Dados reservados para medir um modelo finalizado uma única vez. O subconjunto de teste de um benchmark é compartilhado por toda uma área, enquanto o conjunto de teste de uma equipe mede o desempenho nos dados de implantação dessa equipe.
• Dados de validação: Dados usados durante o desenvolvimento para ajustar hiperparâmetros e selecionar pontos de verificação. Os benchmarks costumam fornecer um subconjunto oficial de validação para esse fim.
• Benchmark de desempenho (velocidade): Medição da latência, do throughput ou do uso de memória de um modelo em determinados hardwares e ambientes de execução, como ONNX Runtime ou TensorRT, geralmente com uma verificação de precisão após cada exportação para confirmar que a conversão não degradou o modelo.