Benchmark Dataset

Un dataset di benchmark è un dataset pubblico e fisso, con suddivisioni predefinite e una metrica di valutazione ufficiale, che la comunità di ricerca usa per confrontare i modelli sullo stesso compito e alle stesse condizioni. I risultati vengono riportati con un numero per metrica, come l’accuratezza top-1 su ImageNet o mAP_50-95 su COCO val2017; i valori sono confrontabili tra articoli solo perché tutti usano le stesse immagini, etichette, procedure di valutazione e regole. I benchmark monitorano i progressi nel machine learning (ML), determinano quali metodi vengono adottati e forniscono i risultati di riferimento degli articoli e delle schede dei modelli.

Cosa definisce un benchmark#

Un benchmark fissa ogni elemento che potrebbe rendere non confrontabili due punteggi:

• Dati e suddivisioni: le immagini esatte di addestramento, validazione e test, così nessuno può valutare il modello su un sottoinsieme più facile.
• Compito e insieme di etichette: l’output richiesto al modello, per esempio una tra 1,000 classi oppure un riquadro e una classe per ognuna delle 80 categorie di oggetti.
• Metrica e codice di valutazione: l’implementazione ufficiale, come la valutazione COCO, che calcola la precisione media su dieci soglie IoU comprese tra 0.50 e 0.95.
• Regole: i requisiti per un risultato valido, per esempio se sono ammessi dati di addestramento aggiuntivi, l’aumento dei dati in fase di test o gli ensemble di modelli.

Molti benchmark mantengono private le etichette del test per impedire ai team di ottimizzare i modelli sul set di test. I partecipanti addestrano i modelli sulle suddivisioni pubbliche, caricano le predizioni per le immagini di test e un server di valutazione le confronta con le etichette nascoste prima di pubblicare i risultati in una classifica. Quando le etichette del test non vengono mai rese pubbliche, come nel caso di ImageNet, gli articoli riportano invece i risultati sulla suddivisione pubblica di validazione.

Dataset di benchmark comuni#

• Classificazione delle immagini: ImageNet-1k, valutato con l’accuratezza top-1 e top-5, e CIFAR-10 e CIFAR-100 per gli esperimenti più piccoli.
• Rilevamento degli oggetti e segmentazione: COCO, con 80 categorie e la precisione media (mAP) come metrica principale; Pascal VOC, con 20 categorie; e LVIS, con 1.203 categorie, per il riconoscimento a coda lunga.
• Guida autonoma: KITTI e il Waymo Open Dataset, con registrazioni del traffico reale effettuate da telecamere e lidar.
• Linguaggio e ragionamento: domande scientifiche di livello universitario in GPQA, domande specialistiche in numerosi ambiti in Humanity's Last Exam e problemi di programmazione in LiveCodeBench.

Ultralytics pubblica la precisione di rilevamento di YOLO26 come mAP_50-95 a modello singolo e scala singola, sulla suddivisione val2017 di COCO composta da 5.000 immagini a 640 pixel: da 40,9 per YOLO26n a 57,5 per YOLO26x. Il comando yolo detect val data=coco.yaml riproduce questa valutazione. La classifica VLM di Ultralytics applica lo stesso approccio ai modelli visione-linguaggio e assegna a ciascuno un punteggio mAP₅₀ su dataset di rilevamento del mondo reale in ambiti come l'imaging medico, le immagini aeree e gli scaffali dei negozi.

Limiti dei benchmark#

• Overfitting al benchmark: anni di selezione dei modelli su un unico set di test possono adattare un intero settore alle particolarità di quel set. ImageNetV2 ha verificato questo fenomeno raccogliendo un nuovo set di test con la procedura originale: l’accuratezza è diminuita dall’11% al 14%, ma le classifiche dei modelli sono rimaste invariate; gli autori hanno attribuito il calo a immagini leggermente più difficili, non al riutilizzo del set di test.
• Errori nelle etichette: uno studio su 10 set di test ampiamente utilizzati ha stimato che almeno il 3.3% delle loro etichette è errato. Su ImageNet con etichette corrette, ResNet-18 supera ResNet-50 quando la percentuale di immagini di test etichettate erroneamente in origine aumenta appena del 6%.
• Saturazione: quando i migliori modelli si avvicinano al limite imposto dal rumore delle etichette, le differenze di punteggio smettono di distinguerli e subentrano benchmark successivi più difficili. Humanity's Last Exam ha raccolto 2,500 domande specialistiche dopo che i modelli linguistici di grandi dimensioni hanno superato il 90% di accuratezza su MMLU.
• Contaminazione: gli elementi di test che finiscono nei dati di addestramento su scala web gonfiano i punteggi dei modelli linguistici di grandi dimensioni. LiveCodeBench contrasta questo fenomeno aggiungendo continuamente nuovi problemi di programmazione competitiva con le rispettive date di pubblicazione, così ogni modello può essere valutato su problemi pubblicati dopo il termine del suo addestramento.
• Disallineamento con la distribuzione in produzione: un benchmark misura una sola distribuzione di dati. Un modello che occupa il primo posto su COCO può comunque non rilevare oggetti piccoli, insoliti o specifici del dominio in una fabbrica o in un ospedale; per questo i team conservano anche un dataset di riferimento relativo al proprio caso d’uso.

Dataset di benchmark e termini correlati#

• Dati di test: dati tenuti da parte per misurare una sola volta un modello completato. La suddivisione di test di un benchmark è condivisa da un intero settore, mentre il set di test di un team misura le prestazioni sui dati del proprio ambiente di distribuzione.
• Dati di validazione: dati usati durante lo sviluppo per regolare gli iperparametri e selezionare i checkpoint. Spesso i benchmark forniscono una suddivisione ufficiale di validazione proprio a questo scopo.
• Benchmark delle prestazioni: misurazione della latenza, della velocità di elaborazione o dell’uso di memoria di un modello su hardware e runtime specifici, come ONNX Runtime o TensorRT, di solito con un controllo dell’accuratezza dopo ogni esportazione per verificare che la conversione non abbia degradato il modello.