Benchmark Dataset

Ein Benchmark-Datensatz ist ein fester, öffentlich zugänglicher Datensatz mit vorgegebenen Aufteilungen und einer offiziellen Bewertungsmetrik. Die Forschungsgemeinschaft nutzt ihn, um Modelle zu vergleichen, die dieselbe Aufgabe unter denselben Bedingungen bearbeiten. Ergebnisse werden pro Metrik als einzelne Zahl angegeben, etwa als Top-1-Genauigkeit auf ImageNet oder als mAP_50-95 auf COCO val2017. Diese Zahlen lassen sich nur vergleichen, weil alle dieselben Bilder, Beschriftungen, Bewertungsprogramme und Regeln verwenden. Benchmarks dokumentieren Fortschritte im maschinellen Lernen (ML), beeinflussen, welche Methoden übernommen werden, und liefern die Kennzahlen, die in Papers und Model Cards hervorgehoben werden.

Was ein Benchmark festlegt#

Ein Benchmark legt alles fest, was zwei Ergebnisse unvergleichbar machen könnte:

• Daten und Aufteilungen: Die exakten Trainings-, Validierungs- und Testbilder, damit niemand eine einfachere Teilmenge auswerten kann.
• Aufgabe und Klassen: Was das Modell ausgeben muss, etwa eine von 1.000 Klassen oder eine Box und Klasse für jede von 80 Objektkategorien.
• Metrik und Bewertungsprogramm: Die offizielle Implementierung, etwa die COCO-Auswertung, die den Präzisionswert über zehn IoU-Schwellen von 0.50 bis 0.95 mittelt.
• Regeln: Was als gültige Einreichung gilt, etwa ob zusätzliche Trainingsdaten, Testzeit-Augmentierung oder Modell-Ensembles erlaubt sind.

Viele Benchmarks halten ihre Testbeschriftungen geheim, damit Teams ihre Modelle nicht auf dem Testsatz abstimmen. Teilnehmende trainieren mit den öffentlichen Aufteilungen, laden Vorhersagen für die Testbilder hoch und erhalten die Bewertung durch einen Auswertungsserver anhand der geheimen Beschriftungen. Anschließend erscheinen die Ergebnisse in einer Rangliste. Werden die Testbeschriftungen nie veröffentlicht, wie bei ImageNet, geben Papers stattdessen Ergebnisse auf der öffentlichen Validierungsaufteilung an.

Gängige Benchmark-Datensätze#

• Bildklassifizierung: ImageNet-1k, bewertet anhand der Top-1- und Top-5-Genauigkeit, sowie CIFAR-10 und CIFAR-100 für kleinere Experimente.
• Objekterkennung und Segmentierung: COCO umfasst 80 Kategorien und verwendet die mittlere durchschnittliche Präzision (mAP) als Hauptkennzahl. Pascal VOC umfasst 20 Kategorien, LVIS 1.203 Kategorien für die Erkennung seltener Klassen.
• Autonomes Fahren: KITTI und der Waymo Open Dataset mit Kamera- und LiDAR-Aufnahmen des realen Straßenverkehrs.
• Sprache und logisches Denken: Fragen aus den Naturwissenschaften auf Hochschulniveau in GPQA, Expertenfragen aus vielen Fachbereichen in Humanity's Last Exam und Programmieraufgaben in LiveCodeBench.

Ultralytics veröffentlicht die Erkennungsgenauigkeit von YOLO26 als mAP_50-95 eines einzelnen Modells mit einer einzigen Skalierung auf der 5.000 Bilder umfassenden COCO-Aufteilung val2017 bei 640 Pixeln: von 40,9 für YOLO26n bis 57,5 für YOLO26x. yolo detect val data=coco.yaml reproduziert diese Auswertung. Die Ultralytics-VLM-Bestenliste wendet denselben Ansatz auf Vision-Language-Modelle an und bewertet jedes anhand des mAP₅₀ auf realen Erkennungsdatensätzen aus Bereichen wie medizinischer Bildgebung, Luftaufnahmen und Verkaufsregalen.

Grenzen von Benchmarks#

• Überanpassung an den Benchmark: Wenn Modelle über Jahre hinweg anhand eines Testsatzes ausgewählt werden, kann sich ein ganzes Forschungsfeld auf die Eigenheiten dieses Satzes einstellen. ImageNetV2 untersuchte dies mit einem neuen Testsatz, der nach dem ursprünglichen Verfahren zusammengestellt wurde: Die Genauigkeit sank um 11 % bis 14 %, die Rangfolge der Modelle blieb jedoch bestehen. Die Autorinnen und Autoren führten den Rückgang auf etwas schwierigere Bilder zurück, nicht auf die wiederholte Verwendung des Testsatzes.
• Fehlerhafte Beschriftungen: Eine Untersuchung von 10 weit verbreiteten Testsätzen schätzte, dass mindestens 3,3 % ihrer Beschriftungen falsch sind. Auf ImageNet mit korrigierten Beschriftungen übertrifft ResNet-18 ResNet-50, sobald der Anteil der ursprünglich falsch beschrifteten Testbilder um nur 6 % steigt.
• Sättigung: Wenn die besten Modelle sich der durch Beschriftungsfehler gesetzten Obergrenze nähern, können Ergebnisunterschiede sie nicht mehr voneinander abheben, und anspruchsvollere Nachfolger übernehmen. Humanity's Last Exam stellte 2.500 Expertenfragen zusammen, nachdem große Sprachmodelle eine Genauigkeit von 90 % bei MMLU erreicht hatten.
• Kontamination: Gelangen Testaufgaben in Trainingsdaten aus dem Internet, steigen die Ergebnisse großer Sprachmodelle künstlich an. LiveCodeBench wirkt dem entgegen, indem laufend neue Wettbewerbsaufgaben samt Veröffentlichungsdatum hinzukommen. So kann jedes Modell anhand von Aufgaben bewertet werden, die nach dem Ende seines Trainings veröffentlicht wurden.
• Abweichung vom Einsatzbereich: Ein Benchmark misst eine bestimmte Datenverteilung. Ein auf COCO bestplatziertes Modell kann in einer Fabrik oder einem Krankenhaus dennoch kleine, ungewöhnliche oder bereichsspezifische Objekte übersehen. Deshalb behalten Teams auch einen Golden Dataset aus ihrem eigenen Anwendungsfall vor.

Benchmark-Datensatz und verwandte Begriffe#

• Testdaten: Zurückgehaltene Daten, mit denen ein fertiges Modell einmalig bewertet wird. Die Testaufteilung eines Benchmarks sind Testdaten, die ein ganzes Forschungsfeld gemeinsam nutzt. Der eigene Testsatz eines Teams misst hingegen die Leistung mit den Daten aus seinem Einsatzbereich.
• Validierungsdaten: Daten, die während der Entwicklung zum Einstellen von Hyperparametern und zur Auswahl von Modellprüfpunkten verwendet werden. Benchmarks stellen hierfür oft eine offizielle Validierungsaufteilung bereit.
• Leistungsmessung (Geschwindigkeit): Messung der Latenz, des Durchsatzes oder des Speicherbedarfs eines Modells auf bestimmter Hardware und in bestimmten Laufzeitumgebungen, etwa ONNX Runtime oder TensorRT. Üblicherweise wird nach jedem Export auch die Genauigkeit überprüft, um sicherzustellen, dass die Umwandlung das Modell nicht verschlechtert hat.