Golden Dataset
Ein Golden Dataset ist ein kleiner, von Fachleuten geprüfter und versionierter Lösungsschlüssel zur Bewertung von KI-Systemen. Was ein Dataset zu einem Golden Dataset macht und wie Teams eines erstellen und verwenden.
Ein Golden-Datensatz, auch Golden Set oder Goldstandard-Datensatz genannt, ist eine sorgfältig zusammengestellte, von Fachleuten geprüfte und versionierte Sammlung von Eingaben mit verlässlichen erwarteten Ausgaben. Er dient als feste Referenz für die Bewertung eines KI-Systems. Dabei zählen Korrektheit und Abdeckung mehr als der Umfang. Teams verwenden ihn als stabile Musterlösung, um Modelle zu vergleichen, Regressionen zu erkennen und zu entscheiden, ob ein System für die Veröffentlichung bereit ist. Der Begriff gehört zur informellen technischen Terminologie und bezeichnet keinen standardisierten Datensatztyp; der Inhalt hängt von der Aufgabe ab: Bilder mit geprüften Begrenzungsrahmen für die Objekterkennung, Prompts mit genehmigten Antworten oder Bewertungsrastern für ein großes Sprachmodell (LLM) oder Transaktionen mit bestätigten Ergebnissen für die Betrugserkennung.
Was einen Datensatz zum Referenzdatensatz macht#
Ein Golden-Datensatz verknüpft jede Eingabe mit einer verlässlichen erwarteten Ausgabe, oft Ground Truth genannt, die durch sorgfältige Datenannotation erstellt wurde. Zu seinen wesentlichen Merkmalen gehören:
- Überprüfte Labels: Jedes Beispiel wird gemäß schriftlichen Richtlinien von mehreren geschulten Annotatoren beschriftet. Eine Fachexpertin oder ein Fachexperte klärt Meinungsverschiedenheiten, und die Übereinstimmung zwischen Annotatoren wird anhand von Statistiken wie Cohens Kappa gemessen, um zu zeigen, dass die Richtlinien eindeutig sind.
- Gezielte Abdeckung: Die Beispiele decken häufige Fälle, bekannte schwierige Fälle, seltene Ereignisse und alle relevanten Teilmengen ab, etwa jede Kamera, jeden Standort, jede Lichtbedingung oder jede Nutzergruppe, statt zufällig ausgewählt zu werden.
- Unabhängigkeit: Kein Beispiel, kein nahezu identisches Beispiel und kein benachbarter Videoframe darf in den Trainingsdaten vorkommen, da jede Überschneidung zu Daten-Leakage führt und die Bewertungen künstlich erhöht.
- Versionskontrolle: Der Satz wird in nummerierten Versionen eingefroren, jede Änderung wird geprüft und dokumentiert, und bei jeder veröffentlichten Bewertung wird die verwendete Version angegeben. So bleiben die Ergebnisse im Zeitverlauf vergleichbar.
Golden-Datensatz im Vergleich zu verwandten Begriffen#
- Ground Truth: Die anerkannte Antwort für ein einzelnes Beispiel. Ein Golden-Datensatz ist eine kuratierte Sammlung von Beispielen samt ihrer Ground Truth.
- Benchmark-Datensatz: Ein öffentlicher Datensatz, den viele Teams nutzen können, um Methoden anhand einer gemeinsamen Aufgabe zu vergleichen. Ein Golden-Datensatz ist normalerweise privat und auf ein einzelnes Produkt und dessen Einsatzumgebung zugeschnitten.
- Validierungsdaten: Daten, die während der Entwicklung zum Einstellen von Hyperparametern und Auswählen von Prüfpunkten verwendet werden. Wiederholte Entscheidungen auf dieser Grundlage führen dazu, dass der Entwicklungsprozess zunehmend darauf überangepasst wird. Deshalb greift man seltener auf den Golden-Datensatz zurück und ändert ihn vorsichtiger.
- Testdaten: Für die abschließende Bewertung zurückgehaltene Daten. Ein Golden-Datensatz ist ein Testsatz, der zu einer dauerhaft verwalteten Referenz erhoben wurde und häufig über viele Modellversionen hinweg als Regressionstestsuite wiederverwendet wird.
Einsatzbereiche für Golden-Datensätze#
- Freigabekriterien für Bildverarbeitungsmodelle: Ein Werk sammelt geprüfte Bilder einwandfreier Teile und bestätigter Fehler wie Risse, fehlende Komponenten und fehlerhafte Montage für jede Produktionslinie und Kamera. Jedes Kandidatenmodell für die Fehlererkennung wird anhand desselben Satzes bewertet. Ein Rückgang des Recalls bei kleinen Rissen verhindert die Freigabe selbst dann, wenn sich die gesamte mittlere durchschnittliche Präzision (mAP) verbessert.
- Qualitätskontrolle der Annotation: Label-Teams mischen Goldfragen, deren Antworten bereits bekannt sind, in die Warteschlangen der annotierenden Personen, um die Genauigkeit jeder Person zu messen, ohne dass diese weiß, welche Elemente Tests sind.
- Bewertung von LLMs und Agenten: Teams pflegen Golden-Datensätze mit Prompts und Referenzantworten oder Bewertungsrastern. Sie bewerten damit jeden Prompt, jedes Modell und jede Änderung am Abruf anhand von exakter Übereinstimmung, menschlichen Prüfern oder einem LLM-Richter – als Teil von LLMOps und der Agentenbewertung.
Einen Golden-Datensatz erstellen und pflegen#
Halte zunächst das beabsichtigte Verhalten des Systems und seine kostspieligsten Fehlermodi schriftlich fest. Sammle dann Beispiele, die diese Fälle abdecken, und schichte sie nach den relevanten Teilgruppen. Verfasse präzise Annotationsrichtlinien, stimme die Annotatoren anhand einer Pilotmenge ab, lasse alles doppelt beschriften und überlasse die Klärung von Meinungsverschiedenheiten Fachleuten. Belasse nahezu identische Bilder und Frames desselben Videos auf derselben Seite der Grenze zwischen Training und Auswertung. Hochwertige Datensätze kosten pro Beispiel mehr. Deshalb sind Golden Sets üblicherweise viel kleiner als Trainingsdatensätze.
Auch ein Golden Set verändert sich im Laufe der Zeit. Fehler in der Produktion machen Fälle sichtbar, die darin fehlen, und Datenverschiebungen machen ältere Beispiele weniger repräsentativ. Daher enthalten neue Versionen zusätzliche geprüfte Beispiele, während frühere Versionen zum Vergleich eingefroren bleiben:
Bildverarbeitungsmodelle anhand eines Golden-Datensatzes bewerten#
In der Ultralytics Platform speichert der Tab Versions eines Datensatzes unveränderliche Snapshots und vergleicht beliebige zwei Versionen Bild für Bild. Das eignet sich für ein Golden Set, das sich nur durch überprüfte Releases ändern darf. Im Validierungsmodus wird dann jeder YOLO26-Checkpoint anhand eines festen Splits mit festen Einstellungen bewertet. Eine Freigabeprüfung besteht damit nur noch aus dem Vergleich eines Kandidaten mit dem genehmigten Modell auf denselben Daten:
from ultralytics import YOLO
golden = "coco8.yaml" # stands in for the YAML of a frozen golden dataset version
# Score the approved model and a candidate (normally a newly trained checkpoint) on the same split
baseline = YOLO("yolo26n.pt").val(data=golden, split="val")
candidate = YOLO("yolo26s.pt").val(data=golden, split="val")
# Block the release if the candidate scores lower than the approved model on the golden set
change = candidate.box.map - baseline.box.map
print(f"mAP50-95 change on the golden set: {change:+.3f} -> {'PASS' if change >= 0 else 'BLOCK'}")Da beide Modelle dieselben Bilder, Labels und Einstellungen verwenden, spiegeln die ausgegebenen Änderungen allein die Modelle wider. Bei Freigabekriterien kommen üblicherweise Schwellenwerte je Klasse und Teilmenge zur Gesamtbewertung hinzu. Solche Prüfungen erkennen etwa eine Verschlechterung bei kleinen Rissen, die von einer besseren Gesamtbewertung der mAP verdeckt wird, und können bei jedem neuen Prüfpunkt automatisch in der kontinuierlichen Integration (CI) ausgeführt werden.










