GPQA

GPQA steht für Fragebeantwortung auf Graduiertenniveau, die sich nicht einfach über Google lösen lässt. Der Benchmark bewertet, wie gut KI-Systeme schwierige wissenschaftliche Fragen beantworten. Dazu prüft er anhand von Multiple-Choice-Fragen, die von Fachleuten verfasst wurden, spezialisiertes Wissen und Schlussfolgerungsvermögen in Biologie, Chemie und Physik. Anschaulich gesagt fragt GPQA, ob ein System wissenschaftliches Verständnis anwenden kann – und nicht bloß vertraute Fakten erkennt oder einen passenden Satz abruft.

Für ein großes Sprachmodell, das Sprache verarbeitet und erzeugt, bietet GPQA eine gezielte Messung der Fähigkeit, anspruchsvolle wissenschaftliche Fragen zu beantworten. GPQA ist ein Bewertungsinstrument und weder eine Modellarchitektur noch eine Trainingsmethode oder ein Nachweis wissenschaftlicher Kompetenz.

So funktioniert GPQA#

Jede Frage bietet vier Antwortmöglichkeiten: eine richtige Antwort und drei Ablenkungsantworten, also plausible, aber falsche Alternativen. Zum Lösen kann es nötig sein, Annahmen zu interpretieren, mehrere Prinzipien miteinander zu verknüpfen oder Erklärungen auszuschließen, die zunächst plausibel erscheinen.

Eine Frage aus dem Bereich Chemie könnte zum Beispiel konkurrierende Reaktionswege beschreiben und danach fragen, welches Produkt unter bestimmten Bedingungen bevorzugt entsteht. Den Namen einer Reaktion zu kennen, reicht nicht unbedingt aus; das System muss die relevanten Bedingungen berücksichtigen. Das veranschaulicht den Fragetyp, ohne eine Benchmark-Frage wiederzugeben.

„Google-proof“ beschreibt das Designziel des Benchmarks: Die Fragen sollen auch mit Internetzugang für fachkundige Nichtfachleute anspruchsvoll bleiben. Das bedeutet nicht, dass Antworten online unmöglich zu finden sind oder dass die Websuche bei jeder Bewertung verboten ist. Ob Tools zugelassen sind, gehört zum Testprotokoll und muss angegeben werden.

GPQA Diamond und verwandte Konzepte#

Der GPQA-Hauptdatensatz umfasst 448 Fragen. GPQA Diamond ist eine stärker gefilterte Teilmenge mit 198 Fragen, bei der die Übereinstimmung von Fachleuten und der Schwierigkeitsgrad für Nichtfachleute besonders berücksichtigt werden. Die Dokumentation zur Bewertung mit GPQA Diamond beschreibt das Format mit vier Antwortmöglichkeiten und die wissenschaftlichen Themenbereiche. Diamond ist weder ein eigenständiges Modell noch ein universeller Intelligenztest, und die Ergebnisse sollten nicht mit denen des Hauptdatensatzes gleichgesetzt werden.

SuperGPQA ist eine eigenständige, umfassendere Bewertung auf Graduiertenniveau, die viele Fachgebiete abdeckt und nicht nur die drei wissenschaftlichen Themenbereiche von GPQA. Der ähnliche Name macht die Ergebnisse nicht direkt vergleichbar.

GPQA unterscheidet sich auch von Fragebeantwortung, der allgemeinen Aufgabe, Fragen zu beantworten. GPQA ist eine spezifische Bewertung dieser Fähigkeit. Anders als bei der visuellen Fragebeantwortung wird nicht geprüft, ob Bilder interpretiert werden können, um Fragen zu beantworten. Gute Ergebnisse bei wissenschaftlichen Texten belegen daher keine hohe Genauigkeit bei der visuellen Wahrnehmung.

Was ein GPQA-Ergebnis aussagt#

Die zentrale Kennzahl ist die Antwortgenauigkeit: der Anteil der richtig beantworteten Fragen. Bei vier Antwortmöglichkeiten liegt die erwartete Genauigkeit beim gleichverteilten Raten bei 25 %. Ein hypothetisches Ergebnis von 150 richtigen Antworten bei 198 Fragen entspricht ungefähr 75,8 %.

Der Prozentwert allein ist jedoch nicht aussagekräftig genug. Bei Vergleichen sollten die Teilmenge, die Modellversion, der Prompt, der Toolzugriff, das verfügbare Denkbudget und die Anzahl der Versuche angegeben werden. Eine Antwort pro Frage zu bewerten, ist ein anderes Testverfahren, als mehrere Antworten zu generieren und daraus eine auszuwählen.

Auch geringe Ergebnisunterschiede sollten mit Vorsicht betrachtet werden. Eine zusätzliche richtige Antwort bei Diamond verändert die Genauigkeit um etwa 0,5 Prozentpunkte. Binomiale Konfidenzintervalle können helfen, die Unsicherheit zu vermitteln, beseitigen jedoch weder Verzerrungen im Datensatz noch Unterschiede im Testprotokoll.

Richtige Antworten garantieren keine richtigen Erklärungen. Ein System kann die richtige Option auswählen und zugleich eine Halluzination erzeugen – eine plausibel klingende, aber unbelegte Erklärung. GPQA-Ergebnisse sollten daher anwendungsspezifische Tests ergänzen, nicht ersetzen.

Zwei praktische Anwendungsbeispiele#

Auswahl wissenschaftlicher Assistenten. Stell dir vor, ein Labor vergleicht Assistenten, die unerwartete Enzymaktivität erklären. GPQA kann einen ersten Hinweis auf die wissenschaftlichen Fähigkeiten liefern. Anschließend sollte das Team eigene experimentelle Szenarien testen und Fachleute die Erklärungen prüfen lassen. Wer Korrelation mit einem Mechanismus verwechselt, könnte trotz eines guten Benchmark-Ergebnisses Folgeexperimente in die falsche Richtung lenken.

Unterstützung bei der Mikroskopie. Stell dir ein System vor, das einen Zelldetektor mit einem Assistenten kombiniert, der Veränderungen der Zellzahlen erklärt. GPQA kann bei der Bewertung des wissenschaftlichen Schlussfolgerungsvermögens der Sprachkomponente helfen, sagt aber nichts darüber aus, ob der Detektor überlappende Zellen übersehen hat. Bewerte Erkennung und Interpretation getrennt und teste anschließend den vollständigen Arbeitsablauf. Dieser kontextspezifische Ansatz entspricht dem NIST-Rahmenwerk für das Risikomanagement von KI.

Praktische Hinweise zur Auswertung#

Sichere die Integrität der Bewertung durch getrennte Trainings-, Validierungs- und Testdatensätze. Vermeide Datenlecks, bei denen Informationen aus der Bewertung die Entwicklung beeinflussen und die scheinbare Leistung überhöhen. Auch die öffentliche Zugänglichkeit des Benchmarks kann die Interpretation erschweren.

Bei einer Anwendung, die Bildverarbeitung und Sprache kombiniert, solltest du die visuelle Komponente mit eigenen Kennzahlen bewerten. Nach der Installation von ultralytics mit pip install ultralytics bewertet dieser dokumentierte Ultralytics-YOLO-Validierungsablauf YOLO26:

from ultralytics import YOLO

if __name__ == "__main__":
    # Lade einen vortrainierten Objektdetektor.
    model = YOLO("yolo26n.pt")

    # Vergleiche die Vorhersagen mit annotierten Validierungsbildern.
    metrics = model.val(data="coco8.yaml")

    # Gib die Erkennungsleistung an, nicht das wissenschaftliche Schlussfolgerungsvermögen.
    print("mAP50-95:", metrics.box.map)

Das COCO8-Beispieldatenset veranschaulicht die API; es ist zu klein, um daraus Rückschlüsse auf den Einsatz im Produktivbetrieb zu ziehen. Die Ausgabe ist die mittlere durchschnittliche Präzision, die die Erkennung über verschiedene Schwellenwerte für die Überlappung von Begrenzungsrahmen hinweg bewertet – kein GPQA-Ergebnis. Entscheidend ist, jede Leistungsaussage an der tatsächlich gemessenen Fähigkeit auszurichten.