YOLO lizenzieren
Zurück zum Ultralytics-Glossar

GPQA

GPQA ist ein wissenschaftlicher Benchmark auf Hochschulniveau, bei dem promovierte Fachleute 65 % und Laien mit Websuche 34 % der Fragen richtig beantworten. Das Diamond-Set und die Interpretation der Ergebnisse.

GPQA, kurz für Graduate-Level Google-Proof Q&A, ist ein Benchmark mit 448 Multiple-Choice-Fragen aus Biologie, Chemie und Physik. Fachleute haben die Fragen so formuliert, dass Spezialisten sie beantworten können, fachkundige Nicht-Experten jedoch nicht – selbst mit uneingeschränktem Webzugriff. David Rein und Kollegen von der New York University, Cohere und Anthropic veröffentlichten den Benchmark im November 2023 in der Arbeit GPQA: Ein Google-sicherer Frage-Antwort-Benchmark für Hochschulabsolventen, um wissenschaftliches Schlussfolgern in Large Language Models (LLMs) zu messen. Die anspruchsvollere Diamond-Teilmenge mit 198 Fragen gehört mittlerweile zu den am häufigsten genannten Ergebnissen bei Modellankündigungen, von OpenAIs GPT-5 bis zu Anthropics Claude-4-Modellen.

Der Benchmark wurde auch für die Forschung zu skalierbarer Aufsicht entwickelt, einem Teilbereich der KI-Sicherheit und der Superausrichtung: Wenn KI-Systeme irgendwann Fragen beantworten, deren Antworten menschliche Aufsichtspersonen nicht überprüfen können, braucht man Möglichkeiten, diese Antworten zu verifizieren. GPQA stellt Fragen bereit, bei denen diese Kluft zwischen Fachleuten und Nicht-Experten bereits besteht.

Wie die Fragen verfasst und geprüft wurden#

Die Autoren beauftragten über Upwork 61 Auftragnehmende, die alle promoviert waren oder auf eine Promotion hinarbeiteten. Eine Person formulierte eine Frage mit einer richtigen Antwort und drei plausiblen Ablenkungsantworten. Eine zweite Fachperson desselben Gebiets beantwortete die Frage und gab Feedback. Danach überarbeitete die erste Person die Frage, und eine dritte Fachperson beantwortete die neue Fassung. Anschließend versuchten drei Personen mit Promotion, die jedoch andere Fachgebiete hatten, jede Frage mit uneingeschränktem Internetzugang und ohne KI-Assistenten zu beantworten. Im Durchschnitt brauchten sie 37 Minuten. Die Verfassenden erhielten Prämien, wenn die Fachleute richtig und die Nicht-Experten falsch antworteten. Dadurch wurden Fragen belohnt, die objektiv beantwortbar, aber schwer nachzuschlagen sind.

Das zusammen mit der Arbeit veröffentlichte Beispiel aus der organischen Chemie lässt Methylcyclopentadien mit Methylisoamylketon zu Fulvenderivaten reagieren, die anschließend mit Ethylacrylat reagieren. Gefragt wird, wie viele chemisch unterschiedliche Isomere das Endprodukt bilden. Die Antwort erfordert eine schrittweise Analyse der Reaktionen – genau die Art von mehrstufigem Problem, auf die Chain-of-Thought-Prompting und Reasoning-Modelle abzielen.

Dieses Verfahren lieferte die maßgeblichen Ausgangswerte des Benchmarks. Fachleute beantworteten 65 % der Fragen aus ihrem eigenen Fachgebiet richtig; wenn sie im Nachhinein erkannte Fehler nicht berücksichtigt werden, steigt der Wert auf 74 %. Nicht-Experten erreichten nur 34 % und lagen damit neun Prozentpunkte über den 25 %, die bei zufälligem Raten zu erwarten wären. Das bedeutet „Google-sicher“ in der Praxis. Bei der Veröffentlichung erzielte der stärkste GPT-4-Ausgangswert mit Few-Shot-Chain-of-Thought-Prompting etwa 39 %.

Extended-, Main- und Diamond-Teilmengen#

GPQA umfasst drei ineinander verschachtelte Teilmengen, die jeweils strenger gefiltert sind als die vorherige:

  • Erweiterte Fassung (546 Fragen): Alle veröffentlichten Fragen vor der Filterung. Die Autoren behielten außerdem 18 weitere Fragen für einen unveröffentlichten Datensatz zurück.
  • Hauptfassung (448 Fragen): Mindestens eine der beiden fachkundigen Prüfpersonen stimmte der Antwort zu, und höchstens zwei der drei Nicht-Experten beantworteten die Frage richtig.
  • Diamond (198 Fragen): Beide Fachleute stimmten der Antwort zu, und höchstens ein Nicht-Experte beantwortete die Frage richtig. Eine Fachperson, die zunächst falsch antwortete, zählt als zustimmend, wenn sie ihren eigenen Fehler anschließend eindeutig erkannte.

Diamond ist die gängige Wahl für Modellvergleiche, weil die Fassung die Fragen mit den eindeutigsten Antworten und dem größten Abstand zwischen Fachleuten und Nicht-Experten enthält.

GPQA-Ergebnisse verstehen#

Im September 2024 berichtete OpenAI, dass sein Reasoning-Modell o1 auf Diamond die Genauigkeit von promovierten Fachleuten übertroffen habe. Bis 2026 lagen die besten gemeldeten Ergebnisse für Spitzenmodelle über 90 %. Auf diesem Niveau enthalten kleine Abstände nur wenige Informationen. Jede Diamond-Frage entspricht etwa einem halben Prozentpunkt. Bei 90 % Genauigkeit beträgt der Standardfehler bei 198 Fragen etwa 2,1 Prozentpunkte. Das 95-%-Konfidenzintervall reicht somit ungefähr vier Prozentpunkte nach oben und unten. Zwei Modelle, deren Ergebnisse nur wenige Punkte auseinanderliegen, lassen sich statistisch nicht unterscheiden.

Auch Einzelheiten des Testverfahrens beeinflussen die Ergebnisse. Zero-Shot- oder Few-Shot-Prompting, die Zulässigkeit von Chain-of-Thought, die Zahl der gemittelten Stichproben, die zufällige Reihenfolge der Antwortoptionen und der mögliche Zugriff des Modells auf Werkzeuge verändern die Resultate. Für faire Vergleiche müssen diese Bedingungen daher gleich bleiben. Humanity's Last Exam trägt dem Rechnung, indem die Werkzeugeinstellungen separat angegeben werden. Verunreinigung ist ein weiteres Risiko bei jedem öffentlichen Benchmark. Die GPQA-Daten enthalten eine Kennzeichenfolge, damit Trainingspipelines sie herausfiltern können. Außerdem bitten die Autoren darum, Fragen nicht als Klartext online zu veröffentlichen. Sobald Beispiele in Webtexten auftauchen, kann ein hoher Wert auf Auswendiglernen statt auf Fähigkeit beruhen. Diese Form von Datenleckage vermeidet LiveCodeBench, indem Aufgaben mit einem Datum versehen werden.

Auch bei Vision-Benchmarks gelten dieselben Regeln für die Berichterstattung. Die Ultralytics-Dokumentation zur Objekterkennung führt die mittlere durchschnittliche Präzision (mAP) von YOLO26 auf der 5.000 Bilder umfassenden COCO-Aufteilung val2017 zusammen mit dem exakten Validierungsbefehl auf, mit dem sich jede Zahl reproduzieren lässt; für die Reproduktion der End-to-End-Spalte wird nms=False hinzugefügt. Die Ultralytics-VLM-Bestenliste bewertet Vision-Language-Modelle mit demselben Validierungscode und dokumentiert, wie Bilder ausgewählt und die einzelnen Boxen bewertet werden.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens