Humanity's Last Exam (HLE)

Humanity's Last Exam (HLE) ist ein Benchmark mit 2.500 von Fachleuten verfassten Fragen aus mehr als 100 wissenschaftlichen Fachgebieten. Er soll die Leistungsfähigkeit von KI-Systemen an der Grenze menschlichen Wissens messen. Das Center for AI Safety und Scale AI veröffentlichten ihn im Januar 2025, schlossen die öffentliche Fragenauswahl im April 2025 ab und publizierten ihn im Januar 2026 in Nature. Der Name spiegelt das Ziel wider: eine Prüfung mit geschlossenen Fragen, die so anspruchsvoll ist, dass sie auch dann aussagekräftig bleibt, wenn frühere Tests die besten Large Language Models (LLMs) nicht mehr voneinander unterscheiden.

Dieses Problem nennt sich Sättigung von Benchmarks. Bis 2024 erzielten Spitzenmodelle bei MMLU, einem weit verbreiteten Wissenstest, mehr als 90 %. Weitere Fortschritte ließen sich daher nur schwer beurteilen. HLE wurde so entwickelt, dass dieselben Modelle nur einstellige Prozentwerte erreichen sollten – und genau das war bei der Veröffentlichung der Fall.

So wurden die Fragen gesammelt#

Fast 1.000 Fachleute, überwiegend Professoren, Forschende und Personen mit Hochschulabschluss aus mehr als 500 Einrichtungen in 50 Ländern, verfassten die Fragen. Zunächst wurde jede Frage mit mehreren Spitzen-LLMs getestet. Beibehalten wurde sie nur, wenn die Modelle falsch antworteten oder bei Multiple-Choice-Fragen schlechter abschnitten als beim Zufallsraten. Aus mehr als 70.000 solchen Versuchen blieben etwa 13.000 Fragen für eine menschliche Prüfung übrig. In der ersten Runde prüften Personen mit Hochschulabschluss jede Frage ein- bis dreimal, damit sie geschlossen und eindeutig formuliert werden konnte. In der zweiten Runde wählten die Organisatoren und Prüfenden die besten Fragen für die endgültige Auswahl aus. Dieses Filterverfahren ähnelt dem von GPQA, dessen Diamond-Teilmenge nur Fragen aus der Naturwissenschaft enthält, bei denen die meisten fachkundigen Nicht-Experten mit Webzugriff scheiterten. Ein Preisgeld von 500.000 US-Dollar wurde verteilt: 5.000 US-Dollar für jede der 50 besten Fragen und 500 US-Dollar für jede der nächsten 500.

Mathematik macht 41 % der Fragen aus, gefolgt von Biologie und Medizin mit 11 %, Informatik und KI mit 10 %, Physik und Geisteswissenschaften mit jeweils 9 %, Chemie mit 7 % und Ingenieurwesen mit 4 %. In einem veröffentlichten Beispiel wird gefragt, wie viele paarige Sehnen von einem Sesambein gestützt werden, das nur bei Kolibris vorkommt – eine Einzelheit, die Fachleute kennen, die eine Suchmaschine aber nicht schnell zutage fördert. Etwa 24 % der Fragen sind Multiple-Choice-Fragen. Die übrigen 76 % erfordern eine kurze, exakte Antwort, die ein Beurteilungsmodell – o3-mini in der offiziellen Rangliste – mit der Referenz vergleicht und dabei gleichwertige Schreibweisen wie einen Bruch statt einer Dezimalzahl akzeptiert. Der zurückgehaltene private Datensatz erkennt Modelle, die sich an den öffentlichen Fragen überangepasst haben. Dieses Risiko steigt, sobald Benchmark-Texte in die Trainingsdaten gelangen. Diese Form von Datenleckage begrenzt LiveCodeBench, indem Aufgaben mit einem Datum versehen werden.

Etwa 14 % der Fragen sind multimodal und verbinden Text mit einem Diagramm, einer Grafik oder einer fotografierten Inschrift. Dadurch wird HLE zu einem Test auf Expertenniveau für die visuelle Beantwortung von Fragen. Diese Fragen bewerten das Schlussfolgern von Vision-Language-Modellen (VLMs). Das sind die Modelle, die der LLM-Block in den Ultralytics-Platform-Agenten aufruft, nachdem ein YOLO26-Detektor ein Bild geprüft hat. Dabei werden das Bild und die Erkennungsergebnisse an das vom Nutzer ausgewählte Vision-Language-Modell gesendet.

Genauigkeit und Kalibrierungsfehler#

HLE gibt für jedes Modell zwei Werte an:

• Genauigkeit: Der Anteil der richtig beantworteten Fragen. In der ursprünglichen Arbeit erzielte GPT-4o 2,7 %, Claude 3.5 Sonnet 4,1 %, Gemini 1.5 Pro 4,6 % und OpenAIs Reasoning-Modell o1 8,0 %. Bei den rein textbasierten Fragen erreichte o3-mini 13,4 %.
• Kalibrierungsfehler: Bei jeder Antwort gibt jedes Modell eine Konfidenz zwischen 0 % und 100 % an. Der mittlere quadratische Abstand zwischen der angegebenen Konfidenz und der tatsächlichen Genauigkeit zeigt, wie gut das Modell einschätzen kann, was es weiß. Bei den Modellen der Markteinführungsphase lag der Kalibrierungsfehler zwischen 73 % und 89 %. Sie gaben also selbst bei falsch beantworteten Fragen hohe Konfidenzwerte an – eine messbare Form von Halluzination.

Die Genauigkeit stieg mit Reasoning-Modellen schnell, während die Kalibrierung hinterherhinkte. In der offiziellen Rangliste erreichte Gemini 3 Pro eine Genauigkeit von 38,3 % bei einem Kalibrierungsfehler von 57,2 %. GPT-5 erzielte 25,3 % bei einem Kalibrierungsfehler von 50,0 %. Der Kalibrierungsfehler ist eine direkte Anwendung der Quantifizierung von Unsicherheit auf LLMs. Dieselbe Diskrepanz zwischen Konfidenz und Korrektheit liegt Erkennungsmethoden wie der semantischen Entropie zugrunde.

Überarbeitungen: HLE-Rolling und HLE-Diamond#

Eine im Juli 2025 veröffentlichte Untersuchung des KI-Forschungslabors FutureHouse schätzte, dass fast 30 % der rein textbasierten Antworten zu Chemie und Biologie im Widerspruch zur veröffentlichten Fachliteratur standen. Andere Prüfende bemängelten mehrdeutige Formulierungen. Die Organisatoren bestätigten einen Teil der Ergebnisse und starteten im Oktober 2025 HLE-Rolling, eine laufend aktualisierte Variante. Nach einem Jahr der Bereinigung veröffentlichten sie am 22. September 2026 HLE-Diamond: eine verfeinerte Teilmenge mit 1.000 Fragen, aufgeteilt in 500 Schlussfolgerungs- und 500 Wissensfragen, die ohne Nachschlagewerke beantwortet werden sollen. Der Zugriff auf Werkzeuge verändert die Ergebnisse erheblich. Deshalb geben Ranglisten und Agentenbewertungen bei jedem Ergebnis die Werkzeugeinstellungen an. Bei der Veröffentlichung lag GPT-6 Astra bei HLE-Diamond mit 59,9 % ohne Werkzeuge und 82,9 % mit Websuche und Codeausführung vorn.