Humanity's Last Exam (HLE)

Humanity’s Last Exam (HLE) ist ein KI-Benchmark, der Fachwissen und Schlussfolgerungen auf Expertenniveau anhand schwieriger Fragen mit überprüfbaren Antworten testet. Stell dir darunter eher eine anspruchsvolle Prüfung in vielen Fachgebieten als ein Quiz zum Allgemeinwissen vor. Der Benchmark zeigt, wo ein KI-System schwierige Probleme lösen kann – und wo flüssige, überzeugend vorgetragene Antworten Fehler verbergen. (labs.scale.com)

So funktioniert Humanity’s Last Exam#

HLE ist ein Benchmark-Datensatz: eine standardisierte Sammlung, mit der sich Systeme unter festgelegten Bedingungen vergleichen lassen. Die ursprüngliche, endgültige öffentliche Sammlung wurde vom Center for AI Safety und Scale AI entwickelt und umfasst 2.500 Fragen aus mehr als 100 Fachgebieten, darunter Mathematik, Naturwissenschaften, Ingenieurwesen und Geisteswissenschaften. (agi.safe.ai)

Die Fragen umfassen Multiple-Choice-Aufgaben und Kurzantwortaufgaben. Sie sind geschlossen, das heißt, eine richtige Antwort lässt sich überprüfen, auch wenn ihre Herleitung umfassende Schlussfolgerungen erfordert. Fachkundige Mitwirkende und Prüfende tragen dazu bei, den Schwierigkeitsgrad und die Qualität der Antworten sicherzustellen. HLE ist multimodal: Bei einigen Fragen müssen Bilder zusammen mit Text interpretiert werden, statt nur Sprache zu verarbeiten. (labs.scale.com)

Damit ist HLE relevant für große Sprachmodelle, die Sprache verarbeiten und erzeugen, sowie für bildfähige Systeme. Die visuellen Fragen überschneiden sich mit dem Bereich visuelle Fragebeantwortung, bei dem ein System Fragen zu einem Bild beantwortet. Die Bestandteile eines Diagramms zu erkennen, ist jedoch nur ein Teil der Lösung einer spezialisierten akademischen Aufgabe. (labs.scale.com)

Ergebnisse und Konfidenz verstehen#

Zwei Messwerte sind besonders wichtig:

• Antwortgenauigkeit: Der Anteil der Fragen, die richtig beantwortet wurden. Der Messwert erfasst richtige Antworten, nicht aber, ob jeder Schritt einer Erklärung stichhaltig ist.
• Konfidenzkalibrierung: Wie gut die angegebene Konfidenz mit der beobachteten Korrektheit übereinstimmt. Bei einem gut kalibrierten System sollten von den Antworten, denen eine Konfidenz von 80 % zugewiesen wurde, ungefähr 80 % richtig sein. (scikit-learn.org)

Bei HLE-Auswertungen können eine endgültige Antwort und eine Konfidenzschätzung abgefragt werden. Diese erfassen unterschiedliche Eigenschaften: Ein System kann seine Genauigkeit verbessern und dennoch bei falschen Antworten übermäßig sicher auftreten. Eine angegebene Konfidenz in Prozent ist daher nicht automatisch eine verlässliche Wahrscheinlichkeit. (agi.safe.ai)

Wenn du die HLE-Auswertungsmethodik liest, prüfe die Fragenversion, den Umfang – nur Text oder multimodal –, die Prompts und das Bewertungsverfahren. Prüfe auch, ob externe Werkzeuge zugelassen waren; Ergebnisse mit und ohne Werkzeuge beschreiben unterschiedliche Systeme. (labs.scale.com)

Wie sich HLE von verwandten Konzepten unterscheidet#

HLE befasst sich mit der Sättigung von Benchmarks: Wenn viele Systeme nahe an der Obergrenze eines Tests abschneiden, eignet sich der Test immer weniger dazu, ihre Fähigkeiten voneinander zu unterscheiden. Schwierigere Fragen schaffen mehr Spielraum, um Unterschiede zu messen. Der Name bringt diesen Anspruch zum Ausdruck; er bedeutet nicht, dass die KI-Auswertung mit dieser Prüfung endet. (labs.scale.com)

HLE ist kein Nachweis für künstliche allgemeine Intelligenz, also für eine breit einsetzbare Intelligenz, die verschiedene Aufgaben bewältigt. Gute akademische Antworten belegen weder autonome Entdeckungen noch verlässliche Planung oder sicheres Verhalten. Das KI-Risikomanagement-Framework des NIST befasst sich mit umfassenderen Fragen wie Vertrauenswürdigkeit und kontextspezifischen Risiken. (agi.safe.ai)

HLE unterscheidet sich außerdem von der Objekterkennung, bei der Objekte in Bildern erkannt und lokalisiert werden. Die Genauigkeit akademischer Antworten kann nicht ersetzen, zu messen, ob ein Detektor in Einsatzbildern die richtigen Objekte findet. (docs.ultralytics.com)

Zwei praktische Anwendungsbeispiele#

Auswahl eines wissenschaftlichen Assistenten. Stell dir vor, ein Team sucht einen Assistenten, der fortgeschrittene Aufgaben aus der Physik erklären soll. HLE kann einen ersten Hinweis auf die akademischen Fähigkeiten liefern, doch das Team sollte zusätzlich repräsentative Fragen aus der eigenen Arbeit testen. Eine selbstsicher vorgetragene, aber falsche Antwort könnte Berechnungen oder Experimente in die falsche Richtung lenken; deshalb bleibt die Prüfung durch Fachleute wichtig. Sieh dies als Beispiel für eine Vorauswahl, nicht als Beleg dafür, dass ein bestimmter Assistent geeignet ist. (agi.safe.ai)

Visuelle Unterstützung im Ingenieurwesen. Stell dir einen Assistenten vor, der Gerätediagramme interpretiert. Die bildbasierten Fragen von HLE veranschaulichen, warum Symbole zu erkennen und ihre Beziehungen zu verstehen zwei verschiedene Herausforderungen sind. Ein System könnte eine Komponente richtig identifizieren und dennoch das falsche Betriebsverhalten ableiten. Die Auswertung sollte deshalb die gesamte Aufgabe einschließlich Interpretationen und Folgen umfassen – nicht nur die visuelle Erkennung. (labs.scale.com)

Praktische Hinweise zur Auswertung#

Sichere die Integrität der Auswertung, indem du Trainings-, Validierungs- und Testdatensätze getrennt hältst. Vermeide Datenlecks, bei denen Auswertungsinformationen die Modellentwicklung beeinflussen und die Leistung besser erscheinen lassen, als sie sich auf neue Daten übertragen lässt. Auch bei den öffentlichen Fragen von HLE musst du darauf achten, ob sie bereits bekannt waren. (developers.google.com)

Verwende für Computer Vision neben jedem Benchmark für Schlussfolgerungsfähigkeiten auch eine aufgabenspezifische Auswertung. Nach der Installation von ultralytics wertet dieser dokumentierte Ultralytics-YOLO-Validierungsablauf YOLO26 anhand des kleinen COCO8-Beispieldatensatzes aus: (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # Vergleiche die Erkennungen mit den Validierungslabels des Datensatzes.
    metrics = model.val(data="coco8.yaml")

    # Gib die Lokalisierungs- und Klassifikationsmetrik des Detektors aus.
    print("mAP50-95:", metrics.box.map)

Die Ausgabe ist die mittlere durchschnittliche Präzision über mehrere Überlappungsschwellenwerte für Begrenzungsrahmen, kein HLE-Ergebnis. COCO8 veranschaulicht den Ablauf; für eine aussagekräftige Auswertung vor dem Einsatz sind repräsentative, zurückgehaltene Anwendungsdaten erforderlich. Entscheidend ist, jede Leistungsaussage an der tatsächlich geprüften Fähigkeit auszurichten. (docs.ultralytics.com)