Humanity's Last Exam (HLE)

Humanity's Last Exam (HLE) est un benchmark de 2 500 questions rédigées par des spécialistes dans plus de 100 disciplines universitaires, conçu pour mesurer les systèmes d’IA à la frontière des connaissances humaines. Le Center for AI Safety et Scale AI l’ont publié en janvier 2025, ont finalisé le jeu public de questions en avril 2025 et l’ont fait paraître dans Nature en janvier 2026. Son nom reflète son objectif : un examen universitaire à réponses fermées, suffisamment difficile pour rester informatif après que les tests précédents ont cessé de départager les meilleurs grands modèles de langage (LLM).

Le problème est la saturation des benchmarks. En 2024, les modèles de pointe dépassaient 90 % sur MMLU, un test de connaissances largement utilisé, ce qui rendait les progrès supplémentaires difficiles à interpréter. HLE a été conçu pour que ces mêmes modèles obtiennent des scores à un chiffre, ce qui a été le cas à son lancement.

Collecte des questions#

Près de 1 000 spécialistes de différentes disciplines, pour la plupart professeurs, chercheurs ou titulaires d’un diplôme d’études supérieures, issus de plus de 500 établissements dans 50 pays, ont rédigé les questions. Chaque question proposée a d’abord été testée sur plusieurs LLM de pointe et conservée uniquement si les modèles y répondaient mal ou, pour les questions à choix multiples, obtenaient un résultat inférieur au hasard. Plus de 70 000 essais de ce type ont laissé environ 13 000 questions à examiner par des personnes. Lors du premier tour, des évaluateurs titulaires d’un diplôme d’études supérieures ont examiné chaque question une à trois fois pour permettre au rédacteur de la rendre fermée et sans ambiguïté ; au second tour, les organisateurs et les évaluateurs ont approuvé les meilleures questions pour l’ensemble final. Le filtre ressemble à celui de GPQA, dont l’ensemble Diamond ne conserve les questions scientifiques que lorsque la plupart des non-spécialistes compétents ayant accès au Web échouent. Une dotation de 500 000 $ a versé 5 000 $ pour chacune des 50 meilleures questions et 500 $ pour chacune des 500 suivantes.

Les mathématiques représentent 41 % de l’ensemble, suivies par la biologie et la médecine (11 %), l’informatique et l’IA (10 %), la physique et les sciences humaines (9 % chacune), la chimie (7 %) et l’ingénierie (4 %). Un exemple publié demande combien de paires de tendons sont soutenues par un os sésamoïde que l’on ne trouve que chez les colibris, un détail qu’un spécialiste connaît, mais qu’un moteur de recherche ne fait pas ressortir rapidement. Environ 24 % des questions sont à choix multiples. Les 76 % restants nécessitent une réponse courte et exacte, qu’un modèle évaluateur — o3-mini dans le classement officiel — compare à la référence en acceptant des formes équivalentes, comme une fraction à la place d’un nombre décimal. L’ensemble privé réservé au test permet de détecter les modèles qui ont surappris les questions publiques, un risque qui s’accroît lorsque le texte du benchmark s’infiltre dans les données d’entraînement, forme de fuite de données que LiveCodeBench contre en datant ses problèmes.

Environ 14 % des questions sont multimodales et associent du texte à un schéma, un graphique ou une inscription photographiée, ce qui fait de HLE un test expert de réponse à des questions visuelles. Ces questions évaluent le raisonnement des modèles vision-langage (VLM), ceux que le bloc LLM des agents Ultralytics Platform appelle après qu’un détecteur YOLO26 a examiné une image, en transmettant l’image et les résultats du détecteur au modèle vision-langage choisi par l’utilisateur.

Précision et erreur de calibration#

HLE publie deux chiffres pour chaque modèle :

• Précision : Proportion de questions auxquelles le modèle répond correctement. Dans l’article original, GPT-4o a obtenu 2,7 %, Claude 3.5 Sonnet 4,1 %, Gemini 1.5 Pro 4,6 % et le modèle de raisonnement o1 d’OpenAI 8,0 %, tandis qu’o3-mini a atteint 13,4 % sur les questions textuelles uniquement.
• Erreur de calibration : Pour chaque réponse, le modèle indique un niveau de confiance compris entre 0 % et 100 %. L’écart quadratique moyen entre la confiance déclarée et la précision réelle indique dans quelle mesure le modèle sait ce qu’il sait. Les modèles disponibles au lancement avaient des erreurs de calibration comprises entre 73 % et 89 %, c’est-à-dire qu’ils donnaient des réponses sûres d’elles-mêmes à des questions auxquelles ils répondaient mal, forme mesurable d’hallucination.

La précision a rapidement progressé avec les modèles de raisonnement, tandis que la calibration accusait un retard. Dans le classement officiel, Gemini 3 Pro a atteint une précision de 38,3 % avec une erreur de calibration de 57,2 %, et GPT-5 a obtenu 25,3 % avec une erreur de calibration de 50,0 %. L’erreur de calibration est une application directe de la quantification de l’incertitude aux LLM, et le même écart entre confiance et exactitude alimente des méthodes de détection comme l’entropie sémantique.

Révisions : HLE-Rolling et HLE-Diamond#

Une enquête du laboratoire de recherche en IA FutureHouse, publiée en juillet 2025, a estimé que près de 30 % des réponses textuelles en chimie et en biologie contredisaient la littérature publiée ; d’autres évaluateurs ont relevé des formulations ambiguës. Les organisateurs ont partiellement reproduit les résultats et lancé HLE-Rolling, une version dérivée mise à jour en continu, en octobre 2025. Après un an de nettoyage, ils ont publié HLE-Diamond le 22 septembre 2026 : un sous-ensemble affiné de 1 000 questions, réparties entre 500 questions de raisonnement et 500 questions de connaissances, conçu pour être résolu sans consulter de documents. L’accès aux outils modifie fortement les résultats ; les classements et les évaluations des agents indiquent donc les paramètres des outils avec chaque score. À la publication, GPT-6 Astra était en tête de HLE-Diamond avec 59,9 % sans outils et 82,9 % avec la recherche Web et l’exécution de code.