Humanity's Last Exam (HLE)

L’examen ultime de l’humanité (HLE) est un benchmark d’IA qui évalue les connaissances universitaires de niveau expert et le raisonnement à l’aide de questions difficiles dont les réponses peuvent être vérifiées. Imagine un examen exigeant couvrant de nombreuses spécialités plutôt qu’un quiz de culture générale. Il aide à révéler les problèmes complexes qu’un système d’IA peut résoudre — et ceux pour lesquels des réponses fluides et assurées dissimulent des erreurs. (labs.scale.com)

Fonctionnement de l’examen ultime de l’humanité#

HLE est un jeu de données de référence : une collection normalisée utilisée pour comparer des systèmes dans des conditions définies. Développée par le Center for AI Safety et Scale AI, la collection publique initiale finalisée comprend 2 500 questions couvrant plus de 100 sujets, notamment les mathématiques, les sciences naturelles, l’ingénierie et les sciences humaines. (agi.safe.ai)

Les questions comprennent des QCM et des problèmes à réponse courte. Elles sont à réponse fermée, ce qui signifie qu’il est possible de vérifier la réponse correcte, même si sa résolution exige un raisonnement approfondi. Des experts qui contribuent au contenu et le révisent aident à établir le niveau de difficulté et la qualité des réponses. HLE est multimodal : certaines questions nécessitent d’interpréter des images en plus du texte, plutôt que de traiter uniquement du langage. (labs.scale.com)

HLE est donc pertinent pour les grands modèles de langage, qui traitent et génèrent du langage, ainsi que pour les systèmes capables de traiter des images. Ses questions visuelles recoupent la réponse visuelle aux questions, où un système répond à des questions sur une image. Toutefois, reconnaître les éléments d’un diagramme ne représente qu’une partie de la résolution d’un problème universitaire spécialisé. (labs.scale.com)

Comprendre les scores et le niveau de confiance#

Deux mesures sont particulièrement importantes :

• Exactitude des réponses : la proportion de questions auxquelles la réponse est correcte. Elle mesure le succès des réponses, mais pas la solidité de chaque étape d’une explication.
• Calibrage de la confiance : la mesure dans laquelle le niveau de confiance correspond à l’exactitude observée. Parmi les réponses auxquelles le système attribue un niveau de confiance de 80 %, environ 80 % devraient être correctes si le système est bien calibré. (scikit-learn.org)

Les évaluations HLE peuvent demander une réponse finale et une estimation du niveau de confiance. Ces éléments mesurent des propriétés différentes : un système peut améliorer son exactitude tout en restant trop sûr de lui lorsqu’il se trompe. Un pourcentage de confiance déclaré ne constitue donc pas automatiquement une probabilité fiable. (agi.safe.ai)

Lorsque tu consultes la méthodologie d’évaluation HLE, vérifie la version des questions, la couverture textuelle ou multimodale, les prompts et la procédure de notation. Vérifie aussi si l’utilisation d’outils externes était autorisée ; les résultats obtenus avec ou sans assistance d’outils décrivent des systèmes différents. (labs.scale.com)

Différences entre HLE et les concepts associés#

HLE répond à la saturation des benchmarks : lorsque de nombreux systèmes obtiennent des scores proches du maximum d’un test, celui-ci devient moins utile pour distinguer leurs capacités. Des questions plus difficiles permettent de mieux mesurer les écarts. Le nom exprime cette ambition ; il ne signifie pas que l’évaluation de l’IA s’arrête à cet examen. (labs.scale.com)

Il ne s’agit pas d’un certificat d’intelligence artificielle générale, c’est-à-dire d’une intelligence applicable à un large éventail de tâches. De bonnes réponses universitaires ne démontrent ni la capacité à faire des découvertes de manière autonome, ni la fiabilité de la planification, ni un comportement sûr. Le Cadre de gestion des risques liés à l’intelligence artificielle du NIST aborde des enjeux plus larges, comme la fiabilité et les risques propres à chaque contexte. (agi.safe.ai)

HLE diffère également de la détection d’objets, qui consiste à identifier et localiser des objets dans des images. L’exactitude des réponses universitaires ne peut pas remplacer la mesure de la capacité d’un détecteur à trouver les bons objets dans les images utilisées en production. (docs.ultralytics.com)

Deux exemples d’applications pratiques#

Choix d’un assistant scientifique. Imagine une équipe qui choisit un assistant pour expliquer des problèmes de physique avancée. HLE peut donner une première indication de ses capacités universitaires, mais l’équipe devrait aussi tester des questions représentatives de son propre travail. Une réponse incorrecte donnée avec assurance pourrait fausser des calculs ou des expériences ; l’avis d’experts reste donc important. Considère cet exemple comme un moyen de présélection, et non comme la preuve qu’un assistant donné convient. (agi.safe.ai)

Assistance en ingénierie visuelle. Imagine un assistant qui interprète des schémas d’équipement. Les questions de HLE fondées sur des images illustrent pourquoi distinguer les symboles et comprendre leurs relations sont deux défis distincts. Un système pourrait identifier correctement un composant tout en déduisant un fonctionnement erroné. L’évaluation devrait donc couvrir l’ensemble de la tâche, y compris les interprétations et leurs conséquences, et pas seulement la reconnaissance visuelle. (labs.scale.com)

Conseils pratiques pour l’évaluation#

Préserve l’intégrité de l’évaluation en séparant les ensembles d’entraînement, de validation et de test. Évite les fuites de données, qui surviennent lorsque des informations d’évaluation influencent le développement du modèle et donnent l’impression que ses performances se généralisent mieux qu’elles ne le font réellement. La mise à disposition publique des questions de HLE exige de prendre des précautions similaires concernant leur exposition préalable. (developers.google.com)

Pour la vision par ordinateur, complète tout benchmark de raisonnement par une évaluation adaptée à la tâche. Après avoir installé ultralytics, ce flux de travail documenté de validation Ultralytics YOLO évalue YOLO26 sur le petit jeu de données d’exemple COCO8 : (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # Compare les détections aux annotations de validation du jeu de données.
    metrics = model.val(data="coco8.yaml")

    # Indique la métrique de localisation et de classification du détecteur.
    print("mAP50-95:", metrics.box.map)

Le résultat est la précision moyenne moyenne calculée sur plusieurs seuils de chevauchement des boîtes englobantes, et non un score HLE. COCO8 illustre le flux de travail ; une évaluation pertinente pour le déploiement nécessite des données représentatives de l’application, mises de côté pour les tests. La leçon essentielle est d’associer chaque affirmation de performance à la capacité réellement évaluée. (docs.ultralytics.com)