Humanity's Last Exam (HLE)

Humanity's Last Exam (HLE) es un benchmark de 2500 preguntas redactadas por expertos en más de 100 disciplinas académicas, creado para medir los sistemas de IA en la frontera del conocimiento humano. El Center for AI Safety y Scale AI lo publicaron en enero de 2025, cerraron el conjunto público de preguntas en abril de 2025 y lo publicaron en Nature en enero de 2026. El nombre refleja su objetivo: un examen académico de respuestas cerradas, lo bastante difícil como para seguir aportando información después de que las pruebas anteriores dejaran de distinguir a los mejores modelos de lenguaje grandes (LLM).

El problema es la saturación de los benchmarks. Para 2024, los modelos de vanguardia superaban el 90 % en MMLU, una prueba de conocimientos muy utilizada, por lo que resultaba difícil interpretar las mejoras adicionales. HLE se diseñó para que esos mismos modelos obtuvieran puntuaciones de una sola cifra, y así ocurrió en su lanzamiento.

Cómo se recopilaron las preguntas#

Casi 1000 expertos en distintas disciplinas, en su mayoría profesores, investigadores y titulados de posgrado de más de 500 instituciones en 50 países, redactaron las preguntas. Primero, cada pregunta candidata se probó con varios LLM de vanguardia y se conservó solo si los modelos la respondían mal o, en el caso de las preguntas de opción múltiple, obtenían peores resultados que al adivinar al azar. Más de 70 000 intentos de este tipo dejaron unas 13 000 preguntas para la revisión humana. En la primera ronda, revisores con títulos de posgrado hicieron entre una y tres revisiones de cada pregunta para que el autor pudiera formularla como pregunta de respuesta cerrada y sin ambigüedades. En la segunda ronda, los organizadores y los revisores aprobaron las mejores preguntas para el conjunto final. El filtro se parece al de GPQA, cuyo conjunto Diamond conserva las preguntas científicas solo cuando la mayoría de las personas no expertas con conocimientos avanzados y acceso a la web no logra responderlas. Un fondo de premios de 500 000 dólares pagó 5000 dólares por cada una de las 50 mejores preguntas y 500 dólares por cada una de las 500 siguientes.

Las matemáticas representan el 41 % del conjunto, seguidas por la biología y la medicina, con un 11 %; la informática y la IA, con un 10 %; la física y las humanidades, con un 9 % cada una; la química, con un 7 %, y la ingeniería, con un 4 %. Un ejemplo publicado pregunta cuántos pares de tendones sostiene un hueso sesamoideo que solo se encuentra en los colibríes: un detalle que un especialista conoce, pero que un motor de búsqueda no ofrece rápidamente. Cerca del 24 % de las preguntas son de opción múltiple. El 76 % restante requiere una respuesta breve y exacta, que un modelo evaluador —o3-mini en la clasificación oficial— compara con la respuesta de referencia y acepta formas equivalentes, como una fracción en lugar de un decimal. El conjunto privado reservado para pruebas detecta modelos que se han sobreajustado a las preguntas públicas, un riesgo que aumenta cuando el texto del benchmark se filtra a los datos de entrenamiento, una forma de filtración de datos que LiveCodeBench contrarresta fechando sus problemas.

Alrededor del 14 % de las preguntas son multimodales y combinan texto con un diagrama, un gráfico o una inscripción fotografiada, lo que convierte HLE en una prueba de nivel experto de preguntas y respuestas visuales. Estas preguntas evalúan el razonamiento de los modelos de visión y lenguaje (VLM), que el bloque LLM de Ultralytics Platform Agents invoca después de que un detector YOLO26 haya examinado una imagen, y envía la imagen y los resultados del detector al modelo de visión y lenguaje que elija el usuario.

Precisión y error de calibración#

HLE ofrece dos cifras para cada modelo:

• Precisión: Proporción de preguntas respondidas correctamente. En el artículo original, GPT-4o obtuvo un 2,7 %, Claude 3.5 Sonnet un 4,1 %, Gemini 1.5 Pro un 4,6 % y el modelo de razonamiento o1 de OpenAI un 8,0 %, mientras que o3-mini alcanzó un 13,4 % en las preguntas que solo incluían texto.
• Error de calibración: Con cada respuesta, el modelo indica un nivel de confianza entre el 0 % y el 100 %. La diferencia cuadrática media entre la confianza declarada y la precisión real mide hasta qué punto sabe lo que sabe. Los modelos de la época del lanzamiento tenían errores de calibración de entre el 73 % y el 89 %, lo que significa que respondían con seguridad a preguntas que contestaban mal: una forma medible de alucinación.

La precisión mejoró rápidamente con los modelos de razonamiento, mientras que la calibración se quedó atrás. En la clasificación oficial, Gemini 3 Pro alcanzó una precisión del 38,3 % con un error de calibración del 57,2 %, y GPT-5 obtuvo un 25,3 % con un error de calibración del 50,0 %. El error de calibración aplica directamente la cuantificación de la incertidumbre a los LLM, y la misma diferencia entre confianza y corrección impulsa métodos de detección como la entropía semántica.

Revisiones: HLE-Rolling y HLE-Diamond#

Una investigación del laboratorio de investigación en IA FutureHouse, publicada en julio de 2025, estimó que casi el 30 % de las respuestas de química y biología que solo incluían texto contradecían la bibliografía publicada; además, otros revisores señalaron formulaciones ambiguas. Los organizadores reprodujeron parcialmente los resultados y en octubre de 2025 lanzaron HLE-Rolling, una variante que se actualiza de forma continua. Tras un año de revisión, el 22 de septiembre de 2026 publicaron HLE-Diamond: un subconjunto revisado de 1000 preguntas, dividido en 500 preguntas de razonamiento y 500 de conocimientos, diseñado para responderse sin consultar fuentes. El acceso a herramientas cambia mucho los resultados, por lo que las clasificaciones y las evaluaciones de agentes indican la configuración de herramientas con cada puntuación. En el momento de su lanzamiento, GPT-6 Astra encabezaba HLE-Diamond con un 59,9 % sin herramientas y un 82,9 % con búsqueda web y ejecución de código.