Humanity's Last Exam (HLE)

El último examen de la humanidad (HLE) es una prueba de referencia de IA que evalúa conocimientos académicos y razonamiento de nivel experto mediante preguntas difíciles con respuestas verificables. Piensa en él como un examen exigente que abarca muchas especialidades, no como un cuestionario de cultura general. Ayuda a revelar en qué casos un sistema de IA puede resolver problemas complejos y en cuáles las respuestas fluidas y seguras esconden errores. (labs.scale.com)

Cómo funciona el último examen de la humanidad#

HLE es un conjunto de datos de referencia: una recopilación estandarizada que se utiliza para comparar sistemas en condiciones definidas. Desarrollada por el Center for AI Safety y Scale AI, la colección pública original definitiva contiene 2.500 preguntas de más de 100 materias, como matemáticas, ciencias naturales, ingeniería y humanidades. (agi.safe.ai)

Las preguntas incluyen preguntas de opción múltiple y problemas de respuesta breve. Son cerradas, es decir, se puede comprobar si la respuesta es correcta, aunque llegar a ella requiera un razonamiento considerable. Los expertos que colaboran y revisan el contenido ayudan a determinar la dificultad y la calidad de las respuestas. HLE es multimodal: algunas preguntas requieren interpretar imágenes junto con texto, en lugar de procesar solo lenguaje. (labs.scale.com)

Esto hace que HLE sea relevante para los modelos de lenguaje grandes, que procesan y generan lenguaje, y para los sistemas capaces de procesar imágenes. Sus preguntas visuales se solapan con la respuesta visual a preguntas, en la que un sistema responde a preguntas sobre una imagen. Sin embargo, reconocer los componentes de un diagrama es solo una parte de la resolución de un problema académico especializado. (labs.scale.com)

Cómo interpretar las puntuaciones y la confianza#

Dos mediciones son especialmente importantes:

• Precisión de las respuestas: La proporción de preguntas respondidas correctamente. Mide las respuestas correctas, no si todos los pasos de una explicación son válidos.
• Calibración de confianza: El grado de correspondencia entre la confianza y la corrección observada. En un sistema bien calibrado, aproximadamente el 80 % de las respuestas con una confianza asignada del 80 % debería ser correcto. (scikit-learn.org)

Las evaluaciones de HLE pueden solicitar una respuesta final y una estimación de confianza. Estas miden propiedades diferentes: un sistema puede mejorar su precisión y seguir mostrando un exceso de confianza cuando se equivoca. Por tanto, un porcentaje de confianza declarado no es automáticamente una probabilidad fiable. (agi.safe.ai)

Al leer la metodología de evaluación de HLE, comprueba la versión de las preguntas, la cobertura de texto solo frente a multimodal, las indicaciones y el procedimiento de calificación. Comprueba también si se permitían herramientas externas; los resultados con y sin asistencia de herramientas describen sistemas diferentes. (labs.scale.com)

En qué se diferencia HLE de conceptos relacionados#

HLE aborda la saturación de las pruebas de referencia: cuando muchos sistemas obtienen puntuaciones cercanas al máximo de una prueba, esta resulta menos útil para distinguir sus capacidades. Las preguntas más difíciles permiten medir mejor las diferencias. El nombre expresa esa ambición; no significa que la evaluación de la IA termine con este examen. (labs.scale.com)

No es un certificado de inteligencia artificial general, es decir, de una inteligencia aplicable ampliamente a distintas tareas. Obtener buenos resultados académicos no demuestra que un sistema pueda realizar descubrimientos de forma autónoma, planificar de manera fiable o comportarse de forma segura. El Marco de gestión de riesgos de la IA del NIST aborda cuestiones más amplias, como la fiabilidad y los riesgos específicos del contexto. (agi.safe.ai)

HLE también se diferencia de la detección de objetos, que identifica y localiza objetos en imágenes. La precisión de las respuestas académicas no puede sustituir a la medición de si un detector encuentra los objetos correctos en las imágenes de despliegue. (docs.ultralytics.com)

Dos ejemplos de aplicación práctica#

Selección de un asistente científico. Imagina que un equipo está eligiendo un asistente para explicar problemas avanzados de física. HLE puede proporcionar una primera indicación de su capacidad académica, pero el equipo también debería probar preguntas representativas de su propio trabajo. Una respuesta incorrecta expresada con seguridad podría desviar cálculos o experimentos, por lo que la revisión de expertos sigue siendo importante. Tómalo como un ejemplo de preselección, no como una prueba de que un asistente concreto sea adecuado. (agi.safe.ai)

Asistencia visual en ingeniería. Imagina un asistente que interpreta diagramas de equipos. Las preguntas de HLE basadas en imágenes ilustran por qué reconocer símbolos y comprender las relaciones entre ellos son desafíos distintos. Un sistema podría identificar correctamente un componente y, aun así, inferir un comportamiento operativo equivocado. Por tanto, la evaluación debería abarcar la tarea completa, incluidas las interpretaciones y sus consecuencias, y no solo el reconocimiento visual. (labs.scale.com)

Guía práctica de evaluación#

Protege la integridad de la evaluación manteniendo separados los conjuntos de entrenamiento, validación y prueba. Evita la fuga de datos, que se produce cuando la información de evaluación influye en el desarrollo del modelo y hace que el rendimiento parezca mejor de lo que será en otros datos. Las preguntas públicas de HLE requieren precauciones similares frente a la exposición previa. (developers.google.com)

Para la visión artificial, utiliza una evaluación específica para cada tarea junto con cualquier prueba de razonamiento. Tras instalar ultralytics, este flujo de trabajo documentado de validación de Ultralytics YOLO evalúa YOLO26 con el pequeño conjunto de datos de ejemplo COCO8: (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # Compara las detecciones con las etiquetas de validación del conjunto de datos.
    metrics = model.val(data="coco8.yaml")

    # Informa de la métrica de localización y clasificación del detector.
    print("mAP50-95:", metrics.box.map)

El resultado es la precisión media promedio en varios umbrales de solapamiento de cuadros delimitadores, no una puntuación de HLE. COCO8 demuestra el flujo de trabajo; para evaluar de forma significativa el despliegue, hacen falta datos representativos de la aplicación que se hayan reservado para las pruebas. La lección principal es que cada afirmación sobre el rendimiento debe corresponder a la capacidad que realmente se ha evaluado. (docs.ultralytics.com)