GPQA

GPQA son las siglas de preguntas de respuesta imposible de resolver con Google para nivel de posgrado, un benchmark que evalúa la capacidad de los sistemas de IA para responder a preguntas científicas difíciles. Pone a prueba conocimientos especializados y capacidad de razonamiento en biología, química y física mediante preguntas de opción múltiple redactadas por expertos en cada disciplina. En esencia, GPQA pregunta si un sistema puede aplicar conocimientos científicos, y no solo reconocer datos conocidos o recuperar una frase coincidente.

Para un modelo de lenguaje grande, que procesa y genera lenguaje, GPQA ofrece una medida específica de la capacidad avanzada para responder preguntas científicas. Es una herramienta de evaluación, no una arquitectura de modelo, una técnica de entrenamiento ni una certificación de competencia científica.

Cómo funciona GPQA#

Cada pregunta ofrece cuatro opciones de respuesta, incluida una correcta y tres distractores: alternativas plausibles, pero incorrectas. Resolverla puede requerir interpretar supuestos, conectar varios principios o descartar explicaciones que al principio parecen razonables.

Por ejemplo, una pregunta de química podría describir varias vías de reacción posibles y preguntar qué producto predomina en determinadas condiciones. Saber el nombre de una reacción no bastaría necesariamente; el sistema debe aplicar las restricciones pertinentes. Este ejemplo ilustra el tipo de tarea, pero no reproduce una pregunta del benchmark.

«Google-proof» describe el objetivo de diseño del benchmark: las preguntas deben seguir siendo difíciles para personas no especializadas con conocimientos, incluso con acceso a la web. No significa que sea imposible encontrar las respuestas en internet ni que la navegación esté prohibida en todas las evaluaciones. La posibilidad de usar herramientas forma parte del protocolo de prueba y debe indicarse.

GPQA Diamond y conceptos relacionados#

El conjunto principal de GPQA contiene 448 preguntas. GPQA Diamond es un subconjunto más selectivo, filtrado y compuesto por 198 preguntas, que pone el énfasis en el consenso entre expertos y la dificultad para las personas no especializadas. La documentación de evaluación de GPQA Diamond describe su formato de cuatro opciones y sus disciplinas científicas. Diamond no es un modelo independiente ni una prueba universal de inteligencia, y sus puntuaciones no deben considerarse intercambiables con las del conjunto principal.

SuperGPQA es una evaluación independiente y más amplia de nivel de posgrado que abarca muchas disciplinas, no solo los tres ámbitos científicos de GPQA. Que tenga un nombre parecido no significa que sus resultados sean directamente comparables.

GPQA también se diferencia de la respuesta a preguntas, la tarea general de responder preguntas. GPQA es una evaluación específica de esa capacidad. A diferencia de la respuesta visual a preguntas, no pone a prueba la interpretación de imágenes para responder preguntas. Por tanto, un buen rendimiento en tareas científicas basadas en texto no demuestra la precisión de la percepción visual.

Qué significa una puntuación de GPQA#

La métrica principal es la precisión de las respuestas: la proporción de preguntas respondidas correctamente. Con cuatro opciones, el acierto esperado al responder completamente al azar es del 25 %. Un resultado hipotético de 150 respuestas correctas de 198 equivale aproximadamente al 75,8 %.

Sin embargo, el porcentaje por sí solo no basta. Las comparaciones deben especificar el subconjunto, la versión del modelo, el prompt, el acceso a herramientas, el presupuesto de razonamiento y el número de intentos. Una respuesta por pregunta mide una configuración distinta de la que consiste en generar varias respuestas y elegir entre ellas.

También conviene interpretar con cautela las pequeñas diferencias entre puntuaciones. Una respuesta correcta adicional en Diamond cambia la precisión en unos 0,5 puntos porcentuales. Los intervalos de confianza binomiales pueden ayudar a comunicar la incertidumbre, aunque no resuelven los sesgos del conjunto de datos ni las diferencias entre protocolos.

Las opciones correctas no garantizan explicaciones correctas. Un sistema puede seleccionar la opción adecuada y, aun así, generar una alucinación: una explicación aparentemente plausible, pero sin fundamento. Por tanto, las puntuaciones de GPQA deben complementar las pruebas específicas de cada aplicación, no sustituirlas.

Dos ejemplos de aplicación práctica#

Selección de asistentes científicos. Imagina que un laboratorio compara asistentes que explican una actividad enzimática inesperada. GPQA puede aportar una primera indicación de la capacidad científica. Después, el equipo debería probar sus propios escenarios experimentales y pedir a especialistas que revisen las explicaciones. Confundir correlación con mecanismo podría desviar los experimentos posteriores, pese a obtener una puntuación alta en el benchmark.

Asistencia en microscopía. Imagina un sistema que combina un detector de células con un asistente que explica los cambios en el recuento celular. GPQA puede servir para evaluar el razonamiento científico del componente de lenguaje, pero no indica si el detector pasó por alto células superpuestas. Evalúa por separado la detección y la interpretación, y después prueba el flujo de trabajo completo. Este enfoque adaptado al contexto coincide con el Marco de gestión de riesgos de IA del NIST.

Guía práctica de evaluación#

Protege la integridad de la evaluación mediante conjuntos de entrenamiento, validación y prueba separados. Evita la filtración de datos, que se produce cuando la información de evaluación influye en el desarrollo e infla el rendimiento aparente. La exposición pública al benchmark también puede complicar la interpretación.

Para una aplicación que combine visión y lenguaje, evalúa el componente visual con sus propias métricas. Después de instalar ultralytics con pip install ultralytics, este flujo de trabajo documentado de validación de Ultralytics YOLO evalúa YOLO26:

from ultralytics import YOLO

if __name__ == "__main__":
    # Carga un detector de objetos preentrenado.
    model = YOLO("yolo26n.pt")

    # Compara las predicciones con imágenes de validación etiquetadas.
    metrics = model.val(data="coco8.yaml")

    # Informa del rendimiento de detección, no del razonamiento científico.
    print("mAP50-95:", metrics.box.map)

El conjunto de datos de ejemplo COCO8 sirve para demostrar la API; es demasiado pequeño para extraer conclusiones sobre el despliegue. El resultado es la precisión media promedio, que evalúa la detección en distintos umbrales de solapamiento de cajas delimitadoras, no una puntuación de GPQA. El principio esencial es vincular cada afirmación sobre el rendimiento a la capacidad que realmente se mide.