GPQA
GPQA es una prueba de referencia de ciencias de nivel de posgrado que los expertos con doctorado responden correctamente en un 65 % y los no expertos que buscan en la web, en un 34 %. Incluye el conjunto Diamond y cómo interpretar las puntuaciones.
GPQA, siglas de Graduate-Level Google-Proof Q&A, es un benchmark de 448 preguntas de opción múltiple de biología, química y física, redactadas por expertos en cada disciplina para que puedan responderlas los especialistas, pero no las personas no expertas con conocimientos avanzados, ni siquiera con acceso ilimitado a Internet. David Rein y sus colaboradores de la Universidad de Nueva York, Cohere y Anthropic lo publicaron en noviembre de 2023, en el artículo GPQA: un benchmark de preguntas y respuestas de nivel de posgrado resistente a Google, para medir el razonamiento científico de los modelos de lenguaje grandes (LLM). Su subconjunto más difícil, Diamond, con 198 preguntas, se ha convertido en una de las puntuaciones más citadas en los anuncios de modelos, desde GPT-5 de OpenAI hasta los modelos Claude 4 de Anthropic.
El benchmark también se creó para investigar la supervisión escalable, una rama de la seguridad de la IA y la superalineación: si los sistemas de IA llegan a responder preguntas que sus supervisores humanos no pueden verificar, hacen falta formas de validar esas respuestas. GPQA proporciona preguntas en las que ya existe esa brecha entre especialistas y personas no expertas.
Cómo se redactaron y validaron las preguntas#
Los autores contrataron a 61 profesionales a través de Upwork, todos con un doctorado o cursándolo. Un redactor preparaba una pregunta con una respuesta correcta y tres distractores plausibles. Un segundo experto de la misma disciplina la respondía y daba su opinión, el redactor la revisaba y un tercer experto respondía a la versión revisada. Después, tres validadores no expertos, especialistas con doctorado en otros campos, intentaban responder cada pregunta con acceso completo a Internet, pero sin asistentes de IA, y dedicaban una media de 37 minutos. Los redactores recibían bonificaciones si los expertos respondían correctamente y las personas no expertas no, lo que incentivaba preguntas que se podían responder objetivamente, pero que eran difíciles de encontrar.
El ejemplo de química orgánica publicado con el artículo plantea una reacción entre metilciclopentadieno y metil isoamil cetona para formar derivados del fulveno, que después reaccionan con acrilato de etilo, y pregunta cuántos isómeros químicamente distintos componen el producto final. Para responder hay que resolver paso a paso cada reacción, el tipo de problema de varios pasos al que se dirigen los prompts de cadena de pensamiento y los modelos de razonamiento.
Este proceso produjo las cifras de referencia más destacadas del benchmark. Los expertos respondieron correctamente al 65 % de las preguntas de su propia disciplina, porcentaje que subía al 74 % al excluir los errores que reconocieron al revisarlos. Las personas no expertas acertaron solo el 34 %, nueve puntos por encima del 25 % que se espera al adivinar al azar; eso es lo que significa en la práctica «resistente a Google». En el momento de su publicación, la mejor puntuación de referencia de GPT-4, con prompting de cadena de pensamiento de pocos ejemplos, rondaba el 39 %.
Conjuntos Extended, Main y Diamond#
GPQA se publica en tres subconjuntos anidados, cada uno con un filtrado más estricto que el anterior:
- Conjunto ampliado (546 preguntas): Todas las preguntas publicadas, antes del filtrado. Los autores reservaron otras 18 para un conjunto no publicado.
- Conjunto principal (448 preguntas): Al menos uno de los dos expertos validadores coincidió con la respuesta y, como máximo, dos de las tres personas no expertas la acertaron.
- Diamond (198 preguntas): Ambos expertos coincidieron con la respuesta y, como máximo, una persona no experta la acertó. Un experto que respondió mal también cuenta como coincidente si después identificó claramente su propio error.
Diamond es la opción estándar para comparar modelos porque conserva las preguntas con las respuestas más claras y la mayor diferencia entre expertos y personas no expertas.
Cómo interpretar las puntuaciones de GPQA#
En septiembre de 2024, OpenAI informó de que su modelo de razonamiento o1 superaba la precisión de los expertos con doctorado en Diamond y, para 2026, las mejores puntuaciones publicadas para los modelos de vanguardia superaban el 90 %. A ese nivel, las diferencias pequeñas aportan poca información. Cada pregunta de Diamond equivale a medio punto porcentual aproximadamente, y con una precisión del 90 %, el error estándar de las 198 preguntas ronda los 2,1 puntos. Así, un intervalo de confianza del 95 % abarca aproximadamente más o menos 4 puntos, y dos modelos separados por unos pocos puntos no se distinguen estadísticamente.
Los detalles del protocolo también cambian las puntuaciones. El prompting de cero o pocos ejemplos, si se permite la cadena de pensamiento, cuántas muestras se promedian, si se barajan las opciones de respuesta y si el modelo puede utilizar herramientas influyen en los resultados. Por eso, para que las comparaciones sean justas, hay que mantener fijas estas condiciones, como hace Humanity's Last Exam, que informa por separado de la configuración de herramientas. La contaminación es otro riesgo de cualquier benchmark público. Los datos de GPQA incluyen una cadena canario para que las canalizaciones de entrenamiento puedan filtrarlos, y los autores piden que no se publiquen las preguntas en texto plano en Internet. Si los ejemplos se filtran al texto de la web, una puntuación alta puede reflejar memorización: una forma de filtración de datos que LiveCodeBench evita fechando sus problemas.
Los benchmarks de visión siguen la misma disciplina de presentación de resultados. La documentación de detección de objetos de Ultralytics muestra la precisión media (mAP) de YOLO26 en la partición COCO val2017 de 5.000 imágenes junto al comando exacto de validación que reproduce cada cifra, con nms=False añadido para reproducir la columna de extremo a extremo. La clasificación de VLM de Ultralytics evalúa modelos de lenguaje y visión con el mismo código de validación y documenta cómo toma una muestra de imágenes y puntúa cada cuadro.










