Licencia YOLO
Volver al glosario de Ultralytics

GPQA

GPQA es una prueba de referencia de ciencias de nivel de posgrado que los expertos con doctorado responden correctamente en un 65 % y los no expertos que buscan en la web, en un 34 %. Incluye el conjunto Diamond y cómo interpretar las puntuaciones.

GPQA, siglas de Graduate-Level Google-Proof Q&A, es un benchmark de 448 preguntas de opción múltiple de biología, química y física, redactadas por expertos en cada disciplina para que puedan responderlas los especialistas, pero no las personas no expertas con conocimientos avanzados, ni siquiera con acceso ilimitado a Internet. David Rein y sus colaboradores de la Universidad de Nueva York, Cohere y Anthropic lo publicaron en noviembre de 2023, en el artículo GPQA: un benchmark de preguntas y respuestas de nivel de posgrado resistente a Google, para medir el razonamiento científico de los modelos de lenguaje grandes (LLM). Su subconjunto más difícil, Diamond, con 198 preguntas, se ha convertido en una de las puntuaciones más citadas en los anuncios de modelos, desde GPT-5 de OpenAI hasta los modelos Claude 4 de Anthropic.

El benchmark también se creó para investigar la supervisión escalable, una rama de la seguridad de la IA y la superalineación: si los sistemas de IA llegan a responder preguntas que sus supervisores humanos no pueden verificar, hacen falta formas de validar esas respuestas. GPQA proporciona preguntas en las que ya existe esa brecha entre especialistas y personas no expertas.

Cómo se redactaron y validaron las preguntas#

Los autores contrataron a 61 profesionales a través de Upwork, todos con un doctorado o cursándolo. Un redactor preparaba una pregunta con una respuesta correcta y tres distractores plausibles. Un segundo experto de la misma disciplina la respondía y daba su opinión, el redactor la revisaba y un tercer experto respondía a la versión revisada. Después, tres validadores no expertos, especialistas con doctorado en otros campos, intentaban responder cada pregunta con acceso completo a Internet, pero sin asistentes de IA, y dedicaban una media de 37 minutos. Los redactores recibían bonificaciones si los expertos respondían correctamente y las personas no expertas no, lo que incentivaba preguntas que se podían responder objetivamente, pero que eran difíciles de encontrar.

El ejemplo de química orgánica publicado con el artículo plantea una reacción entre metilciclopentadieno y metil isoamil cetona para formar derivados del fulveno, que después reaccionan con acrilato de etilo, y pregunta cuántos isómeros químicamente distintos componen el producto final. Para responder hay que resolver paso a paso cada reacción, el tipo de problema de varios pasos al que se dirigen los prompts de cadena de pensamiento y los modelos de razonamiento.

Este proceso produjo las cifras de referencia más destacadas del benchmark. Los expertos respondieron correctamente al 65 % de las preguntas de su propia disciplina, porcentaje que subía al 74 % al excluir los errores que reconocieron al revisarlos. Las personas no expertas acertaron solo el 34 %, nueve puntos por encima del 25 % que se espera al adivinar al azar; eso es lo que significa en la práctica «resistente a Google». En el momento de su publicación, la mejor puntuación de referencia de GPT-4, con prompting de cadena de pensamiento de pocos ejemplos, rondaba el 39 %.

Conjuntos Extended, Main y Diamond#

GPQA se publica en tres subconjuntos anidados, cada uno con un filtrado más estricto que el anterior:

  • Conjunto ampliado (546 preguntas): Todas las preguntas publicadas, antes del filtrado. Los autores reservaron otras 18 para un conjunto no publicado.
  • Conjunto principal (448 preguntas): Al menos uno de los dos expertos validadores coincidió con la respuesta y, como máximo, dos de las tres personas no expertas la acertaron.
  • Diamond (198 preguntas): Ambos expertos coincidieron con la respuesta y, como máximo, una persona no experta la acertó. Un experto que respondió mal también cuenta como coincidente si después identificó claramente su propio error.

Diamond es la opción estándar para comparar modelos porque conserva las preguntas con las respuestas más claras y la mayor diferencia entre expertos y personas no expertas.

Cómo interpretar las puntuaciones de GPQA#

En septiembre de 2024, OpenAI informó de que su modelo de razonamiento o1 superaba la precisión de los expertos con doctorado en Diamond y, para 2026, las mejores puntuaciones publicadas para los modelos de vanguardia superaban el 90 %. A ese nivel, las diferencias pequeñas aportan poca información. Cada pregunta de Diamond equivale a medio punto porcentual aproximadamente, y con una precisión del 90 %, el error estándar de las 198 preguntas ronda los 2,1 puntos. Así, un intervalo de confianza del 95 % abarca aproximadamente más o menos 4 puntos, y dos modelos separados por unos pocos puntos no se distinguen estadísticamente.

Los detalles del protocolo también cambian las puntuaciones. El prompting de cero o pocos ejemplos, si se permite la cadena de pensamiento, cuántas muestras se promedian, si se barajan las opciones de respuesta y si el modelo puede utilizar herramientas influyen en los resultados. Por eso, para que las comparaciones sean justas, hay que mantener fijas estas condiciones, como hace Humanity's Last Exam, que informa por separado de la configuración de herramientas. La contaminación es otro riesgo de cualquier benchmark público. Los datos de GPQA incluyen una cadena canario para que las canalizaciones de entrenamiento puedan filtrarlos, y los autores piden que no se publiquen las preguntas en texto plano en Internet. Si los ejemplos se filtran al texto de la web, una puntuación alta puede reflejar memorización: una forma de filtración de datos que LiveCodeBench evita fechando sus problemas.

Los benchmarks de visión siguen la misma disciplina de presentación de resultados. La documentación de detección de objetos de Ultralytics muestra la precisión media (mAP) de YOLO26 en la partición COCO val2017 de 5.000 imágenes junto al comando exacto de validación que reproduce cada cifra, con nms=False añadido para reproducir la columna de extremo a extremo. La clasificación de VLM de Ultralytics evalúa modelos de lenguaje y visión con el mismo código de validación y documenta cómo toma una muestra de imágenes y puntúa cada cuadro.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático