GPQA
GPQA est un benchmark scientifique de niveau universitaire avancé auquel les experts titulaires d’un doctorat répondent correctement à 65 % des questions, contre 34 % pour les non-experts utilisant la recherche sur le Web. Présentation de sa catégorie Diamond et de l’interprétation des scores.
GPQA, abréviation de Graduate-Level Google-Proof Q&A, est un benchmark composé de 448 questions à choix multiples en biologie, chimie et physique, rédigées par des spécialistes pour que ces derniers puissent y répondre, mais pas les non-spécialistes compétents, même avec un accès illimité au Web. David Rein et ses collègues de New York University, Cohere et Anthropic l’ont publié en novembre 2023 dans l’article GPQA : un benchmark de questions-réponses de niveau universitaire résistant à Google afin de mesurer le raisonnement scientifique des grands modèles de langage (LLM). Son sous-ensemble Diamond, plus difficile et composé de 198 questions, est devenu l’un des scores les plus souvent rapportés dans les annonces de modèles, de GPT-5 d’OpenAI aux modèles Claude 4 d’Anthropic.
Le benchmark a aussi été conçu pour la recherche sur la supervision évolutive, un domaine de la sécurité de l’IA et du superalignement : si les systèmes d’IA finissent par répondre à des questions que leurs superviseurs humains ne peuvent pas vérifier, il faut trouver des moyens de valider ces réponses. GPQA propose des questions pour lesquelles cet écart entre spécialistes et non-spécialistes existe déjà.
Rédaction et validation des questions#
Les auteurs ont recruté 61 prestataires sur Upwork, tous titulaires ou candidats au doctorat. Un rédacteur préparait une question comportant une bonne réponse et trois distracteurs plausibles. Un deuxième spécialiste du même domaine y répondait et formulait des commentaires ; le rédacteur révisait ensuite la question, puis un troisième spécialiste répondait à la version révisée. Enfin, trois évaluateurs non spécialistes, titulaires d’un doctorat dans d’autres domaines, essayaient de répondre à chaque question avec un accès complet à Internet, mais sans assistants d’IA, en y consacrant en moyenne 37 minutes. Les rédacteurs recevaient des primes lorsque les spécialistes répondaient correctement et que les non-spécialistes échouaient, ce qui récompensait les questions objectivement solubles, mais difficiles à retrouver.
L’échantillon de chimie organique publié avec l’article fait réagir le méthylcyclopentadiène avec la méthylisopentylcétone pour former des dérivés du fulvène, qui réagissent ensuite avec l’acrylate d’éthyle, et demande combien d’isomères chimiquement distincts composent le produit final. Pour répondre, il faut examiner chaque étape de réaction, le type de problème à plusieurs étapes visé par le prompting en chaîne de raisonnement et les modèles de raisonnement.
Ce processus a produit les résultats de référence du benchmark. Les spécialistes ont répondu correctement à 65 % des questions de leur domaine, un taux qui atteint 74 % si l’on exclut les erreurs qu’ils ont reconnues après coup. Les non-spécialistes n’ont obtenu que 34 %, soit neuf points de plus que les 25 % attendus en répondant au hasard, ce qui montre en pratique ce que signifie « résistant à Google ». À sa publication, la meilleure référence de GPT-4, avec un prompting en chaîne de raisonnement à quelques exemples, obtenait environ 39 %.
Ensembles Extended, Main et Diamond#
GPQA est proposé en trois sous-ensembles imbriqués, chacun étant filtré plus strictement que le précédent :
- Extended (546 questions) : Toutes les questions publiées, avant filtrage. Les auteurs en ont retenu 18 autres pour un ensemble non publié.
- Main (448 questions) : Au moins un des deux spécialistes chargés de la validation était d’accord avec la réponse, et deux non-spécialistes au maximum sur trois ont trouvé la bonne réponse.
- Diamond (198 questions) : Les deux spécialistes étaient d’accord avec la réponse, et un non-spécialiste au maximum a trouvé la bonne réponse. Un spécialiste ayant donné une réponse erronée est tout de même considéré comme d’accord s’il a clairement identifié son erreur par la suite.
Diamond est le choix standard pour comparer les modèles, car il conserve les questions dont les réponses sont les plus claires et où l’écart entre spécialistes et non-spécialistes est le plus marqué.
Interpréter les scores GPQA#
En septembre 2024, OpenAI a annoncé que son modèle de raisonnement o1 dépassait les spécialistes titulaires d’un doctorat sur Diamond ; en 2026, les meilleurs scores publiés pour les modèles de pointe dépassaient 90 %. À ce niveau, les petits écarts sont peu informatifs. Chaque question Diamond vaut environ un demi-point de pourcentage et, à 90 % de précision, l’erreur type sur 198 questions est d’environ 2,1 points. L’intervalle de confiance à 95 % s’étend donc sur environ plus ou moins 4 points, et deux modèles séparés de quelques points ne sont pas statistiquement distinguables.
Les détails du protocole font aussi varier les scores. Le prompting à zéro ou à quelques exemples, l’autorisation ou non de la chaîne de raisonnement, le nombre d’échantillons moyennés, le mélange ou non des choix de réponse et l’accès du modèle aux outils modifient tous les résultats. Pour comparer équitablement, il faut donc garder ces paramètres fixes, comme le fait Humanity's Last Exam en indiquant séparément les paramètres des outils. La contamination représente un autre risque pour tout benchmark public. Les données GPQA comportent une chaîne canari afin que les pipelines d’entraînement puissent les filtrer, et les auteurs demandent aux utilisateurs de ne pas publier les questions en texte brut en ligne : si les exemples se retrouvent dans des textes Web, un score élevé peut refléter une mémorisation, forme de fuite de données évitée par LiveCodeBench, qui date ses problèmes.
Les benchmarks de vision suivent la même rigueur de présentation des résultats. La documentation Ultralytics sur la détection d’objets répertorie la précision moyenne de YOLO26 (mAP) sur la division val2017 de COCO, qui comprend 5 000 images, à côté de la commande exacte de validation qui reproduit chaque valeur, avec nms=False ajouté pour reproduire la colonne de bout en bout. Le classement VLM d’Ultralytics évalue les modèles de langage et de vision avec le même code de validation et explique comment il échantillonne les images et évalue chaque boîte.










