Licence YOLO
Retour au glossaire Ultralytics

GPQA

GPQA est un benchmark scientifique de niveau universitaire avancé auquel les experts titulaires d’un doctorat répondent correctement à 65 % des questions, contre 34 % pour les non-experts utilisant la recherche sur le Web. Présentation de sa catégorie Diamond et de l’interprétation des scores.

GPQA, abréviation de Graduate-Level Google-Proof Q&A, est un benchmark composé de 448 questions à choix multiples en biologie, chimie et physique, rédigées par des spécialistes pour que ces derniers puissent y répondre, mais pas les non-spécialistes compétents, même avec un accès illimité au Web. David Rein et ses collègues de New York University, Cohere et Anthropic l’ont publié en novembre 2023 dans l’article GPQA : un benchmark de questions-réponses de niveau universitaire résistant à Google afin de mesurer le raisonnement scientifique des grands modèles de langage (LLM). Son sous-ensemble Diamond, plus difficile et composé de 198 questions, est devenu l’un des scores les plus souvent rapportés dans les annonces de modèles, de GPT-5 d’OpenAI aux modèles Claude 4 d’Anthropic.

Le benchmark a aussi été conçu pour la recherche sur la supervision évolutive, un domaine de la sécurité de l’IA et du superalignement : si les systèmes d’IA finissent par répondre à des questions que leurs superviseurs humains ne peuvent pas vérifier, il faut trouver des moyens de valider ces réponses. GPQA propose des questions pour lesquelles cet écart entre spécialistes et non-spécialistes existe déjà.

Rédaction et validation des questions#

Les auteurs ont recruté 61 prestataires sur Upwork, tous titulaires ou candidats au doctorat. Un rédacteur préparait une question comportant une bonne réponse et trois distracteurs plausibles. Un deuxième spécialiste du même domaine y répondait et formulait des commentaires ; le rédacteur révisait ensuite la question, puis un troisième spécialiste répondait à la version révisée. Enfin, trois évaluateurs non spécialistes, titulaires d’un doctorat dans d’autres domaines, essayaient de répondre à chaque question avec un accès complet à Internet, mais sans assistants d’IA, en y consacrant en moyenne 37 minutes. Les rédacteurs recevaient des primes lorsque les spécialistes répondaient correctement et que les non-spécialistes échouaient, ce qui récompensait les questions objectivement solubles, mais difficiles à retrouver.

L’échantillon de chimie organique publié avec l’article fait réagir le méthylcyclopentadiène avec la méthylisopentylcétone pour former des dérivés du fulvène, qui réagissent ensuite avec l’acrylate d’éthyle, et demande combien d’isomères chimiquement distincts composent le produit final. Pour répondre, il faut examiner chaque étape de réaction, le type de problème à plusieurs étapes visé par le prompting en chaîne de raisonnement et les modèles de raisonnement.

Ce processus a produit les résultats de référence du benchmark. Les spécialistes ont répondu correctement à 65 % des questions de leur domaine, un taux qui atteint 74 % si l’on exclut les erreurs qu’ils ont reconnues après coup. Les non-spécialistes n’ont obtenu que 34 %, soit neuf points de plus que les 25 % attendus en répondant au hasard, ce qui montre en pratique ce que signifie « résistant à Google ». À sa publication, la meilleure référence de GPT-4, avec un prompting en chaîne de raisonnement à quelques exemples, obtenait environ 39 %.

Ensembles Extended, Main et Diamond#

GPQA est proposé en trois sous-ensembles imbriqués, chacun étant filtré plus strictement que le précédent :

  • Extended (546 questions) : Toutes les questions publiées, avant filtrage. Les auteurs en ont retenu 18 autres pour un ensemble non publié.
  • Main (448 questions) : Au moins un des deux spécialistes chargés de la validation était d’accord avec la réponse, et deux non-spécialistes au maximum sur trois ont trouvé la bonne réponse.
  • Diamond (198 questions) : Les deux spécialistes étaient d’accord avec la réponse, et un non-spécialiste au maximum a trouvé la bonne réponse. Un spécialiste ayant donné une réponse erronée est tout de même considéré comme d’accord s’il a clairement identifié son erreur par la suite.

Diamond est le choix standard pour comparer les modèles, car il conserve les questions dont les réponses sont les plus claires et où l’écart entre spécialistes et non-spécialistes est le plus marqué.

Interpréter les scores GPQA#

En septembre 2024, OpenAI a annoncé que son modèle de raisonnement o1 dépassait les spécialistes titulaires d’un doctorat sur Diamond ; en 2026, les meilleurs scores publiés pour les modèles de pointe dépassaient 90 %. À ce niveau, les petits écarts sont peu informatifs. Chaque question Diamond vaut environ un demi-point de pourcentage et, à 90 % de précision, l’erreur type sur 198 questions est d’environ 2,1 points. L’intervalle de confiance à 95 % s’étend donc sur environ plus ou moins 4 points, et deux modèles séparés de quelques points ne sont pas statistiquement distinguables.

Les détails du protocole font aussi varier les scores. Le prompting à zéro ou à quelques exemples, l’autorisation ou non de la chaîne de raisonnement, le nombre d’échantillons moyennés, le mélange ou non des choix de réponse et l’accès du modèle aux outils modifient tous les résultats. Pour comparer équitablement, il faut donc garder ces paramètres fixes, comme le fait Humanity's Last Exam en indiquant séparément les paramètres des outils. La contamination représente un autre risque pour tout benchmark public. Les données GPQA comportent une chaîne canari afin que les pipelines d’entraînement puissent les filtrer, et les auteurs demandent aux utilisateurs de ne pas publier les questions en texte brut en ligne : si les exemples se retrouvent dans des textes Web, un score élevé peut refléter une mémorisation, forme de fuite de données évitée par LiveCodeBench, qui date ses problèmes.

Les benchmarks de vision suivent la même rigueur de présentation des résultats. La documentation Ultralytics sur la détection d’objets répertorie la précision moyenne de YOLO26 (mAP) sur la division val2017 de COCO, qui comprend 5 000 images, à côté de la commande exacte de validation qui reproduit chaque valeur, avec nms=False ajouté pour reproduire la colonne de bout en bout. Le classement VLM d’Ultralytics évalue les modèles de langage et de vision avec le même code de validation et explique comment il échantillonne les images et évalue chaque boîte.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique