GPQA

GPQA signifie Questions-réponses de niveau universitaire avancé résistantes à Google, un benchmark qui évalue la capacité des systèmes d’IA à répondre à des questions scientifiques difficiles. Il teste les connaissances spécialisées et le raisonnement en biologie, en chimie et en physique au moyen de questions à choix multiples rédigées par des experts du domaine. En pratique, GPQA cherche à déterminer si un système peut appliquer sa compréhension scientifique — et non simplement reconnaître des faits familiers ou retrouver une phrase correspondante.

Pour un grand modèle de langage, qui traite et génère du langage, GPQA fournit une mesure ciblée de la capacité à répondre à des questions scientifiques avancées. C’est un outil d’évaluation, et non une architecture de modèle, une technique d’entraînement ou une certification des compétences scientifiques.

Fonctionnement de GPQA#

Chaque question propose quatre choix de réponse, dont une bonne réponse et trois distracteurs : des alternatives plausibles, mais incorrectes. Pour la résoudre, il peut être nécessaire d’interpréter des hypothèses, de relier plusieurs principes ou d’écarter des explications qui semblent raisonnables au premier abord.

Par exemple, une question de type chimie pourrait décrire plusieurs voies réactionnelles concurrentes et demander quel produit est favorisé dans certaines conditions. Connaître le nom d’une réaction ne suffirait pas nécessairement ; le système doit appliquer les contraintes pertinentes. Cet exemple illustre le type de tâche sans reproduire une question du benchmark.

L’expression « résistant à Google » décrit l’objectif de conception du benchmark : les questions doivent rester difficiles pour les non-spécialistes bien informés, même lorsqu’ils ont accès au Web. Cela ne signifie pas qu’il est impossible de trouver les réponses en ligne ou que la navigation est interdite dans toutes les évaluations. L’autorisation d’utiliser des outils fait partie du protocole de test et doit être précisée.

GPQA Diamond et concepts associés#

L’ensemble principal de GPQA comprend 448 questions. GPQA Diamond est un sous-ensemble filtré plus rigoureusement de 198 questions, qui met l’accent sur le consensus des experts et la difficulté pour les non-spécialistes. La documentation d’évaluation de GPQA Diamond décrit son format à quatre choix et ses domaines scientifiques. Diamond n’est ni un modèle distinct ni un test universel d’intelligence, et ses scores ne doivent pas être considérés comme interchangeables avec ceux de l’ensemble principal.

SuperGPQA est une évaluation distincte, plus vaste et de niveau universitaire avancé, qui couvre de nombreuses disciplines plutôt que les trois seuls domaines scientifiques de GPQA. La similitude de leurs noms ne rend pas leurs résultats directement comparables.

GPQA se distingue également de la réponse à des questions, tâche générale qui consiste à répondre à des questions. GPQA est une évaluation spécifique de cette capacité. Contrairement à la réponse visuelle à des questions, GPQA ne teste pas l’interprétation d’images pour répondre à des questions. De bonnes performances en sciences sur du texte ne permettent donc pas d’établir la précision de la perception visuelle.

Que signifie un score GPQA ?#

La mesure principale est la précision des réponses : la proportion de questions auxquelles le système répond correctement. Avec quatre choix, une réponse choisie uniformément au hasard donne une précision attendue de 25 %. À titre d’exemple, 150 bonnes réponses sur 198 correspondent à environ 75,8 %.

Toutefois, le pourcentage seul ne suffit pas. Les comparaisons doivent préciser le sous-ensemble, la version du modèle, le prompt, l’accès aux outils, le budget de raisonnement et le nombre de tentatives. Une seule réponse par question correspond à un protocole différent de celui qui consiste à générer plusieurs réponses puis à en sélectionner une.

Les faibles écarts de score appellent également à la prudence. Une bonne réponse supplémentaire sur Diamond modifie la précision d’environ 0,5 point de pourcentage. Les intervalles de confiance binomiaux peuvent aider à communiquer l’incertitude, mais ne résolvent ni le biais du jeu de données ni les différences de protocole.

Les bonnes réponses ne garantissent pas que les explications soient correctes. Un système peut choisir la bonne option tout en produisant une hallucination — une explication plausible en apparence, mais sans fondement. Les scores GPQA doivent donc compléter les tests propres à chaque application, et non s’y substituer.

Deux exemples d’applications pratiques#

Sélection d’un assistant scientifique. Imaginons un laboratoire qui compare des assistants capables d’expliquer une activité enzymatique inattendue. GPQA peut donner une première indication de leurs capacités scientifiques. L’équipe doit ensuite tester ses propres scénarios expérimentaux et faire examiner les explications par des spécialistes. Confondre corrélation et mécanisme pourrait orienter à tort les expériences de suivi, même avec un score élevé au benchmark.

Assistance en microscopie. Imaginons un système qui combine un détecteur de cellules et un assistant expliquant les variations du nombre de cellules. GPQA peut aider à évaluer le raisonnement scientifique de la composante linguistique, mais ne dit rien sur la capacité du détecteur à repérer des cellules qui se chevauchent. Évalue les deux séparément — détection et interprétation — puis teste le flux de travail complet. Cette approche adaptée au contexte est conforme au Cadre de gestion des risques liés à l’IA du NIST.

Conseils pratiques pour l’évaluation#

Préserve l’intégrité de l’évaluation en utilisant des ensembles distincts pour l’entraînement, la validation et le test. Évite la fuite de données, lorsque des informations d’évaluation influencent le développement et gonflent les performances apparentes. L’exposition publique au benchmark peut également compliquer l’interprétation.

Pour une application combinant vision et langage, évalue la composante visuelle avec ses propres métriques. Après avoir installé ultralytics avec pip install ultralytics, ce flux de validation Ultralytics YOLO documenté évalue YOLO26 :

from ultralytics import YOLO

if __name__ == "__main__":
    # Charger un détecteur d’objets préentraîné.
    model = YOLO("yolo26n.pt")

    # Comparer les prédictions aux images de validation annotées.
    metrics = model.val(data="coco8.yaml")

    # Rendre compte des performances de détection, pas du raisonnement scientifique.
    print("mAP50-95:", metrics.box.map)

L’exemple de jeu de données COCO8 illustre l’API ; il est trop petit pour tirer des conclusions sur le déploiement. Le résultat est la précision moyenne, qui évalue la détection selon différents seuils de chevauchement des boîtes englobantes — et non un score GPQA. Le principe essentiel consiste à faire correspondre chaque affirmation de performance à la capacité réellement mesurée.