GPQA
GPQA è un benchmark scientifico di livello universitario a cui gli esperti con un dottorato rispondono correttamente nel 65% dei casi, contro il 34% dei non esperti che effettuano ricerche sul Web. Panoramica del set Diamond e di come interpretare i punteggi.
GPQA, abbreviazione di Graduate-Level Google-Proof Q&A, è un benchmark composto da 448 domande a scelta multipla di biologia, chimica e fisica, redatte da esperti del settore in modo che gli specialisti sappiano rispondere, mentre le persone non esperte ma preparate non ci riescano, neppure con accesso illimitato al web. David Rein e i colleghi della New York University, di Cohere e di Anthropic lo hanno pubblicato a novembre 2023 nell'articolo GPQA: un benchmark Google-proof di domande e risposte di livello universitario per misurare il ragionamento scientifico nei modelli linguistici di grandi dimensioni (LLM). La più difficile sottosezione Diamond, composta da 198 domande, è diventata uno dei punteggi più citati negli annunci dei modelli, da GPT-5 di OpenAI ai modelli Claude 4 di Anthropic.
Il benchmark è stato creato anche per la ricerca sulla supervisione scalabile, un ramo della sicurezza dell'IA e del superallineamento: se i sistemi di IA arriveranno a rispondere a domande che i supervisori umani non sanno verificare, serviranno metodi per controllare quelle risposte. GPQA propone domande per le quali esiste già questa differenza tra esperti e non esperti.
Come sono state scritte e convalidate le domande#
Gli autori hanno assunto 61 collaboratori tramite Upwork, tutti in possesso di un dottorato o impegnati a conseguirlo. Un autore preparava una domanda con una risposta corretta e tre distrattori plausibili. Un secondo esperto dello stesso settore rispondeva e forniva un riscontro; l'autore rivedeva la domanda e un terzo esperto rispondeva alla versione rivista. Tre validatori non esperti, specialisti con un dottorato in altri settori, provavano poi a rispondere a ogni domanda con accesso completo a Internet ma senza assistenti di IA, impiegando in media 37 minuti. Gli autori ricevevano premi quando gli esperti rispondevano correttamente e i non esperti no: in questo modo venivano premiate le domande a cui si poteva rispondere oggettivamente, ma che erano difficili da reperire.
Il campione di chimica organica pubblicato con l'articolo presenta la reazione del metilciclopentadiene con il metil isamil chetone per formare derivati del fulvene, che reagiscono poi con l'acrilato di etile, e chiede quanti isomeri chimicamente distinti compongano il prodotto finale. Per rispondere bisogna analizzare ogni passaggio della reazione, come nei problemi a più passaggi affrontati dal prompting chain-of-thought e dai modelli di ragionamento.
Questo processo ha prodotto i valori di riferimento più citati del benchmark. Gli esperti hanno risposto correttamente al 65% delle domande nel proprio settore, percentuale salita al 74% escludendo gli errori riconosciuti a posteriori. I non esperti hanno raggiunto solo il 34%, nove punti sopra il 25% previsto dal caso: questo è il significato pratico di «Google-proof». Al momento della pubblicazione, il miglior valore di riferimento di GPT-4, ottenuto con prompting chain-of-thought a pochi esempi, era di circa il 39%.
Set Extended, Main e Diamond#
GPQA è disponibile in tre sottoinsiemi annidati, ciascuno filtrato in modo più rigoroso del precedente:
- Extended (546 domande): tutte le domande pubblicate, prima del filtraggio. Gli autori ne hanno tenute da parte altre 18, non pubblicate.
- Main (448 domande): almeno uno dei due esperti validatori ha concordato con la risposta e non più di due dei tre non esperti hanno risposto correttamente.
- Diamond (198 domande): entrambi gli esperti hanno concordato con la risposta e non più di un non esperto ha risposto correttamente. Un esperto che ha sbagliato viene comunque considerato concorde se in seguito ha riconosciuto chiaramente il proprio errore.
Diamond è la scelta standard per confrontare i modelli, perché include le domande con le risposte più chiare e la maggiore differenza tra esperti e non esperti.
Interpretare i punteggi di GPQA#
A settembre 2024, OpenAI ha dichiarato che il suo modello di ragionamento o1 aveva superato l'accuratezza degli esperti con dottorato su Diamond; entro il 2026, i migliori punteggi riportati per i modelli di frontiera superavano il 90%. A quei livelli, le differenze ridotte sono poco informative. Ogni domanda di Diamond vale circa mezzo punto percentuale e, con un'accuratezza del 90%, l'errore standard sulle 198 domande è di circa 2,1 punti: l'intervallo di confidenza al 95% è quindi di circa più o meno 4 punti, rendendo statisticamente indistinguibili due modelli separati da pochi punti.
Anche i dettagli del protocollo modificano i punteggi. Il prompting zero-shot o a pochi esempi, la possibilità di usare il chain-of-thought, il numero di campioni mediati, l'eventuale rimescolamento delle opzioni di risposta e la possibilità per il modello di usare strumenti cambiano i risultati; perciò, per un confronto equo, questi fattori vanno mantenuti costanti, come fa Humanity's Last Exam, riportando separatamente le impostazioni degli strumenti. Un altro rischio per qualsiasi benchmark pubblico è la contaminazione. I dati GPQA contengono una stringa canary che permette di escluderli dalle pipeline di addestramento, e gli autori chiedono agli utenti di non pubblicare le domande online in testo semplice: una volta che gli esempi finiscono nei testi sul web, un punteggio elevato può riflettere la memorizzazione, una forma di data leakage che LiveCodeBench evita assegnando una data ai problemi.
I benchmark per la visione seguono la stessa disciplina di rendicontazione. La documentazione Ultralytics sul rilevamento degli oggetti elenca la precisione media di YOLO26 (mAP) sulla suddivisione val2017 di COCO, composta da 5.000 immagini, accanto al comando esatto di validazione che riproduce ogni numero, con nms=False aggiunto per riprodurre la colonna end-to-end. La classifica VLM di Ultralytics valuta i modelli visione-linguaggio con lo stesso codice di validazione e documenta come campiona le immagini e valuta ogni riquadro.










