GPQA
GPQA é um benchmark de ciências de nível de pós-graduação que especialistas com doutorado respondem corretamente em 65% dos casos, contra 34% de não especialistas que pesquisam na web. O conjunto Diamond e como interpretar as pontuações.
GPQA, abreviação de Graduate-Level Google-Proof Q&A, é um benchmark com 448 perguntas de múltipla escolha sobre biologia, química e física, elaboradas por especialistas para que especialistas consigam respondê-las, mas não pessoas com conhecimentos avançados fora dessas áreas, mesmo com acesso irrestrito à Web. David Rein e colegas da New York University, Cohere e Anthropic lançaram-no em novembro de 2023 no artigo GPQA: um benchmark Google-Proof de perguntas e respostas de nível de pós-graduação para medir o raciocínio científico em modelos de linguagem de grande porte (LLMs). O subconjunto Diamond, mais difícil, com 198 perguntas, tornou-se uma das pontuações mais divulgadas em anúncios de modelos, do GPT-5 da OpenAI aos modelos Claude 4 da Anthropic.
O benchmark também foi criado para pesquisas sobre supervisão escalável, um ramo da segurança de IA e do superalinhamento: se os sistemas de IA eventualmente responderem a perguntas que os supervisores humanos não conseguem verificar, as pessoas precisarão de formas de confirmar essas respostas. O GPQA fornece perguntas em que essa diferença entre especialistas e não especialistas já existe.
Como foram redigidas e validadas as perguntas#
Os autores contrataram 61 colaboradores por meio da Upwork, todos com doutorado ou em fase de doutoramento. Um redator elaborava uma pergunta com uma resposta correta e três alternativas plausíveis. Um segundo especialista da mesma área respondia à pergunta e dava feedback; o redator revisava-a, e um terceiro especialista respondia à versão revista. Em seguida, três validadores não especialistas, doutorados em outras áreas, tentavam responder a cada pergunta com acesso total à Internet, mas sem assistentes de IA, dedicando em média 37 minutos. Os redatores recebiam bônus quando os especialistas acertavam e os não especialistas erravam, o que incentivava perguntas com respostas objetivamente corretas, mas difíceis de encontrar.
A amostra de química orgânica publicada com o artigo envolve uma reação entre metilciclopentadieno e metil-isoamil-cetona para formar derivados de fulveno, que depois reagem com acrilato de etila, e pergunta quantos isômeros quimicamente distintos compõem o produto final. Para responder, é preciso analisar cada etapa da reação, o tipo de problema em várias etapas que a solicitação de cadeia de pensamento e os modelos de raciocínio procuram resolver.
Esse processo produziu os resultados de referência mais divulgados do benchmark. Especialistas responderam corretamente a 65% das perguntas da sua área, percentual que subiu para 74% quando se excluíram os erros que reconheceram posteriormente. Os não especialistas acertaram apenas 34%, nove pontos acima dos 25% esperados com palpites aleatórios, que é o significado prático de «Google-Proof». No lançamento, a melhor pontuação de referência do GPT-4, usando solicitação de cadeia de pensamento com poucos exemplos, foi de cerca de 39%.
Conjuntos Extended, Main e Diamond#
O GPQA é lançado em três subconjuntos aninhados, cada um com filtros mais rigorosos que o anterior:
- Estendido (546 perguntas): Todas as perguntas divulgadas, antes da filtragem. Os autores reservaram mais 18 perguntas para um conjunto não divulgado.
- Principal (448 perguntas): Pelo menos um dos dois especialistas validadores concordou com a resposta, e no máximo dois dos três não especialistas acertaram.
- Diamond (198 perguntas): Ambos os especialistas concordaram com a resposta, e no máximo um não especialista acertou. Um especialista que respondeu incorretamente ainda conta como tendo concordado se depois identificou claramente o próprio erro.
Diamond é a opção padrão para comparar modelos, pois mantém as perguntas com as respostas mais claras e a maior diferença entre especialistas e não especialistas.
Como interpretar as pontuações do GPQA#
Em setembro de 2024, a OpenAI informou que o seu modelo de raciocínio o1 superou a precisão de especialistas com doutoramento no Diamond; em 2026, as melhores pontuações divulgadas para modelos de fronteira já passavam de 90%. Nesse nível, pequenas diferenças trazem pouca informação. Cada pergunta Diamond vale cerca de meio ponto percentual, e, com 90% de precisão, o erro padrão em 198 perguntas é de cerca de 2.1 pontos, portanto, o intervalo de confiança de 95% abrange aproximadamente mais ou menos 4 pontos e dois modelos separados por poucos pontos não são estatisticamente distinguíveis.
Os detalhes do protocolo também alteram as pontuações. Solicitação sem exemplos ou com poucos exemplos, permissão para usar cadeia de pensamento, quantidade de amostras usada para calcular a média, ordem aleatória das opções de resposta e acesso do modelo a ferramentas influenciam os resultados. Por isso, comparações justas mantêm essas condições fixas, como faz o Humanity's Last Exam, que informa as configurações das ferramentas separadamente. A contaminação é outro risco de qualquer benchmark público. Os dados do GPQA contêm uma cadeia identificadora para que os pipelines de treinamento possam filtrá-los, e os autores pedem que os usuários não publiquem perguntas em texto simples online, pois, quando os exemplos vazam para textos da Web, uma pontuação alta pode refletir memorização, uma forma de vazamento de dados que o LiveCodeBench evita datando os seus problemas.
Os benchmarks de visão seguem a mesma disciplina de apresentação de resultados. A documentação de detecção de objetos da Ultralytics lista a média da precisão média (mAP) do YOLO26 na divisão val2017 do COCO, com 5.000 imagens, ao lado do comando exato de validação que reproduz cada número, com nms=False incluído para reproduzir a coluna de ponta a ponta. O Leaderboard de VLMs da Ultralytics avalia modelos de linguagem visual com o mesmo código de validação e documenta como amostra as imagens e pontua cada caixa.










