Licenciar o YOLO
Voltar ao glossário da Ultralytics

GPQA

GPQA é um benchmark de ciências de nível de pós-graduação que especialistas com doutorado respondem corretamente em 65% dos casos, contra 34% de não especialistas que pesquisam na web. O conjunto Diamond e como interpretar as pontuações.

GPQA, abreviação de Graduate-Level Google-Proof Q&A, é um benchmark com 448 perguntas de múltipla escolha sobre biologia, química e física, elaboradas por especialistas para que especialistas consigam respondê-las, mas não pessoas com conhecimentos avançados fora dessas áreas, mesmo com acesso irrestrito à Web. David Rein e colegas da New York University, Cohere e Anthropic lançaram-no em novembro de 2023 no artigo GPQA: um benchmark Google-Proof de perguntas e respostas de nível de pós-graduação para medir o raciocínio científico em modelos de linguagem de grande porte (LLMs). O subconjunto Diamond, mais difícil, com 198 perguntas, tornou-se uma das pontuações mais divulgadas em anúncios de modelos, do GPT-5 da OpenAI aos modelos Claude 4 da Anthropic.

O benchmark também foi criado para pesquisas sobre supervisão escalável, um ramo da segurança de IA e do superalinhamento: se os sistemas de IA eventualmente responderem a perguntas que os supervisores humanos não conseguem verificar, as pessoas precisarão de formas de confirmar essas respostas. O GPQA fornece perguntas em que essa diferença entre especialistas e não especialistas já existe.

Como foram redigidas e validadas as perguntas#

Os autores contrataram 61 colaboradores por meio da Upwork, todos com doutorado ou em fase de doutoramento. Um redator elaborava uma pergunta com uma resposta correta e três alternativas plausíveis. Um segundo especialista da mesma área respondia à pergunta e dava feedback; o redator revisava-a, e um terceiro especialista respondia à versão revista. Em seguida, três validadores não especialistas, doutorados em outras áreas, tentavam responder a cada pergunta com acesso total à Internet, mas sem assistentes de IA, dedicando em média 37 minutos. Os redatores recebiam bônus quando os especialistas acertavam e os não especialistas erravam, o que incentivava perguntas com respostas objetivamente corretas, mas difíceis de encontrar.

A amostra de química orgânica publicada com o artigo envolve uma reação entre metilciclopentadieno e metil-isoamil-cetona para formar derivados de fulveno, que depois reagem com acrilato de etila, e pergunta quantos isômeros quimicamente distintos compõem o produto final. Para responder, é preciso analisar cada etapa da reação, o tipo de problema em várias etapas que a solicitação de cadeia de pensamento e os modelos de raciocínio procuram resolver.

Esse processo produziu os resultados de referência mais divulgados do benchmark. Especialistas responderam corretamente a 65% das perguntas da sua área, percentual que subiu para 74% quando se excluíram os erros que reconheceram posteriormente. Os não especialistas acertaram apenas 34%, nove pontos acima dos 25% esperados com palpites aleatórios, que é o significado prático de «Google-Proof». No lançamento, a melhor pontuação de referência do GPT-4, usando solicitação de cadeia de pensamento com poucos exemplos, foi de cerca de 39%.

Conjuntos Extended, Main e Diamond#

O GPQA é lançado em três subconjuntos aninhados, cada um com filtros mais rigorosos que o anterior:

  • Estendido (546 perguntas): Todas as perguntas divulgadas, antes da filtragem. Os autores reservaram mais 18 perguntas para um conjunto não divulgado.
  • Principal (448 perguntas): Pelo menos um dos dois especialistas validadores concordou com a resposta, e no máximo dois dos três não especialistas acertaram.
  • Diamond (198 perguntas): Ambos os especialistas concordaram com a resposta, e no máximo um não especialista acertou. Um especialista que respondeu incorretamente ainda conta como tendo concordado se depois identificou claramente o próprio erro.

Diamond é a opção padrão para comparar modelos, pois mantém as perguntas com as respostas mais claras e a maior diferença entre especialistas e não especialistas.

Como interpretar as pontuações do GPQA#

Em setembro de 2024, a OpenAI informou que o seu modelo de raciocínio o1 superou a precisão de especialistas com doutoramento no Diamond; em 2026, as melhores pontuações divulgadas para modelos de fronteira já passavam de 90%. Nesse nível, pequenas diferenças trazem pouca informação. Cada pergunta Diamond vale cerca de meio ponto percentual, e, com 90% de precisão, o erro padrão em 198 perguntas é de cerca de 2.1 pontos, portanto, o intervalo de confiança de 95% abrange aproximadamente mais ou menos 4 pontos e dois modelos separados por poucos pontos não são estatisticamente distinguíveis.

Os detalhes do protocolo também alteram as pontuações. Solicitação sem exemplos ou com poucos exemplos, permissão para usar cadeia de pensamento, quantidade de amostras usada para calcular a média, ordem aleatória das opções de resposta e acesso do modelo a ferramentas influenciam os resultados. Por isso, comparações justas mantêm essas condições fixas, como faz o Humanity's Last Exam, que informa as configurações das ferramentas separadamente. A contaminação é outro risco de qualquer benchmark público. Os dados do GPQA contêm uma cadeia identificadora para que os pipelines de treinamento possam filtrá-los, e os autores pedem que os usuários não publiquem perguntas em texto simples online, pois, quando os exemplos vazam para textos da Web, uma pontuação alta pode refletir memorização, uma forma de vazamento de dados que o LiveCodeBench evita datando os seus problemas.

Os benchmarks de visão seguem a mesma disciplina de apresentação de resultados. A documentação de detecção de objetos da Ultralytics lista a média da precisão média (mAP) do YOLO26 na divisão val2017 do COCO, com 5.000 imagens, ao lado do comando exato de validação que reproduz cada número, com nms=False incluído para reproduzir a coluna de ponta a ponta. O Leaderboard de VLMs da Ultralytics avalia modelos de linguagem visual com o mesmo código de validação e documenta como amostra as imagens e pontua cada caixa.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina