GPQA

GPQA significa Perguntas e Respostas à Prova do Google em Nível de Pós-Graduação, um benchmark que avalia a capacidade dos sistemas de IA para responder a perguntas científicas difíceis. Testa conhecimentos especializados e raciocínio em biologia, química e física por meio de perguntas de escolha múltipla escritas por especialistas das áreas. Intuitivamente, o GPQA pergunta se um sistema consegue aplicar conhecimentos científicos — e não apenas reconhecer factos conhecidos ou recuperar uma frase correspondente.

Para um modelo de linguagem de grande escala, que processa e gera linguagem, o GPQA oferece uma medida específica da capacidade de responder a perguntas científicas avançadas. É uma ferramenta de avaliação, não uma arquitetura de modelo, técnica de treino ou certificação de competência científica.

Como funciona o GPQA#

Cada pergunta apresenta quatro opções de resposta, incluindo uma resposta correta e três distratores: alternativas plausíveis, mas incorretas. Para a resolver, pode ser necessário interpretar pressupostos, relacionar vários princípios ou descartar explicações que, à primeira vista, parecem razoáveis.

Por exemplo, uma pergunta sobre química pode descrever vias de reação concorrentes e perguntar qual produto é favorecido em determinadas condições. Saber o nome de uma reação pode não ser suficiente; o sistema tem de aplicar as restrições relevantes. Este exemplo ilustra o estilo das tarefas, sem reproduzir uma pergunta do benchmark.

«À prova do Google» descreve o objetivo de conceção do benchmark: as perguntas devem continuar a ser desafiantes para pessoas não especialistas com bons conhecimentos, mesmo com acesso à Web. Isso não significa que seja impossível encontrar as respostas online ou que a navegação seja proibida em todas as avaliações. A permissão para usar ferramentas faz parte do protocolo de teste e deve ser comunicada.

GPQA Diamond e conceitos relacionados#

O conjunto principal do GPQA contém 448 perguntas. GPQA Diamond é um subconjunto filtrado de forma mais seletiva, com 198 perguntas, que dá ênfase à concordância entre especialistas e à dificuldade para pessoas não especialistas. A documentação de avaliação do GPQA Diamond descreve o formato de quatro opções e os domínios científicos. O Diamond não é um modelo independente nem um teste universal de inteligência, e as respetivas pontuações não devem ser consideradas intercambiáveis com as pontuações do conjunto principal.

SuperGPQA é uma avaliação independente e mais abrangente, de nível de pós-graduação, que cobre muitas disciplinas em vez de apenas os três domínios científicos do GPQA. A semelhança dos nomes não torna os resultados diretamente comparáveis.

O GPQA também difere da resposta a perguntas, a tarefa geral de produzir respostas a perguntas. O GPQA é uma avaliação específica dessa capacidade. Ao contrário da resposta visual a perguntas, não testa a interpretação de imagens para responder a perguntas. Por isso, um bom desempenho em tarefas científicas baseadas em texto não comprova a precisão da perceção visual.

O que significa uma pontuação no GPQA#

A métrica principal é a precisão das respostas: a proporção de perguntas respondidas corretamente. Com quatro opções, a precisão esperada ao adivinhar uniformemente ao acaso é de 25%. Um resultado hipotético de 150 respostas corretas em 198 corresponde a aproximadamente 75,8%.

No entanto, a percentagem, por si só, não conta a história toda. As comparações devem identificar o subconjunto, a versão do modelo, o prompt, o acesso a ferramentas, o orçamento de raciocínio e o número de tentativas. Uma única resposta por pergunta mede uma configuração diferente da geração de várias respostas e seleção entre elas.

Também é preciso interpretar com cautela as pequenas diferenças nas pontuações. Uma resposta correta adicional no Diamond altera a precisão em cerca de 0,5 pontos percentuais. Os intervalos de confiança binomiais podem ajudar a comunicar a incerteza, embora não resolvam os enviesamentos do conjunto de dados nem as diferenças entre protocolos.

As respostas corretas não garantem explicações corretas. Um sistema pode selecionar a opção certa e, ao mesmo tempo, produzir uma alucinação — uma explicação plausível, mas sem fundamento. Por isso, as pontuações do GPQA devem complementar, e não substituir, os testes específicos da aplicação.

Dois exemplos de aplicações práticas#

Seleção de assistentes científicos. Considera um laboratório que compara assistentes que explicam uma atividade enzimática inesperada. O GPQA pode fornecer um primeiro indicador da capacidade científica. Em seguida, a equipa deve testar os seus próprios cenários experimentais e pedir a especialistas que analisem as explicações. Confundir correlação com mecanismo pode levar a equipa a orientar mal as experiências de seguimento, apesar de uma pontuação elevada no benchmark.

Assistência em microscopia. Considera um sistema que combina um detetor de células com um assistente que explica alterações na contagem de células. O GPQA pode ajudar a avaliar o raciocínio científico da componente de linguagem, mas nada diz sobre a possibilidade de o detetor não ter identificado células sobrepostas. Avalia a deteção e a interpretação separadamente e, em seguida, testa o fluxo de trabalho completo. Esta abordagem específica ao contexto está alinhada com o Quadro de Gestão de Riscos de IA do NIST.

Orientações práticas de avaliação#

Protege a integridade da avaliação com conjuntos separados de treino, validação e teste. Evita a fuga de dados, em que as informações de avaliação influenciam o desenvolvimento e fazem o desempenho aparente parecer superior. A exposição pública ao benchmark também pode dificultar a interpretação.

Numa aplicação que combina visão e linguagem, avalia a componente visual com as suas próprias métricas. Depois de instalar ultralytics com pip install ultralytics, este fluxo de trabalho documentado de validação do Ultralytics YOLO avalia o YOLO26:

from ultralytics import YOLO

if __name__ == "__main__":
    # Carrega um detetor de objetos pré-treinado.
    model = YOLO("yolo26n.pt")

    # Compara as previsões com imagens de validação anotadas.
    metrics = model.val(data="coco8.yaml")

    # Comunica o desempenho da deteção, não o raciocínio científico.
    print("mAP50-95:", metrics.box.map)

O conjunto de dados de exemplo COCO8 demonstra a API; é demasiado pequeno para tirar conclusões sobre a implementação. O resultado é a média da precisão média, que avalia a deteção em vários limiares de sobreposição das caixas delimitadoras — não uma pontuação do GPQA. O princípio essencial é associar cada afirmação de desempenho à capacidade efetivamente medida.