Humanity's Last Exam (HLE)

O Humanity's Last Exam (HLE) é um benchmark de 2.500 perguntas elaboradas por especialistas em mais de 100 áreas acadêmicas, criado para medir os sistemas de IA no limite do conhecimento humano. O Center for AI Safety e a Scale AI lançaram-no em janeiro de 2025, finalizaram o conjunto público de perguntas em abril de 2025 e publicaram-no na Nature em janeiro de 2026. O nome reflete o seu objetivo: um exame acadêmico de respostas fechadas, suficientemente difícil para continuar informativo depois de testes anteriores deixarem de distinguir os melhores modelos de linguagem de grande porte (LLMs).

Esse problema é a saturação dos benchmarks. Em 2024, os modelos de fronteira já pontuavam acima de 90% no MMLU, um teste de conhecimentos amplamente usado, tornando difícil interpretar novos avanços. O HLE foi criado para que os mesmos modelos pontuassem apenas um dígito, e foi isso que aconteceu no lançamento.

Como as perguntas foram coletadas#

Quase 1.000 especialistas, em sua maioria professores, pesquisadores e pessoas com pós-graduação, de mais de 500 instituições em 50 países, elaboraram as perguntas. Cada candidata foi primeiro testada com vários LLMs de fronteira e mantida apenas se os modelos errassem ou, no caso de perguntas de múltipla escolha, tivessem desempenho inferior ao de palpites aleatórios. Mais de 70.000 tentativas desse tipo deixaram cerca de 13.000 perguntas para revisão humana. Na primeira etapa, revisores com pós-graduação analisaram cada pergunta de uma a três vezes, para que o redator pudesse torná-la fechada e inequívoca; na segunda, os organizadores e revisores aprovaram as melhores perguntas para o conjunto final. Esse filtro é semelhante ao usado no GPQA, cujo conjunto Diamond mantém apenas perguntas científicas que a maioria dos não especialistas qualificados com acesso à Web não conseguiu responder. Um fundo de prêmios de US$ 500.000 pagou US$ 5.000 por cada uma das 50 melhores perguntas e US$ 500 por cada uma das 500 seguintes.

A matemática corresponde a 41% do conjunto, seguida por biologia e medicina, com 11%; ciência da computação e IA, com 10%; física e humanidades, com 9% cada; química, com 7%; e engenharia, com 4%. Um exemplo publicado pergunta quantos tendões emparelhados são sustentados por um osso sesamoide encontrado apenas em beija-flores, o tipo de detalhe que um especialista conhece, mas que um mecanismo de busca não encontra rapidamente. Cerca de 24% das perguntas são de múltipla escolha. As outras 76% exigem uma resposta curta e exata, que um modelo avaliador — o o3-mini no placar oficial — compara com a resposta de referência, aceitando formatos equivalentes, como uma fração em vez de um decimal. O conjunto privado reservado para teste identifica modelos que se sobreajustaram às perguntas públicas, risco que aumenta quando o texto do benchmark vaza para os dados de treinamento, uma forma de vazamento de dados que o LiveCodeBench combate datando os seus problemas.

Cerca de 14% das perguntas são multimodais, combinando texto com um diagrama, gráfico ou inscrição fotografada, o que faz do HLE um teste de nível especializado de perguntas e respostas visuais. Essas perguntas avaliam o raciocínio de modelos de visão e linguagem (VLMs), os modelos que o bloco LLM dos agentes da Ultralytics Platform chama depois que um detector YOLO26 examina uma imagem, enviando a imagem e os resultados do detector para o modelo de visão e linguagem escolhido pelo usuário.

Precisão e erro de calibração#

O HLE informa dois números para cada modelo:

• Precisão: A proporção de perguntas respondidas corretamente. No artigo original, o GPT-4o pontuou 2.7%, o Claude 3.5 Sonnet 4.1%, o Gemini 1.5 Pro 4.6% e o modelo de raciocínio o1 da OpenAI 8.0%, enquanto o o3-mini chegou a 13.4% nas perguntas apenas textuais.
• Erro de calibração: Cada modelo informa um nível de confiança de 0% a 100% com cada resposta, e a diferença quadrática média entre a confiança declarada e a precisão real mede o quanto ele sabe sobre o que sabe. Os modelos lançados inicialmente apresentavam erros de calibração entre 73% e 89%, ou seja, davam respostas confiantes a perguntas que erravam, uma forma mensurável de alucinação.

A precisão aumentou rapidamente com os modelos de raciocínio, enquanto a calibração ficou para trás. No placar oficial, o Gemini 3 Pro atingiu 38.3% de precisão com erro de calibração de 57.2%, e o GPT-5 pontuou 25.3% com erro de calibração de 50.0%. O erro de calibração é uma aplicação direta da quantificação da incerteza a LLMs, e a mesma diferença entre confiança e correção fundamenta métodos de deteção como a entropia semântica.

Revisões: HLE-Rolling e HLE-Diamond#

Uma investigação do laboratório de pesquisa em IA FutureHouse, divulgada em julho de 2025, estimou que quase 30% das respostas apenas textuais de química e biologia contradiziam a literatura publicada, e outros revisores apontaram formulações ambíguas. Os organizadores reproduziram parcialmente os resultados e lançaram o HLE-Rolling, uma versão derivada com atualizações contínuas, em outubro de 2025. Após um ano de revisão, lançaram o HLE-Diamond em 22 de setembro de 2026: um subconjunto refinado de 1.000 perguntas, dividido em 500 perguntas de raciocínio e 500 de conhecimento, criado para ser respondido sem consulta. O acesso a ferramentas altera bastante os resultados, por isso os placares e as avaliações de agentes informam as configurações das ferramentas com cada pontuação. No lançamento, o GPT-6 Astra liderou o HLE-Diamond com 59.9% sem ferramentas e 82.9% com pesquisa na Web e execução de código.