Humanity's Last Exam (HLE)

Humanity's Last Exam (HLE) è un benchmark composto da 2.500 domande scritte da esperti in oltre 100 discipline accademiche, progettato per misurare i sistemi di IA ai limiti delle conoscenze umane. Il Center for AI Safety e Scale AI lo hanno pubblicato a gennaio 2025, hanno finalizzato il set pubblico di domande ad aprile 2025 e lo hanno presentato su Nature a gennaio 2026. Il nome riflette il suo obiettivo: un esame accademico a risposte chiuse abbastanza difficile da restare informativo dopo che i test precedenti avevano smesso di distinguere i migliori modelli linguistici di grandi dimensioni (LLM).

Il problema è la saturazione dei benchmark. Entro il 2024, i modelli di frontiera ottenevano oltre il 90% in MMLU, un test di conoscenze ampiamente usato, rendendo difficile interpretare ulteriori miglioramenti. HLE è stato progettato affinché gli stessi modelli ottenessero punteggi a una sola cifra, e al lancio è stato proprio così.

Come sono state raccolte le domande#

Quasi 1.000 esperti di diverse discipline, perlopiù professori, ricercatori e persone con un titolo di studio post-laurea, provenienti da oltre 500 istituzioni in 50 paesi, hanno scritto le domande. Ogni proposta è stata prima sottoposta a diversi LLM di frontiera ed è stata mantenuta solo se i modelli sbagliavano la risposta o, nel caso delle domande a scelta multipla, facevano peggio del caso. Oltre 70.000 tentativi di questo tipo hanno lasciato circa 13.000 domande da sottoporre alla revisione umana. Nella prima fase, revisori con titoli di studio post-laurea hanno esaminato ogni domanda da una a tre volte, affinché l'autore potesse renderla a risposta chiusa e priva di ambiguità; nella seconda fase, gli organizzatori e i revisori hanno approvato le domande migliori per il set finale. Il filtro è simile a quello usato per GPQA, il cui set Diamond include domande scientifiche solo se la maggior parte dei non esperti preparati, pur avendo accesso al web, non è riuscita a rispondere. Un montepremi di 500.000 dollari ha assegnato 5.000 dollari per ciascuna delle 50 domande migliori e 500 dollari per ciascuna delle 500 successive.

La matematica costituisce il 41% del set, seguita da biologia e medicina all'11%, informatica e IA al 10%, fisica e discipline umanistiche al 9% ciascuna, chimica al 7% e ingegneria al 4%. Un esempio pubblicato chiede quanti tendini accoppiati siano sostenuti da un osso sesamoide presente solo nei colibrì: è il tipo di dettaglio che uno specialista conosce, ma che un motore di ricerca non trova facilmente. Circa il 24% delle domande è a scelta multipla. Il restante 76% richiede una risposta breve esatta che un modello valutatore, o3-mini nella classifica ufficiale, confronta con la risposta di riferimento, accettando anche forme equivalenti, come una frazione al posto di un numero decimale. Il set privato tenuto da parte individua i modelli che si sono adattati eccessivamente alle domande pubbliche, un rischio che cresce quando il testo del benchmark finisce nei dati di addestramento, una forma di data leakage che LiveCodeBench contrasta assegnando una data ai problemi.

Circa il 14% delle domande è multimodale e abbina il testo a un diagramma, un grafico o un'iscrizione fotografata, rendendo HLE una prova di livello esperto di risposta a domande visive. Queste domande valutano il ragionamento dei modelli visione-linguaggio (VLM), ovvero i modelli che il blocco LLM di Ultralytics Platform Agents interroga dopo che un rilevatore YOLO26 ha esaminato un'immagine, inviando l'immagine e i risultati del rilevatore al modello visione-linguaggio scelto dall'utente.

Accuratezza ed errore di calibrazione#

HLE riporta due valori per ogni modello:

• Accuratezza: la percentuale di domande a cui è stata data una risposta corretta. Nell'articolo originale, GPT-4o ha ottenuto il 2,7%, Claude 3.5 Sonnet il 4,1%, Gemini 1.5 Pro il 4,6% e il modello di ragionamento o1 di OpenAI l'8,0%, mentre o3-mini ha raggiunto il 13,4% sulle sole domande testuali.
• Errore di calibrazione: con ogni risposta, ciascun modello indica un livello di confidenza da 0% a 100%; lo scarto quadratico medio tra la confidenza dichiarata e l'accuratezza effettiva misura quanto bene il modello sappia ciò che sa. I modelli al momento del lancio presentavano errori di calibrazione compresi tra il 73% e l'89%: davano cioè risposte sicure a domande a cui rispondevano in modo errato, una forma misurabile di allucinazione.

L'accuratezza è aumentata rapidamente con i modelli di ragionamento, mentre la calibrazione è rimasta indietro. Nella classifica ufficiale, Gemini 3 Pro ha raggiunto un'accuratezza del 38,3% con un errore di calibrazione del 57,2%; GPT-5 ha ottenuto il 25,3% con un errore di calibrazione del 50,0%. L'errore di calibrazione è un'applicazione diretta della quantificazione dell'incertezza agli LLM; lo stesso divario tra confidenza e correttezza è alla base di metodi di rilevamento come l'entropia semantica.

Revisioni: HLE-Rolling e HLE-Diamond#

Un'indagine del laboratorio di ricerca sull'IA FutureHouse, riportata a luglio 2025, ha stimato che quasi il 30% delle risposte testuali di chimica e biologia fosse in contrasto con la letteratura pubblicata; altri revisori hanno segnalato formulazioni ambigue. Gli organizzatori hanno in parte replicato i risultati e lanciato HLE-Rolling, una versione derivata e aggiornata in modo continuo, a ottobre 2025. Dopo un anno di revisione, il 22 settembre 2026 hanno pubblicato HLE-Diamond: una sottosezione perfezionata di 1.000 domande, divisa in 500 domande di ragionamento e 500 di conoscenza, progettata per essere svolta senza consultare fonti. L'accesso agli strumenti modifica sensibilmente i risultati, quindi le classifiche e le valutazioni degli agenti riportano le impostazioni degli strumenti insieme a ogni punteggio. Al momento della pubblicazione, GPT-6 Astra era in testa a HLE-Diamond con il 59,9% senza strumenti e l'82,9% con ricerca web ed esecuzione del codice.