Humanity's Last Exam (HLE)

Humanity's Last Exam (HLE), insan bilgisinin sınırındaki yapay zekâ sistemlerini ölçmek için hazırlanmış, 100'den fazla akademik konuyu kapsayan ve uzmanlarca yazılmış 2.500 soruluk bir kıyaslama testidir. Center for AI Safety ve Scale AI testi Ocak 2025'te yayımladı, herkese açık soru kümesine Nisan 2025'te son hâlini verdi ve Ocak 2026'da Nature dergisinde yayımladı. Adı amacını yansıtır: önceki testler en iyi büyük dil modellerini (LLM'leri) birbirinden ayıramaz hâle geldikten sonra da bilgi vermeyi sürdürecek kadar zor, kapalı uçlu bir akademik sınav.

Bu sorunun adı kıyaslama testi doygunluğudur. 2024'e gelindiğinde yaygın kullanılan bir bilgi testi olan MMLU'da öncü modeller %90'ın üzerinde puan alıyordu; bu nedenle daha ileri kazanımları yorumlamak zordu. HLE, aynı modellerin tek haneli puanlar alacağı şekilde tasarlandı ve ilk çıktığında gerçekten de öyle oldu.

Sorular Nasıl Toplandı#

Soruları, çoğu profesör, araştırmacı ve lisansüstü derece sahibi olan, 50 ülkedeki 500'den fazla kurumdan yaklaşık 1.000 konu uzmanı yazdı. Her aday soru önce birkaç öncü LLM'de test edildi ve yalnızca modeller yanlış yanıtladığında veya çoktan seçmeli sorularda rastgele tahminden kötü performans gösterdiğinde korundu. Bu tür 70.000'den fazla denemenin ardından yaklaşık 13.000 soru insan incelemesine kaldı. İlk turda lisansüstü dereceli incelemeciler, yazarın soruyu kapalı uçlu ve belirsizlikten uzak hâle getirebilmesi için her soruyu bir ila üç kez değerlendirdi; ikinci turda organizatörler ve incelemeciler en iyi soruları son küme için onayladı. Bu filtre, yalnızca web erişimi olan yetenekli uzman olmayanların çoğunun yanıtlayamadığı bilim sorularını tutan GPQA Diamond kümesinin yöntemine benzer. 500.000 dolarlık ödül havuzundan en iyi 50 sorunun her birine 5.000 dolar, sonraki 500 sorunun her birine ise 500 dolar ödendi.

Kümenin %41'ini matematik oluşturur; bunu %11 ile biyoloji ve tıp, %10 ile bilgisayar bilimi ve yapay zekâ, her biri %9 ile fizik ve beşerî bilimler, %7 ile kimya ve %4 ile mühendislik izler. Yayımlanmış örneklerden biri, yalnızca sinek kuşlarında bulunan bir sesamoid kemiğin kaç çift tendonu desteklediğini sorar; bu, uzmanın bileceği ancak arama motorunun hemen sunamayacağı türden bir ayrıntıdır. Soruların yaklaşık %24'ü çoktan seçmelidir. Kalan %76'sı kısa ve kesin yanıtlar gerektirir; resmî liderlik tablosunda değerlendirici model o3-mini, kesir yerine ondalık gibi eşdeğer biçimleri kabul ederek bu yanıtları referansla karşılaştırır. Gizli tutulan özel test kümesi, herkese açık sorulara aşırı uyum gösteren modelleri tespit eder. Kıyaslama testi metni eğitim verilerine sızdıkça bu risk büyür; bu, LiveCodeBench'in sorunlarına tarih damgası ekleyerek önlemeye çalıştığı bir veri sızıntısı biçimidir.

Soruların yaklaşık %14'ü, metni bir diyagram, grafik veya fotoğraflanmış yazıyla eşleştiren çok modlu sorulardır; bu da HLE'yi görsel soru yanıtlama alanında uzman düzeyinde bir teste dönüştürür. Bu sorular, Ultralytics Platform Agents içindeki LLM bileşeninin, YOLO26 algılayıcısı bir görüntüyü taradıktan sonra çağırdığı görüntü-dil modellerinin (VLM'lerin) akıl yürütme becerisini değerlendirir. Bu süreçte görüntü ve algılayıcının sonuçları, kullanıcının seçtiği görüntü-dil modeline gönderilir.

Doğruluk ve Kalibrasyon Hatası#

HLE her model için iki sayı bildirir:

• Doğruluk: Doğru yanıtlanan soruların oranı. İlk makalede GPT-4o %2,7, Claude 3.5 Sonnet %4,1, Gemini 1.5 Pro %4,6; OpenAI'nin o1 akıl yürütme modeli ise %8,0 puan aldı. o3-mini, yalnızca metin içeren sorularda %13,4'e ulaştı.
• Kalibrasyon hatası: Her model her yanıtla birlikte %0 ile %100 arasında bir güven düzeyi belirtir. Belirtilen güven ile gerçek doğruluk arasındaki karekök-ortalama-kare farkı, modelin bildiklerini ne kadar iyi bildiğini ölçer. İlk yayımlanma dönemindeki modellerin kalibrasyon hataları %73 ile %89 arasındaydı; yani yanlış yanıtladıkları sorularda da kendilerinden emin yanıtlar verdiler. Bu, ölçülebilir bir halüsinasyon biçimidir.

Akıl yürütme modelleriyle doğruluk hızla artarken kalibrasyondaki ilerleme geride kaldı. Resmî liderlik tablosunda Gemini 3 Pro %38,3 doğruluk ve %57,2 kalibrasyon hatasına; GPT-5 ise %25,3 doğruluk ve %50,0 kalibrasyon hatasına ulaştı. Kalibrasyon hatası, belirsizlik nicemlemesinin LLM'lere doğrudan bir uygulamasıdır; güven ile doğruluk arasındaki aynı fark, anlamsal entropi gibi tespit yöntemlerinin de temelini oluşturur.

Güncellemeler: HLE-Rolling ve HLE-Diamond#

Yapay zekâ araştırma laboratuvarı FutureHouse'un Temmuz 2025'te bildirdiği bir inceleme, yalnızca metin içeren kimya ve biyoloji yanıtlarının yaklaşık %30'unun yayımlanmış literatürle çeliştiğini tahmin etti; diğer incelemeciler de belirsiz ifadeler tespit etti. Organizatörler bulguları kısmen yeniden üretti ve Ekim 2025'te sürekli güncellenen bir türev olan HLE-Rolling'i başlattı. Bir yıl süren temizliğin ardından 22 Eylül 2026'da, akıl yürütme için 500 ve bilgi için 500 sorudan oluşan, kapalı kitap usulüyle yanıtlanmak üzere tasarlanmış, iyileştirilmiş 1.000 soruluk bir alt kümeyi HLE-Diamond adıyla yayımladılar. Araçlara erişim sonuçları belirgin ölçüde değiştirir; bu nedenle liderlik tabloları ve ajan değerlendirmeleri her puanla birlikte araç ayarlarını da bildirir. Yayımlandığında GPT-6 Astra, araçsız %59,9 ve web araması ile kod yürütme kullanıldığında %82,9 puanla HLE-Diamond'da liderdi.