GPQA
GPQA, doktora uzmanlarının %65, web'de arama yapan uzman olmayanların ise %34 doğrulukla yanıtladığı lisansüstü düzeyde bir bilim kıyaslamasıdır. Diamond kümesi ve puanların nasıl yorumlanacağı.
Lisansüstü Düzeyde Google'da Bulunamayan Soru-Cevap'ın kısaltması olan GPQA, biyoloji, kimya ve fizik alanlarında uzmanlarca yazılmış 448 çoktan seçmeli sorudan oluşan bir kıyaslama testidir. Sorular, alan uzmanlarının yanıtlayabileceği ancak internet erişimi sınırsız olsa bile uzman olmayan yetenekli kişilerin yanıtlayamayacağı şekilde hazırlanmıştır. New York Üniversitesi, Cohere ve Anthropic'ten David Rein ve çalışma arkadaşları, GPQA: Lisansüstü Düzeyde Google'da Bulunamayan Bir Soru-Cevap Kıyaslama Testi başlıklı makalede, büyük dil modellerinde (LLM'ler) bilimsel akıl yürütmeyi ölçmek için testi Kasım 2023'te yayımladı. Daha zor olan 198 soruluk Diamond alt kümesi, OpenAI'nin GPT-5 modelinden Anthropic'in Claude 4 modellerine kadar model duyurularında en sık raporlanan puanlardan biri hâline geldi.
Kıyaslama testi, yapay zekâ güvenliğinin ve süper uyumun bir dalı olan ölçeklenebilir denetim araştırmaları için de tasarlandı: Yapay zekâ sistemleri sonunda insan denetçilerinin doğrulayamayacağı soruları yanıtlarsa, bu yanıtları kontrol etmenin yolları gerekir. GPQA, uzmanlarla uzman olmayanlar arasındaki bu farkın zaten bulunduğu sorular sunar.
Soruların Yazımı ve Doğrulanması#
Yazarlar, Upwork üzerinden her biri doktora derecesine sahip veya bu dereceyi almakta olan 61 yükleniciyle çalıştı. Bir yazar, bir doğru yanıtı ve üç makul çeldiricisi olan bir soru hazırladı. Aynı alandan ikinci bir uzman soruyu yanıtlayıp geri bildirim verdi; yazar soruyu gözden geçirdi ve üçüncü bir uzman da yeni sürümü yanıtladı. Ardından başka alanlardan doktora düzeyindeki üç uzman olmayan doğrulayıcı, yapay zekâ asistanı kullanmadan ancak internete tam erişimle her soruyu yanıtlamayı denedi ve ortalama 37 dakika harcadı. Uzmanlar doğru yanıtlayıp uzman olmayanlar yanıtlayamadığında yazarlara ikramiye verildi; bu, nesnel olarak yanıtlanabilir ancak aramayla bulunması zor soruları ödüllendirdi.
Makaleyle birlikte yayımlanan organik kimya örneğinde metilsiklopentadien, metil izoamil ketonla tepkimeye girerek fulven türevleri oluşturur; bu türevler de etil akrilatla tepkimeye girer. Soru, son ürünü kimyasal olarak farklı kaç izomerin oluşturduğunu sorar. Yanıtlamak, her tepkime adımını tek tek çözmeyi gerektirir; düşünce zinciri istemi ve akıl yürütme modellerinin hedeflediği türden çok adımlı bir problem.
Bu süreç, kıyaslama testinin öne çıkan başlangıç değerlerini ortaya çıkardı. Uzmanlar kendi alanlarındaki soruların %65'ini doğru yanıtladı; sonradan fark ettikleri hatalar hesaptan çıkarıldığında bu oran %74'e yükseldi. Uzman olmayanlar yalnızca %34'e ulaştı; bu, rastgele tahminden beklenen %25'ten dokuz puan daha yüksek olup "Google'da bulunamama" ifadesinin uygulamadaki anlamıdır. Yayımlandığı sırada az sayıda örnekli düşünce zinciri istemi kullanan en güçlü GPT-4 başlangıç puanı yaklaşık %39'du.
Extended, Main ve Diamond kümeleri#
GPQA, her biri bir öncekinden daha sıkı filtrelenmiş üç iç içe alt küme halinde sunulur:
- Genişletilmiş (546 soru): Filtreleme öncesinde yayımlanan tüm sorular. Yazarlar yayımlanmamış 18 soruyu daha ayırdı.
- Ana küme (448 soru): İki uzman doğrulayıcıdan en az biri yanıtı onayladı ve üç uzman olmayandan en fazla ikisi doğru yanıtladı.
- Diamond (198 soru): Her iki uzman da yanıtı onayladı ve uzman olmayanlardan en fazla biri doğru yanıtladı. Yanlış yanıt veren bir uzman, sonradan kendi hatasını açıkça belirlediyse yine de aynı fikirde sayılır.
Diamond, en açık yanıtlara ve uzmanlarla uzman olmayanlar arasındaki en büyük farka sahip soruları koruduğu için modelleri karşılaştırmada standart seçenektir.
GPQA Puanlarını Yorumlama#
Eylül 2024'te OpenAI, o1 akıl yürütme modelinin Diamond kümesinde doktora dereceli uzmanların doğruluğunu aştığını bildirdi; 2026'ya gelindiğinde öncü modeller için bildirilen en iyi puanlar %90'ın üzerindeydi. Bu düzeyde küçük farklar fazla bilgi vermez. Her Diamond sorusu yaklaşık yarım yüzde puan değerindedir; 198 soru üzerinden %90 doğruluk düzeyinde standart hata yaklaşık 2,1 puandır. Dolayısıyla %95 güven aralığı yaklaşık artı eksi 4 puanı kapsar ve aralarında birkaç puan bulunan iki model istatistiksel olarak ayırt edilemez.
Protokol ayrıntıları da puanları değiştirir. Sıfır örnekli veya az sayıda örnekli istem kullanımı, düşünce zincirine izin verilip verilmediği, ortalaması alınan örnek sayısı, yanıt seçeneklerinin karıştırılıp karıştırılmadığı ve modelin araçları kullanıp kullanamadığı sonuçları etkiler. Bu nedenle adil karşılaştırmalarda bu ayarlar sabit tutulur; Humanity's Last Exam araç ayarlarını ayrı raporlayarak bunu yapar. Verinin eğitimde kullanılmış olması da tüm herkese açık kıyaslama testleri için ek bir risktir. GPQA verileri, eğitim hatlarının filtreleyebilmesi için bir kanarya dizgesi içerir; yazarlar da soruların düz metin olarak çevrimiçi paylaşılmamasını ister. Çünkü örnekler web metinlerine sızdıktan sonra yüksek puan, ezberden kaynaklanabilir; bu bir veri sızıntısı biçimidir ve LiveCodeBench problemlerine tarih damgası ekleyerek bunu önler.
Görme kıyaslamaları da aynı raporlama disiplinini izler. Ultralytics nesne algılama belgeleri, YOLO26 için 5.000 görüntülük COCO val2017 bölmesindeki ortalama kesinlik ortalaması (mAP) değerini, her sayıyı yeniden üreten tam doğrulama komutunun yanında listeler; uçtan uca sütunu yeniden üretmek için nms=False eklenir. Ultralytics VLM Leaderboard, görsel-dil modellerini aynı doğrulama koduyla değerlendirir ve görüntüleri nasıl örneklediğini, her kutuyu nasıl puanladığını açıklar.










