GPQA

GPQA, Google aramalarına dayanıklı lisansüstü düzeyde soru yanıtlama ifadesinin kısaltmasıdır ve yapay zekâ sistemlerinin zor bilimsel soruları ne kadar iyi yanıtladığını değerlendiren bir kıyaslama testidir. Alan uzmanlarınca hazırlanan çoktan seçmeli sorularla biyoloji, kimya ve fizikteki uzmanlık bilgisini ve akıl yürütme becerisini sınar. Sezgisel olarak GPQA, bir sistemin yalnızca bilindik bilgileri tanıması veya eşleşen bir cümleyi bulması yerine bilimsel anlayışını uygulayıp uygulayamadığını sorar.

Dili işleyen ve üreten bir büyük dil modeli için GPQA, ileri düzey bilimsel soru yanıtlama becerisini ölçmeye odaklanan bir araçtır. Bu bir değerlendirme aracıdır; model mimarisi, eğitim tekniği veya bilimsel yeterlilik sertifikası değildir.

GPQA Nasıl Çalışır#

Her soru, biri doğru yanıt ve üçü makul görünen ancak yanlış alternatifler olan dört seçenek sunar. Soruyu çözmek için varsayımları yorumlamak, çeşitli ilkeleri ilişkilendirmek veya ilk bakışta makul görünen açıklamaları elemek gerekebilir.

Örneğin, kimya tarzındaki bir soru birbiriyle yarışan tepkime yollarını açıklayıp belirli koşullarda hangi ürünün oluşmasının daha olası olduğunu sorabilir. Bir tepkimenin adını bilmek yeterli olmayabilir; sistemin ilgili kısıtları uygulaması gerekir. Bu örnek, kıyaslama sorusunu yeniden üretmek yerine görev tarzını açıklar.

“Google’a dayanıklı” ifadesi, kıyaslama testinin tasarım amacını anlatır: Sorular, web erişimi olsa bile alan uzmanı olmayan bilgili kişiler için zorlayıcı kalmalıdır. Bu, yanıtların çevrimiçi olarak bulunmasının imkânsız olduğu veya her değerlendirmede web’de arama yapmanın yasak olduğu anlamına gelmez. Araç kullanımına izin verilip verilmediği test protokolünün bir parçasıdır ve raporlanmalıdır.

GPQA Diamond ve İlgili Kavramlar#

Ana GPQA kümesi 448 soru içerir. GPQA Diamond, uzmanların uzlaşmasını ve uzman olmayanlar için zorluğu vurgulayan, daha seçici biçimde filtrelenmiş 198 soruluk bir alt kümedir. GPQA Diamond değerlendirme belgeleri dört seçenekli biçimi ve bilimsel alanları açıklar. Diamond ayrı bir model veya evrensel bir zekâ testi değildir; Diamond puanları ana küme puanlarıyla doğrudan karşılaştırılabilir kabul edilmemelidir.

SuperGPQA, yalnızca GPQA’nın üç bilimsel alanı yerine çok sayıda disiplini kapsayan, ayrı ve daha geniş kapsamlı bir lisansüstü düzey değerlendirmedir. Adlarının benzer olması, sonuçlarının doğrudan karşılaştırılabileceği anlamına gelmez.

GPQA, sorulara yanıt üretmeye yönelik genel görev olan soru yanıtlamadan da farklıdır. GPQA, bu becerinin belirli bir değerlendirmesidir. Görsel soru yanıtlamadan farklı olarak, soruları yanıtlamak için görüntüleri yorumlama becerisini sınamaz. Bu nedenle, bilimsel metinlerdeki yüksek performans görsel algı doğruluğunu kanıtlamaz.

GPQA Puanı Ne Anlama Gelir?#

Temel metrik yanıt doğruluğudur: doğru yanıtlanan soruların oranı. Dört seçenek olduğunda, seçenekler arasında eşit olasılıkla rastgele tahmin yapmanın beklenen doğruluğu %25’tir. 198 sorudan 150’sinin doğru yanıtlandığı varsayımsal bir sonuç yaklaşık %75,8’e karşılık gelir.

Ancak tek başına yüzde yeterli değildir. Karşılaştırmalarda alt küme, model sürümü, istem, araç erişimi, akıl yürütme bütçesi ve deneme sayısı belirtilmelidir. Her soru için tek yanıt üretmek, birden fazla yanıt üretip aralarından seçim yapmaktan farklı bir düzeni ölçer.

Küçük puan farkları da temkinli değerlendirilmelidir. Diamond’da doğru yanıt sayısına bir yanıt eklemek doğruluğu yaklaşık 0,5 yüzde puanı artırır. Binom güven aralıkları belirsizliğin aktarılmasına yardımcı olabilir, ancak veri kümesindeki yanlılığı veya protokol farklılıklarını ortadan kaldırmaz.

Doğru seçenekleri işaretlemek, açıklamaların doğru olduğunu garanti etmez. Bir sistem doğru seçeneği işaretlerken halüsinasyon üretebilir; yani kulağa makul gelen ancak dayanağı olmayan bir açıklama sunabilir. Bu nedenle GPQA puanları, uygulamaya özel testleri tamamlamalı, onların yerini almamalıdır.

İki Pratik Uygulama Örneği#

Bilimsel asistan seçimi. Beklenmedik enzim etkinliğini açıklayan asistanları karşılaştıran bir laboratuvarı düşün. GPQA, bilimsel yeterlilik için ilk değerlendirme işareti sağlayabilir. Ekip daha sonra kendi deney senaryolarını test etmeli ve açıklamaları uzmanlara inceletmelidir. Korelasyonu mekanizmayla karıştırmak, kıyaslama puanı yüksek olsa bile sonraki deneyleri yanlış yönlendirebilir.

Mikroskopi desteği. Hücre algılayıcıyı hücre sayılarındaki değişiklikleri açıklayan bir asistanla birleştiren bir sistem düşün. GPQA, dil bileşeninin bilimsel akıl yürütmesini değerlendirmeye yardımcı olabilir, ancak algılayıcının üst üste binmiş hücreleri gözden kaçırıp kaçırmadığı hakkında bilgi vermez. Algılama ve yorumlamayı ayrı ayrı değerlendirdikten sonra iş akışının tamamını test et. Bağlama özgü bu yaklaşım, NIST Yapay Zekâ Risk Yönetimi Çerçevesi ile uyumludur.

Pratik Değerlendirme Rehberi#

Eğitim, doğrulama ve test kümelerini birbirinden ayrı tutarak değerlendirme bütünlüğünü koru. Değerlendirme bilgilerinin geliştirme sürecini etkileyip görünürdeki performansı yükselttiği veri sızıntısından kaçın. Kıyaslama testinin herkese açık olması da sonuçların yorumlanmasını zorlaştırabilir.

Görme ve dili birleştiren bir uygulamada, görsel bileşeni kendi metrikleriyle değerlendir. pip install ultralytics ile ultralytics paketini kurduktan sonra, belgelenen bu Ultralytics YOLO doğrulama iş akışı YOLO26 modelini değerlendirir:

from ultralytics import YOLO

if __name__ == "__main__":
    # Önceden eğitilmiş bir nesne algılayıcı yükle.
    model = YOLO("yolo26n.pt")

    # Tahminleri, etiketlenmiş doğrulama görüntüleriyle karşılaştır.
    metrics = model.val(data="coco8.yaml")

    # Bilimsel akıl yürütmeyi değil, algılama performansını raporla.
    print("mAP50-95:", metrics.box.map)

COCO8 örnek veri kümesi API’yi gösterir; dağıtım kararları için yeterince büyük değildir. Çıktı, sınırlayıcı kutuların örtüşme eşikleri boyunca algılama başarısını değerlendiren ortalama ortalama hassasiyettir; GPQA puanı değildir. Temel ilke, her performans iddiasını gerçekten ölçülen beceriyle eşleştirmektir.