Jagged Intelligence

Pürüzlü zekâ, günümüz AI sistemlerinin dengesiz yetenek profilini tanımlar: aynı model zor görevlerde uzman düzeyinde performans gösterebilirken çoğu insanın önemsiz bulduğu basit görevlerde başarısız olabilir. Andrej Karpathy bu terimi 2024'te, zor matematik problemlerini çözebildiği halde 9.11'in 9.9'dan büyük olduğunu iddia eden büyük dil modelleri (LLM) için kullandı. "strawberry" sözcüğündeki "r" harfini yanlış saymak da bir başka ünlü örnek haline geldi. Böyle bir modelin farklı görevlerdeki yetkinliği çizildiğinde keskin zirveler ve derin vadilerden oluşan pürüzlü bir çizgi ortaya çıkar; vadilerin yerini zirvelerden tahmin etmek zordur.

Yetenekler Neden Dengesizdir#

Bir model, eğitim verilerinin yoğun olduğu ve iç temsilinin göreve uyduğu yerlerde en güçlüdür; bu iki koşul görevden göreve keskin biçimde değişir. Ünlü metin hatalarının çoğunu temsil biçimi açıklar. Tokenleştirme, model görmeden önce metni alt sözcük token'larına böler; GPT-4o için OpenAI'nin tokenleştiricisi bunu gösterir:

import tiktoken

# o200k_base, OpenAI'nin GPT-4o'sunun kullandığı tokenleştiricidir
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

" strawberry" sözcüğü tek bir token olarak gelir; dolayısıyla model üç r harfini hiç görmez ve yazımı eğitim metninden hatırlamak zorunda kalır. Sayılar "9", ".", "11" ve "9", ".", "9" olarak gelir. Bu metinlerin çoğunda bu tür çiftler sürüm numaraları, tarihler veya kitap bölümleridir; bu bağlamlarda 9.11, 9.9'dan sonra gelir ve 11, 9'dan büyüktür. Model sayısal karşılaştırma yapmak yerine bu örüntülere dayanarak yanıt verir.

Geri kalan özelliklerin çoğunu veri kapsamı açıklar. Eğitim verilerinde sürekli görülen beceriler güvenilir hale gelirken, kişiye ne kadar basit görünürse görünsün, nadir biçimler, alışılmadık ifadeler ve uç durumlar zayıf kalır. Görme modellerinde de aynı örüntü görülür. Bir nesne algılama modeli gündüz yaygın ve büyük nesnelerde çok başarılı olabilirken, bir kişinin aynı derecede kolay bulacağı küçük nesnelerde, nadir sınıflarda veya alışılmadık bakış açılarında çok daha zayıf kalabilir.

Pürüzlü yetenekler, Hans Moravec'in 1988'de ortaya koyduğu Moravec paradoksundan farklıdır. Paradoksa göre satranç gibi insanlar için zor görevler bilgisayarlara kolay gelirken algı ve hareket gibi insanlara zahmetsiz gelen beceriler bilgisayarlar için zordur. Pürüzlü yetenekler her iki yönde de insanın zorluk düzeyini izlemez; bu nedenle neyin "kolay" olduğuna dair sezgiler, bir modelin nerede başarısız olacağını tahmin etmekte yetersiz kalır.

Uygulamada Tırtıklı Sınır#

Aynı dengesizlik insanların AI ile çalışma biçimini de şekillendirir. Harvard Business School ve diğer kurumlardan araştırmacılar, Boston Consulting Group'ta çalışan 758 danışmanla 2023'te yaptıkları saha deneyinde pürüzlü teknolojik sınırı tanımladı. Sınırın içindeki 18 görevde GPT-4 kullanan danışmanlar %12,2 daha fazla görevi tamamladı, %25,1 daha hızlı çalıştı ve kalitesi %40'tan fazla daha yüksek değerlendirilen işler üretti. Sınırın hemen dışındaki bir görevdeyse AI kullanan danışmanların doğru yanıta ulaşma olasılığı, AI kullanmayanlara göre 19 yüzde puan daha düşüktü. Pürüzlü zekâ, modelin dengesiz yetenek profilini; pürüzlü sınır ise AI'nın yardımcı olduğu işlerle fark ettirmeden kötüleştirdiği işler arasındaki sonuç sınırını adlandırır.

Pürüzlü yetenekler, yapay genel zekâ (AGI) hakkındaki iddiaları da karmaşıklaştırır. Geniş bir kıyaslama veri kümesinde hesaplanan ortalama puan sürekli yükselirken belirli vadiler aynı kalabilir. Bu nedenle manşetlere çıkan ortalama, modelin herhangi bir görevde güvenilir olup olmadığı hakkında pek az şey söyler.

Tırtıklı Profili Ölçme#

Değerlendirme tek bir sayı olarak raporlanmak yerine dilimlere ayrıldığında dengesiz yetenekler görünür hale gelir. Bir algılayıcı için ilk ayrım sınıfa göredir. Ultralytics YOLO26 için doğrulama modu, genel olarak ve doğrulama etiketlerindeki her sınıf için ortalama kesinliği (mAP) raporlar. Sınıf başına metrikleri sıralamak vadileri öne çıkarır:

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

COCO'nun 5.000 görüntüsü gibi tam bir doğrulama kümesinde, aynı analiz daha fazla veriye ihtiyaç duyan ya da etiketlerinin daha yakından incelenmesi gereken sınıfları işaret eder. Sınıflar yalnızca ilk inceleme katmanıdır. Aydınlatma, kamera açısı, hareket ve örtülme koşullarının her biri kendine özgü bir performans düşüşünü gizleyebilir; bu koşullarda çekilmiş yeni görüntülerle yapılan model testi bu düşüşleri açığa çıkarır:

Dağıtımdan sonra girdiler değiştikçe profil de değişmeye devam eder. Veri kaymasını izlemek, üretim görüntülerinin doğrulama kümesinin hiç kapsamadığı bölgelere düşmeye başladığını gösterir.