Needle In A Haystack (NIAH)

Samanlıkta iğne (NIAH), uzun ve ilgisiz bir metin parçasının (samanlığın) seçilen bir derinliğine tek bir bilginin (iğnenin) gizlendiği ve bir büyük dil modelinden (LLM) bu bilgiyi bulmasının istendiği bir değerlendirmedir. Testi farklı bağlam uzunluklarında ve iğne konumlarında tekrarlamak, modelin bağlam penceresinin hangi noktasında bilgi bulmayı bıraktığını gösteren bir ısı haritası üretir. Greg Kamradt, testi Kasım 2023'te açık kaynaklı bir NIAH deposuyla tanıttı: "San Francisco'da yapılacak en iyi şey, güneşli bir günde sandviç yiyip Dolores Park'ta oturmaktır" cümlesini Paul Graham'ın denemelerinden oluşan bir derlemenin içine gizledi ve her modele San Francisco'da yapılacak en iyi şeyi sordu. İlk denemelerde 128K-belirteç pencereli OpenAI GPT-4 Turbo ve 200K pencereli Anthropic Claude 2.1 test edildi.

Test Nasıl Çalışır#

Samanlık, belirteç cinsinden hedef uzunluğa kısaltılır; iğne, uzunluğun baştaki %0'dan sondaki %100'e kadar belirli bir oranına yerleştirilir ve modelin yanıtı iğneyle karşılaştırılarak puanlanır. Tam bir çalıştırmada her iki eksen taranır:

İğnenin çevresindeki denemelerle ilgisi yoktur; bu nedenle test, uzun bir istemin herhangi bir yerindeki belirli bir pasajı bulup kopyalama becerisi olan dikkat mekanizmasının tek bir yönünü yalıtır.

Öne Çıkan Sonuçlar#

Kamradt'ın ilk ısı haritaları, GPT-4 Turbo'nun yaklaşık 73K belirtecin ötesinde, çoğunlukla da %7 ila %50 derinlik arasında bulunan iğneyi kaçırdığını gösterdi; bu, aynı yıl Lost in the Middle çalışmasının ölçtüğü istem ortasındaki zayıflığa yakındı. Claude 2.1 özgün istemde %27 puan aldı; Anthropic, Claude'un yanıtını "Bağlamdaki en ilgili cümle şudur:" diye başlatarak istem mühendisliği değişikliğiyle bu oranı %98'e çıkardı. NIAH, model lansmanlarında standart bir grafiğe dönüştü. Google'ın Gemini 1.5 raporu, en az 10 milyon belirtece kadar %99'un üzerinde bilgi bulma başarısı bildirdi ve testi ses ve video samanlıklarını da kapsayacak şekilde genişletti. Anthropic ise Claude 3 Opus'un %99'un üzerinde geri çağırma başarısına ulaştığını ve bazen iğnenin metne yapay biçimde yerleştirilmiş gibi göründüğünü belirttiğini bildirdi.

Varyantlar ve Sınırlar#

Yalın NIAH, soru iğneyle aynı anahtar sözcükleri paylaştığı için sözcüksel aramaya yakındır ve günümüzün en gelişmiş modelleri artık bu testte tavana ulaşmaktadır. Daha zor varyantlar iğneden beklenenleri değiştirir:

• Parola bulma: Tekrarlanan dolgu metnine gizlenmiş rastgele bir sayı; 2023'te, NIAH henüz yokken Landmark Attention testinde kullanılmıştır.
• Çoklu iğne ve toplulaştırma: NVIDIA'nın RULER kıyaslaması birkaç anahtar ve değer gizler, değişken izleme ve yaygın sözcük toplulaştırma ekler; 32K veya daha fazla belirteci desteklediğini iddia eden 17 modelin yalnızca yarısının 32K'de tatmin edici performans gösterdiğini ortaya koymuştur.
• Birebir eşleşme yok: NoLiMa, her soruyu iğneyle neredeyse hiç örtüşmeyecek şekilde ifade eder. 32K belirteçte 13 modelden 11'inin puanı, kısa bağlam puanlarının yarısının altına düştü.

Bu daha zor testlerin, girdiler büyüdükçe ortaya çıkardığı doğruluk kaybına bağlam bozulması denir. NIAH, model okumadan önce harici bir vektör aramasının pasajları seçtiği getirim destekli üretimden (RAG) ve bilinen bir hedef yerine bilinmeyen sapmaları arayan anomali tespitinden de farklıdır.

Görüntülerdeki İğneler#

Bilgisayarlı görü alanında aynı ifade küçük nesne tespiti için de kullanılır: hava görüntülerindeki bir kişi, bir uydu görüntüsündeki gemi veya tıbbi görüntü analizinde tüm lamlı patoloji taramasındaki bir tümör hücresi. Engel çözünürlüktür: Ultralytics YOLO26 varsayılan olarak her görüntüyü uzun kenarı 640 piksel olacak şekilde yeniden boyutlandırır; dolayısıyla 4.000 piksellik bir drone karesi altıda birden fazla küçülür ve 10 piksellik bir yaya 2 pikselden daha dar hâle gelir. SAHI ile dilimlenmiş çıkarım, YOLO26'yı 256 × 256 döşemeler gibi örtüşen parçalarda doğal çözünürlükte çalıştırır ve sınırlayıcı kutuları birleştirir. SAHI makalesinin VisDrone ve xView hava görüntüsü veri kümelerindeki testlerinde dilimleme, üç farklı algılayıcıda nesne tespiti AP değerini %5,1 ila %6,8 artırdı.