Needle In A Haystack (NIAH)

Bei „Needle in a Haystack“ (NIAH) wird eine einzelne Tatsache – die Nadel – an einer ausgewählten Stelle in einem langen Abschnitt irrelevanten Textes – dem Heuhaufen – versteckt. Anschließend soll ein großes Sprachmodell (LLM) sie abrufen. Wiederholungen des Tests mit vielen Kontextlängen und Nadelpositionen ergeben eine Heatmap, die zeigt, an welcher Stelle im Kontextfenster ein Modell Informationen nicht mehr findet. Greg Kamradt stellte den Test im November 2023 mit einem NIAH-Repository mit offenem Quellcode vor: Er versteckte den Satz „Das Beste, was man in San Francisco tun kann, ist, an einem sonnigen Tag ein Sandwich zu essen und im Dolores Park zu sitzen“ in einer Sammlung von Paul Grahams Essays und fragte jedes Modell nach der besten Beschäftigung in San Francisco. Die ersten Durchläufe testeten GPT-4 Turbo von OpenAI mit einem Fenster von 128.000 Token sowie Claude 2.1 von Anthropic mit 200.000 Token.

So funktioniert der Test#

Der Heuhaufen wird auf eine Ziellänge in Token gekürzt. Die Nadel wird an einem bestimmten Anteil dieser Länge eingefügt – von 0 % am Anfang bis 100 % am Ende – und die Antwort des Modells wird mit der Nadel abgeglichen. Ein vollständiger Durchlauf untersucht beide Achsen:

Die Nadel hat nichts mit den sie umgebenden Essays zu tun. Der Test isoliert daher eine Fähigkeit des Aufmerksamkeitsmechanismus: eine bestimmte Textpassage irgendwo in einem langen Prompt zu finden und zu kopieren.

Wichtigste Ergebnisse#

Kamradts erste Heatmaps zeigten, dass GPT-4 Turbo die Nadel oberhalb von etwa 73.000 Token übersah, meist wenn sie zwischen etwa 7 und 50 % der Kontexttiefe lag. Das ähnelte der Schwäche in der Mitte des Prompts, die noch im selben Jahr in der Studie „Lost in the Middle“ gemessen wurde. Claude 2.1 erreichte bei der ursprünglichen Prompt-Version 27 %. Anthropic steigerte den Wert mit einer Änderung des Prompt Engineering auf 98 %: Claudes Antwort begann mit „Hier ist der relevanteste Satz im Kontext:“. NIAH wurde zu einer Standardgrafik bei der Vorstellung neuer Modelle. In seinem Bericht zu Gemini 1.5 gab Google eine Abrufquote von über 99 % bei mindestens 10 Millionen Token an und erweiterte den Test auf Audio- und Video-Heuhaufen. Anthropic berichtete, dass Claude 3 Opus eine Trefferquote von über 99 % erzielte und manchmal anmerkte, die Nadel wirke künstlich in den Text eingefügt.

Varianten und Grenzen#

Das einfache NIAH ähnelt einer lexikalischen Suche, da die Frage dieselben Schlüsselwörter wie die Nadel enthält; inzwischen erzielen die Spitzenmodelle dabei nahezu durchgehend Höchstwerte. Schwieriger sind Varianten, bei denen die Nadel andere Fähigkeiten erfordert:

• Abruf eines Passkeys: Eine Zufallszahl wird in wiederholtem Fülltext versteckt. Diese Methode wurde 2023 verwendet, um Landmark Attention zu testen, noch bevor es NIAH gab.
• Mehrere Nadeln und Zusammenführung: Der RULER-Benchmark von NVIDIA versteckt mehrere Schlüssel und Werte, ergänzt Aufgaben zur Variablenverfolgung und zur Zusammenführung häufiger Wörter. Dabei zeigte sich, dass nur die Hälfte von 17 Modellen, die ein Kontextfenster von mindestens 32.000 Token angaben, bei 32.000 Token zufriedenstellende Ergebnisse erzielte.
• Keine wörtliche Übereinstimmung: Bei NoLiMa sind die Fragen so formuliert, dass sie sich kaum mit der Nadel überschneiden. Bei 32.000 Token fielen 11 von 13 Modellen unter die Hälfte ihrer Ergebnisse mit kurzem Kontext.

Der Genauigkeitsverlust, den diese schwierigeren Tests bei zunehmender Eingabelänge offenlegen, wird als Kontextverfall bezeichnet. NIAH unterscheidet sich auch von der abrufgestützten Generierung (RAG), bei der eine externe Vektorsuche Passagen auswählt, bevor das Modell sie liest, und von der Anomalieerkennung, die nach unbekannten Abweichungen statt nach einem bekannten Ziel sucht.

Nadeln in Bildern#

In der Computer Vision bezeichnet derselbe Ausdruck die Erkennung kleiner Objekte: eine Person in Luftbildern, ein Schiff in einer Satellitenaufnahme oder eine Tumorzelle in einem Ganzobjektträger-Scan für die medizinische Bildanalyse. Die Schwierigkeit liegt in der Auflösung: Ultralytics YOLO26 skaliert jedes Bild standardmäßig so, dass die längste Seite 640 Pixel umfasst. Ein Drohnenbild mit 4.000 Pixeln schrumpft dadurch auf weniger als ein Sechstel seiner Größe, und ein 10 Pixel großer Fußgänger ist anschließend weniger als 2 Pixel breit. Bei der gekachelten Inferenz mit SAHI wird YOLO26 auf überlappenden Ausschnitten ausgeführt, etwa auf Kacheln mit 256 × 256 Pixeln in nativer Auflösung, und die Begrenzungsrahmen werden zusammengeführt. In den Tests des SAHI-Artikels mit den Luftbilddatensätzen VisDrone und xView steigerte die Kachelung die AP bei drei verschiedenen Detektoren für die Objekterkennung um 5,1 bis 6,8 %.