Needle In A Haystack (NIAH)

La prueba de la aguja en el pajar (NIAH) es una evaluación que oculta un único dato, la aguja, a una profundidad determinada dentro de un largo tramo de texto irrelevante, el pajar, y pide a un modelo de lenguaje grande (LLM) que lo recupere. Repetir la prueba con muchas longitudes de contexto y posiciones de la aguja genera un mapa de calor que muestra en qué punto de su ventana de contexto el modelo deja de encontrar información. Greg Kamradt presentó la prueba en noviembre de 2023 con un repositorio NIAH de código abierto: ocultó la frase «Lo mejor que se puede hacer en San Francisco es comerse un bocadillo y sentarse en Dolores Park en un día soleado» en una recopilación de ensayos de Paul Graham y preguntó a cada modelo cuál era la mejor actividad en San Francisco. Las primeras pruebas evaluaron GPT-4 Turbo de OpenAI, con una ventana de 128 000 tokens, y Claude 2.1 de Anthropic, con 200 000.

Cómo funciona la prueba#

El pajar se recorta hasta alcanzar una longitud objetivo en tokens, la aguja se inserta en una fracción de esa longitud, desde el 0 % al principio hasta el 100 % al final, y la respuesta del modelo se compara con la aguja. Una prueba completa recorre ambos ejes:

La aguja no guarda relación con los ensayos que la rodean, así que la prueba aísla una capacidad del mecanismo de atención: localizar y copiar un pasaje específico en cualquier parte de un prompt largo.

Resultados principales#

Los primeros mapas de calor de Kamradt mostraron que GPT-4 Turbo no encontraba la aguja por encima de unos 73 000 tokens, sobre todo cuando se situaba entre el 7 % y el 50 % de profundidad, cerca de la debilidad a mitad del prompt que midió ese mismo año el estudio Lost in the Middle. Claude 2.1 obtuvo un 27 % con el prompt original, y Anthropic elevó esa cifra al 98 % mediante un cambio de ingeniería de prompts: empezar la respuesta de Claude con «Aquí está la frase más relevante del contexto:». NIAH se convirtió en un gráfico habitual en los lanzamientos de modelos. El informe de Gemini 1.5 de Google afirmó que la recuperación superaba el 99 % hasta al menos 10 millones de tokens y amplió la prueba a pajares de audio y vídeo; Anthropic informó de que Claude 3 Opus superaba el 99 % de exhaustividad y, en ocasiones, señalaba que la aguja parecía insertada artificialmente en el texto.

Variantes y limitaciones#

La versión básica de NIAH se parece a una búsqueda léxica, ya que la pregunta comparte palabras clave con la aguja, y los modelos de vanguardia ya alcanzan resultados máximos. Las variantes más difíciles cambian lo que exige la aguja:

• Recuperación de claves de acceso: Un número aleatorio oculto en texto de relleno repetido, utilizado en 2023 para evaluar Landmark Attention antes de que existiera NIAH.
• Varias agujas y agregación: El benchmark RULER de NVIDIA oculta varias claves y valores, añade seguimiento de variables y agregación de palabras comunes, y descubrió que solo la mitad de 17 modelos que afirmaban admitir 32 000 tokens o más ofrecían resultados satisfactorios con 32 000 tokens.
• Sin coincidencia literal: NoLiMa formula cada pregunta de modo que apenas comparta palabras con la aguja. Con 32 000 tokens, 11 de 13 modelos obtuvieron menos de la mitad de sus puntuaciones con contextos cortos.

La pérdida de precisión que revelan estas pruebas más difíciles a medida que crecen las entradas se denomina deterioro del contexto. NIAH también se diferencia de la generación aumentada por recuperación (RAG), donde una búsqueda vectorial externa selecciona pasajes antes de que el modelo los lea, y de la detección de anomalías, que busca desviaciones desconocidas en vez de un objetivo conocido.

Agujas en imágenes#

La visión artificial utiliza la misma expresión para la detección de objetos pequeños: una persona en imágenes aéreas, un barco en una escena satelital o una célula tumoral en un escaneo anatomopatológico de portaobjetos completo para el análisis de imágenes médicas. El obstáculo es la resolución: Ultralytics YOLO26 redimensiona cada imagen por defecto a 640 píxeles en su lado más largo, por lo que un fotograma de dron de 4000 píxeles se reduce más de seis veces y un peatón de 10 píxeles acaba midiendo menos de 2 píxeles de ancho. La inferencia por recortes con SAHI ejecuta YOLO26 en recortes superpuestos, como teselas de 256 × 256, a resolución nativa y combina las cajas delimitadoras. En las pruebas del artículo de SAHI con los conjuntos de datos aéreos VisDrone y xView, el recorte aumentó entre un 5,1 % y un 6,8 % la AP de la detección de objetos en tres detectores diferentes.