Needle In A Haystack (NIAH)
O teste de agulha no palheiro (NIAH) verifica se um LLM consegue encontrar um fato oculto em qualquer ponto de um contexto extenso. Abrange sua origem, resultados, variantes e limitações.
Needle in a haystack (NIAH) é uma avaliação que oculta um único fato, a agulha, a uma profundidade escolhida dentro de um longo trecho de texto irrelevante, o palheiro, e pede a um modelo de linguagem grande (LLM) que o recupere. Repetir o teste com muitos comprimentos de contexto e posições da agulha produz um mapa de calor que mostra em que ponto da janela de contexto um modelo deixa de encontrar informações. Greg Kamradt apresentou o teste em novembro de 2023 com um repositório NIAH de código aberto: ele ocultou a frase "The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day" numa coletânea de ensaios de Paul Graham e perguntou a cada modelo qual era a melhor coisa a fazer em São Francisco. Os primeiros testes avaliaram o GPT-4 Turbo da OpenAI, com uma janela de 128K tokens, e o Claude 2.1 da Anthropic, com 200K.
Como funciona o teste#
O palheiro é ajustado ao comprimento-alvo em tokens, a agulha é inserida numa fração desse comprimento, de 0% no início a 100% no fim, e a resposta do modelo é avaliada em relação à agulha. Uma execução completa percorre ambos os eixos:
A agulha não tem relação com os ensaios ao redor, portanto o teste isola uma capacidade do mecanismo de atenção: localizar e copiar um trecho específico em qualquer ponto de um prompt longo.
Resultados principais#
Os primeiros mapas de calor de Kamradt mostraram que o GPT-4 Turbo não encontrava a agulha acima de cerca de 73K tokens, principalmente quando ela estava entre aproximadamente 7% e 50% de profundidade, perto da dificuldade no meio do prompt medida no mesmo ano pelo estudo Lost in the Middle. O Claude 2.1 obteve 27% no prompt original, e a Anthropic elevou essa pontuação para 98% com uma alteração de engenharia de prompts: iniciar a resposta do Claude com "Here is the most relevant sentence in the context:". O NIAH tornou-se um gráfico padrão no lançamento de modelos. O relatório do Gemini 1.5 da Google alegou uma recuperação superior a 99% até pelo menos 10 milhões de tokens e ampliou o teste para palheiros de áudio e vídeo; a Anthropic informou que o Claude 3 Opus superou 99% de recuperação e, por vezes, observou que a agulha parecia ter sido inserida artificialmente no texto.
Variantes e limitações#
O NIAH simples se aproxima de uma busca lexical, já que a pergunta compartilha as palavras-chave da agulha, e os modelos de ponta já atingem resultados máximos nele. Variantes mais difíceis mudam o que a agulha exige:
- Recuperação de chave de acesso: um número aleatório oculto em texto de preenchimento repetido, usado em 2023 para testar o Landmark Attention antes da existência do NIAH.
- Várias agulhas e agregação: o benchmark RULER da NVIDIA oculta várias chaves e valores, adiciona rastreamento variável e agregação de palavras comuns, e constatou que apenas metade dos 17 modelos que alegavam suportar 32K tokens ou mais teve desempenho satisfatório em 32K.
- Sem correspondência literal: o NoLiMa formula cada pergunta de modo que ela quase não se sobreponha à agulha. Com 32K tokens, 11 de 13 modelos ficaram abaixo da metade de suas pontuações em contextos curtos.
A perda de precisão que esses testes mais difíceis revelam à medida que as entradas crescem é chamada deterioração de contexto. O NIAH também difere da geração aumentada por recuperação (RAG), na qual uma busca vetorial externa seleciona trechos antes de o modelo os ler, e da detecção de anomalias, que procura desvios desconhecidos em vez de um alvo conhecido.
Agulhas em imagens#
A visão computacional usa a mesma expressão para a detecção de objetos pequenos: uma pessoa em imagens aéreas, um navio numa cena de satélite ou uma célula tumoral num exame de patologia de lâmina inteira para análise de imagens médicas. O obstáculo é a resolução: o Ultralytics YOLO26 redimensiona cada imagem para 640 pixels no lado mais comprido por padrão, portanto um quadro de drone de 4.000 pixels encolhe mais de seis vezes e um pedestre de 10 pixels acaba com menos de 2 pixels de largura. A inferência em recortes com SAHI executa o YOLO26 em recortes sobrepostos, como blocos de 256 × 256, na resolução nativa e combina as caixas delimitadoras. Nos testes do artigo do SAHI com os conjuntos de dados aéreos VisDrone e xView, o recorte elevou o AP de detecção de objetos em 5,1% a 6,8% para três detectores diferentes.
