Needle In A Haystack (NIAH)

건초 더미 속 바늘(NIAH)은 긴 무관한 텍스트인 건초 더미의 특정 위치에 단 하나의 사실인 바늘을 숨긴 뒤, 대규모 언어 모델(LLM)에 이를 찾아내도록 하는 평가 방법입니다. 다양한 컨텍스트 길이와 바늘 위치에서 테스트를 반복하면 모델이 컨텍스트 윈도우의 어느 위치부터 정보를 찾지 못하는지 보여주는 히트맵을 얻을 수 있습니다. 그레그 캄라트는 2023년 11월 오픈 소스 NIAH 저장소와 함께 이 테스트를 소개했습니다. 그는 폴 그레이엄의 에세이 모음에 "샌프란시스코에서 할 수 있는 가장 좋은 일은 햇살 좋은 날 샌드위치를 먹고 돌로레스 공원에 앉아 있는 것"이라는 문장을 숨기고, 각 모델에 샌프란시스코에서 할 수 있는 가장 좋은 일을 물었습니다. 최초의 테스트는 128K 토큰 윈도우를 지원하는 OpenAI의 GPT-4 Turbo와 200K 윈도우를 지원하는 Anthropic의 Claude 2.1을 대상으로 했습니다.

테스트 방식#

건초 더미를 목표 토큰 길이에 맞게 자르고, 시작 지점 0%에서 끝 지점 100%까지 해당 길이의 특정 비율 위치에 바늘을 삽입한 다음 모델의 답변을 바늘과 대조해 점수를 매깁니다. 전체 테스트에서는 다음 두 축을 모두 훑습니다.

바늘은 주변의 에세이와 아무 관련이 없으므로, 이 테스트는 긴 프롬프트 어디에서든 특정 구절을 찾아 복사하는 어텐션 메커니즘의 한 가지 능력을 분리해 평가합니다.

주요 결과#

캄라트의 초기 히트맵에서는 GPT-4 Turbo가 약 73K 토큰을 넘으면 바늘을 찾지 못하는 것으로 나타났습니다. 특히 프롬프트 중간의 약 7~50% 깊이에 바늘이 있을 때 실패가 많았습니다. 이는 같은 해 Lost in the Middle 연구가 측정한 프롬프트 중간부의 취약성과 유사합니다. Claude 2.1은 원래 프롬프트에서 27%를 기록했고, Anthropic은 Claude의 답변을 "컨텍스트에서 가장 관련성이 높은 문장은 다음과 같습니다:"로 시작하는 프롬프트 엔지니어링 변경을 통해 이를 98%로 높였습니다. NIAH는 모델 출시 때 표준 차트로 자리 잡았습니다. Google의 Gemini 1.5 보고서는 최소 1천만 토큰까지 99%를 넘는 검색률을 주장하고 테스트를 오디오 및 비디오 건초 더미로 확장했습니다. Anthropic은 Claude 3 Opus가 99% 이상의 재현율을 달성했으며, 때로는 바늘이 텍스트에 인위적으로 삽입된 것 같다고 언급했다고 보고했습니다.

변형 및 한계#

기본 NIAH는 질문의 핵심 단어가 바늘과 겹치므로 어휘 검색에 가깝고, 최신 최첨단 모델에서는 이제 포화 상태에 이르렀습니다. 더 까다로운 변형은 바늘에서 요구하는 내용을 바꿉니다.

• 패스키 검색: 반복되는 채움 텍스트 속에 무작위 숫자를 숨기는 방식으로, NIAH가 나오기 전인 2023년에 Landmark Attention을 테스트하는 데 사용되었습니다.
• 다중 바늘 및 집계: NVIDIA의 RULER 벤치마크는 여러 키와 값을 숨기고, 가변 추적 및 일반 단어 집계를 추가했습니다. 32K 토큰 이상을 지원한다고 주장하는 모델 17개 중 절반만 32K에서 만족스러운 성능을 보였습니다.
• 문자 그대로 일치하지 않는 경우: NoLiMa는 질문의 단어가 바늘과 거의 겹치지 않도록 구성합니다. 32K 토큰에서 모델 13개 중 11개는 짧은 컨텍스트 점수의 절반에도 미치지 못했습니다.

이처럼 더 어려운 테스트에서 입력 길이가 늘어날수록 드러나는 정확도 저하를 컨텍스트 로트라고 합니다. NIAH는 모델이 읽기 전에 외부 벡터 검색이 구절을 선택하는 검색 증강 생성(RAG)과도 다르며, 알려진 대상을 찾는 대신 알려지지 않은 편차를 탐지하는 이상 탐지와도 다릅니다.

이미지 속 바늘#

컴퓨터 비전에서도 이 표현은 소형 객체 탐지를 가리킵니다. 예를 들면 항공 이미지 속 사람, 위성 장면 속 선박, 또는 의료 영상 분석을 위한 전장 슬라이드 병리 스캔의 종양 세포를 찾는 작업입니다. 문제는 해상도입니다. Ultralytics YOLO26은 기본적으로 각 이미지의 긴 변을 640픽셀로 조정하므로, 4,000픽셀 드론 프레임은 6분의 1 이하로 축소되고 10픽셀 크기의 보행자는 폭이 2픽셀 미만으로 줄어듭니다. SAHI를 사용한 슬라이스 추론은 256 × 256 타일과 같이 겹치는 슬라이스에 YOLO26을 원본 해상도로 적용한 뒤 바운딩 박스를 병합합니다. SAHI 논문에서 VisDrone 및 xView 항공 데이터셋을 대상으로 수행한 테스트에서는 슬라이스 적용으로 세 가지 탐지기 모두의 객체 탐지 AP가 5.1~6.8% 향상되었습니다.