Needle In A Haystack (NIAH)

Needle in a haystack (NIAH) là một phép đánh giá giấu một dữ kiện duy nhất—“needle”—ở độ sâu được chọn trong một đoạn văn bản dài không liên quan—“haystack”—rồi yêu cầu model ngôn ngữ lớn (LLM) truy xuất dữ kiện đó. Lặp lại phép thử với nhiều độ dài ngữ cảnh và vị trí needle tạo ra heatmap cho thấy model không còn tìm thấy thông tin ở vị trí nào trong cửa sổ ngữ cảnh. Greg Kamradt giới thiệu phép thử này vào tháng 11 năm 2023 cùng với repository NIAH mã nguồn mở: ông giấu câu “Điều tuyệt nhất nên làm ở San Francisco là ăn sandwich và ngồi ở Dolores Park vào một ngày nắng” trong tuyển tập bài luận của Paul Graham rồi hỏi mỗi model về điều tuyệt nhất nên làm ở San Francisco. Các lượt thử đầu tiên kiểm tra GPT-4 Turbo của OpenAI với cửa sổ 128K token và Claude 2.1 của Anthropic với 200K.

Cách thức hoạt động của phép thử#

Haystack được cắt theo độ dài mục tiêu tính bằng token, needle được chèn tại một tỷ lệ nhất định của độ dài đó, từ 0% ở đầu đến 100% ở cuối, rồi câu trả lời của model được chấm điểm dựa trên needle. Một lượt thử đầy đủ quét cả hai trục:

Needle không liên quan gì đến các bài luận xung quanh nó, vì vậy phép thử chỉ đánh giá một khả năng của cơ chế attention: tìm và sao chép một đoạn cụ thể ở bất kỳ vị trí nào trong prompt dài.

Kết quả nổi bật#

Các heatmap đầu tiên của Kamradt cho thấy GPT-4 Turbo bỏ sót needle khi độ dài vượt khoảng 73K token, chủ yếu khi needle nằm ở độ sâu khoảng 7% đến 50%; điều này gần với điểm yếu giữa prompt mà nghiên cứu Lost in the Middle đo lường cùng năm. Claude 2.1 đạt 27% trên prompt gốc, và Anthropic nâng kết quả lên 98% bằng một thay đổi kỹ thuật prompt: bắt đầu câu trả lời của Claude bằng “Đây là câu có liên quan nhất trong ngữ cảnh:”. NIAH trở thành biểu đồ tiêu chuẩn khi ra mắt model. Báo cáo Gemini 1.5 của Google tuyên bố khả năng truy xuất trên 99% với độ dài ít nhất 10 triệu token và mở rộng phép thử sang haystack âm thanh và video; Anthropic báo cáo rằng Claude 3 Opus đạt khả năng nhớ lại trên 99% và đôi khi nhận xét needle có vẻ được chèn nhân tạo vào văn bản.

Các biến thể và giới hạn#

NIAH thông thường gần giống tìm kiếm từ vựng, vì câu hỏi có chung từ khóa với needle, và các model tiên tiến hiện nay đã đạt mức bão hòa ở phép thử này. Các biến thể khó hơn thay đổi yêu cầu đối với needle:

• Truy xuất passkey: Một số ngẫu nhiên được giấu trong văn bản đệm lặp lại, được dùng năm 2023 để kiểm tra Landmark Attention trước khi NIAH ra đời.
• Nhiều needle và tổng hợp: Benchmark RULER của NVIDIA giấu nhiều khóa và giá trị, bổ sung theo dõi biến cùng phép tổng hợp từ phổ biến; benchmark này phát hiện chỉ một nửa trong số 17 model tuyên bố hỗ trợ 32K token trở lên đạt hiệu quả thỏa đáng ở 32K.
• Không trùng khớp nguyên văn: NoLiMa diễn đạt từng câu hỏi sao cho gần như không trùng với needle. Ở mức 32K token, 11 trong số 13 model đạt điểm dưới một nửa điểm số của chúng trên ngữ cảnh ngắn.

Mức suy giảm độ chính xác mà các phép thử khó hơn này cho thấy khi đầu vào dài thêm được gọi là thoái hóa ngữ cảnh. NIAH cũng khác với sinh tăng cường truy xuất (RAG), trong đó một tìm kiếm vector bên ngoài chọn các đoạn văn trước khi model đọc chúng, và khác với phát hiện bất thường, vốn tìm kiếm những sai lệch chưa biết thay vì một mục tiêu đã biết.

Needle trong hình ảnh#

Trong thị giác máy tính, cụm từ này cũng chỉ phát hiện vật thể nhỏ: một người trong ảnh hàng không, một con tàu trong cảnh vệ tinh hoặc một tế bào khối u trong ảnh quét bệnh học toàn tiêu bản phục vụ phân tích ảnh y tế. Trở ngại nằm ở độ phân giải: Ultralytics YOLO26 mặc định đổi kích thước mỗi ảnh sao cho cạnh dài nhất còn 640 pixel; vì vậy, khung hình drone 4.000 pixel bị thu nhỏ hơn sáu lần và người đi bộ rộng 10 pixel chỉ còn chưa đến 2 pixel. Suy luận theo lát cắt với SAHI chạy YOLO26 trên các lát chồng lấn, chẳng hạn các ô 256 × 256, ở độ phân giải gốc rồi hợp nhất các bounding box. Trong các thử nghiệm của bài báo SAHI trên bộ dữ liệu hàng không VisDrone và xView, việc chia lát tăng AP của phát hiện vật thể từ 5,1% đến 6,8% trên ba bộ phát hiện khác nhau.