Needle In A Haystack (NIAH)

اختبار الإبرة في كومة قش (NIAH) هو تقييم يخفي حقيقة واحدة، هي الإبرة، في موضع محدد العمق داخل نص طويل غير ذي صلة، هو كومة القش، ويطلب من نموذج لغوي كبير (LLM) استرجاعها. يؤدي تكرار الاختبار عبر أطوال سياق كثيرة ومواضع مختلفة للإبرة إلى إنشاء خريطة حرارية توضح المواضع التي يعجز فيها النموذج عن العثور على المعلومات ضمن نافذة السياق. قدّم غريغ كامرادت الاختبار في نوفمبر 2023 ضمن مستودع NIAH مفتوح المصدر: أخفى الجملة «أفضل ما يمكن فعله في سان فرانسيسكو هو تناول شطيرة والجلوس في دولوريس بارك في يوم مشمس» داخل مجموعة من مقالات بول غراهام، وطلب من كل نموذج تحديد أفضل ما يمكن فعله في سان فرانسيسكو. اختبرت التجارب الأولى GPT-4 Turbo من OpenAI، بنافذة رموز سعتها 128K، وClaude 2.1 من Anthropic، بسعة 200K.

آلية عمل الاختبار#

يُقلّص نص كومة القش إلى طول مستهدف محسوب بالرموز، وتُدرج الإبرة عند نسبة من ذلك الطول تتراوح من 0% في البداية إلى 100% في النهاية، ثم تُقيّم إجابة النموذج بمقارنتها بالإبرة. وتمسح التجربة الكاملة كلا المحورين:

لا علاقة للإبرة بالمقالات المحيطة بها، لذا يعزل الاختبار قدرة واحدة من آلية الانتباه: تحديد موضع مقطع معين ونسخه أينما ورد في مطالبة طويلة.

النتائج الرئيسية#

أظهرت الخرائط الحرارية الأولى لكامرادت أن GPT-4 Turbo أخفق في العثور على الإبرة عندما تجاوز طول السياق نحو 73K رمزًا، ولا سيما عندما وقعت الإبرة على عمق يتراوح بين 7% و50% تقريبًا، وهو قريب من ضعف الأداء في منتصف المطالبة الذي قاسه بحث الضياع في الوسط في العام نفسه. وسجّل Claude 2.1 نسبة 27% في المطالبة الأصلية، ورفعت Anthropic هذه النسبة إلى 98% بتعديل في هندسة المطالبات: بدء إجابة Claude بعبارة «إليك الجملة الأكثر صلة بالسياق:». وأصبح مخطط NIAH من العناصر المعتادة في إعلانات إطلاق النماذج. وزعم تقرير Gemini 1.5 من Google أن معدل الاسترجاع تجاوز 99% في سياقات يصل طولها إلى 10 ملايين رمز على الأقل، ووسّع الاختبار ليشمل مجموعات ضخمة من البيانات الصوتية والمرئية، وأفادت Anthropic بأن Claude 3 Opus حقق معدل استدعاء تجاوز 99%، وكان يعلّق أحيانًا بأن الإبرة تبدو وكأنها أُدرجت في النص على نحو مصطنع.

الأنواع المختلفة والقيود#

يشبه اختبار NIAH البسيط البحث المعجمي، لأن السؤال يشترك مع الإبرة في الكلمات المفتاحية، وقد بلغت النماذج المتقدمة الآن سقف أدائه. وتغيّر الأنواع الأصعب ما تتطلبه الإبرة:

• استرجاع مفتاح المرور: رقم عشوائي مخفي في نص حشو متكرر، استُخدم عام 2023 لاختبار انتباه المعالم قبل ظهور NIAH.
• تعدد الإبر والتجميع: يخفي معيار RULER من NVIDIA عدة مفاتيح وقيم، ويضيف تتبعًا متغيرًا وتجميعًا للكلمات الشائعة، ووجد أن نصف النماذج الـ17 فقط التي تدّعي دعم 32K رمزًا أو أكثر قد أدت أداءً مرضيًا عند 32K.
• دون تطابق حرفي: تصوغ NoLiMa كل سؤال بحيث لا يكاد يتداخل مع الإبرة. وعند 32K رمزًا، هبطت نتائج 11 من أصل 13 نموذجًا إلى أقل من نصف نتائجها في السياق القصير.

يُسمى انخفاض الدقة الذي تكشفه هذه الاختبارات الأصعب مع ازدياد المدخلات تدهور السياق. ويختلف NIAH أيضًا عن التوليد المعزز بالاسترجاع (RAG)، حيث يختار بحث المتجهات الخارجي مقاطع قبل أن يقرأها النموذج، وعن اكتشاف الحالات الشاذة، الذي يبحث عن انحرافات غير معروفة بدلًا من هدف معروف.

الإبر في الصور#

تستخدم الرؤية الحاسوبية العبارة نفسها لوصف اكتشاف الأجسام الصغيرة: شخص في صور جوية، أو سفينة في مشهد ساتلي، أو خلية ورمية في مسح مرضي لشريحة كاملة ضمن تحليل الصور الطبية. ويتمثل العائق في الدقة: يعيد Ultralytics YOLO26 تحجيم كل صورة افتراضيًا بحيث يبلغ طول جانبها الأطول 640 بكسل، لذا يتقلص إطار طائرة مسيّرة بعرض 4,000 بكسل إلى أقل من سدسه، ويصبح عرض المشاة ذي الـ10 بكسلات أقل من بكسلين. يشغّل الاستدلال المجزأ باستخدام SAHI YOLO26 على شرائح متداخلة، مثل بلاطات 256 × 256، بالدقة الأصلية، ثم يدمج الصناديق المحيطة. وفي اختبارات ورقة SAHI على مجموعتي البيانات الجويتين VisDrone وxView، رفّع التجزئة متوسط الدقة (AP) في اكتشاف الأجسام بنسبة تتراوح بين 5.1% و6.8% لثلاثة كواشف مختلفة.