Humanity's Last Exam (HLE)

امتحان البشرية الأخير (HLE) هو معيار مرجعي يضم 2,500 سؤال صاغها خبراء في أكثر من 100 تخصص أكاديمي، وصُمم لقياس أنظمة الذكاء الاصطناعي عند حدود المعرفة البشرية. أصدره مركز سلامة الذكاء الاصطناعي وScale AI في يناير 2025، واستكمل مجموعة الأسئلة العامة في أبريل 2025، ونشره في Nature في يناير 2026. ويعكس الاسم هدفه: امتحان أكاديمي بإجابات محددة صعب بما يكفي ليظل مفيدًا بعد أن توقفت الاختبارات السابقة عن التمييز بين أفضل النماذج اللغوية الكبيرة (LLMs).

تلك المشكلة هي تشبع المعايير. فبحلول 2024، سجلت النماذج الحدودية أكثر من 90% في MMLU، وهو اختبار معرفي واسع الاستخدام، ما جعل قراءة المزيد من التحسن أمرًا صعبًا. وقد صُمم HLE بحيث تسجل النماذج نفسها درجات من خانة الآحاد، وهذا ما حدث عند إطلاقه.

كيفية جمع الأسئلة#

صاغ الأسئلة قرابة ألف خبير متخصص، معظمهم أساتذة وباحثون وحاصلون على شهادات دراسات عليا، من أكثر من 500 مؤسسة في 50 بلدًا. واختُبر كل سؤال مرشح أولًا على عدة نماذج لغوية كبيرة حدودية، ولم يُقبل إلا إذا أجابت النماذج إجابة خاطئة، أو كان أداؤها في أسئلة الاختيار من متعدد أسوأ من التخمين العشوائي. وبعد أكثر من 70 ألف محاولة، بقي نحو 13 ألف سؤال للمراجعة البشرية. وفي الجولة الأولى، راجع مراجعون حاصلون على شهادات دراسات عليا كل سؤال مرة إلى ثلاث مرات، ليتسنى للكاتب جعله محدد الإجابة وغير ملتبس؛ وفي الجولة الثانية، وافق المنظمون والمراجعون على أفضل الأسئلة للمجموعة النهائية. وتشبه هذه التصفية تلك المستخدمة في GPQA، إذ لا تضم مجموعة Diamond فيه أسئلة العلوم إلا إذا عجز معظم غير المتخصصين المهرة، ممن لديهم وصول إلى الويب، عن حلها. ووزعت جائزة قدرها 500 ألف دولار، منها 5,000 دولار لكل واحد من أفضل 50 سؤالًا و500 دولار لكل واحد من الأسئلة الـ500 التالية.

تشكل الرياضيات 41% من المجموعة، تليها الأحياء والطب بنسبة 11%، وعلوم الحاسوب والذكاء الاصطناعي بنسبة 10%، والفيزياء والعلوم الإنسانية بنسبة 9% لكل منهما، والكيمياء بنسبة 7%، والهندسة بنسبة 4%. ويسأل أحد الأمثلة المنشورة عن عدد أزواج الأوتار التي يدعمها عظم سمسمي لا يوجد إلا لدى الطيور الطنانة، وهو نوع من التفاصيل التي يعرفها المختص ولا يعرضها محرك البحث بسرعة. ونحو 24% من الأسئلة اختيار من متعدد. أما الـ76% المتبقية فتتطلب إجابة قصيرة دقيقة، يقارنها نموذج تحكيم، هو o3-mini في لوحة المتصدرين الرسمية، بالإجابة المرجعية مع قبول الصيغ المكافئة، مثل كسر بدلًا من عدد عشري. وتكشف المجموعة الخاصة المحجوبة النماذج التي فرطت في التخصيص للأسئلة العامة، وهو خطر يزداد عندما يتسرب نص المعيار إلى بيانات التدريب، في شكل من تسرب البيانات يتصدى له LiveCodeBench عبر تأريخ المسائل.

نحو 14% من الأسئلة متعددة الوسائط، إذ تجمع النص بمخطط أو رسم بياني أو نقش مصوّر، ما يجعل HLE اختبارًا بمستوى الخبراء لـالإجابة عن الأسئلة المرئية. وتقيس هذه الأسئلة استدلال النماذج البصرية اللغوية (VLMs)، وهي النماذج التي يستدعيها مكوّن LLM في وكلاء Ultralytics Platform بعد أن يفحص كاشف YOLO26 الصورة، فيرسل الصورة ونتائج الكاشف إلى أي نموذج بصري لغوي يختاره المستخدم.

الدقة وخطأ المعايرة#

يعرض HLE رقمين لكل نموذج:

• الدقة: نسبة الأسئلة التي أُجيب عنها إجابة صحيحة. في البحث الأصلي، سجل GPT-4o نسبة 2.7%، وClaude 3.5 Sonnet نسبة 4.1%، وGemini 1.5 Pro نسبة 4.6%، بينما سجل نموذج الاستدلال o1 من OpenAI نسبة 8.0%، وبلغت نسبة o3-mini في الأسئلة النصية وحدها 13.4%.
• خطأ المعايرة: يحدد كل نموذج درجة ثقة من 0% إلى 100% مع كل إجابة، ويقيس الجذر التربيعي لمتوسط مربع الفرق بين الثقة المعلنة والدقة الفعلية مدى معرفة النموذج بما يعرفه. وتراوحت أخطاء المعايرة في النماذج عند إطلاقها بين 73% و89%، ما يعني أنها قدمت إجابات واثقة عن أسئلة أخطأت فيها، وهو شكل قابل للقياس من الهلوسة.

ارتفعت الدقة بسرعة مع نماذج الاستدلال، فيما تأخرت المعايرة. وبلغت دقة Gemini 3 Pro في لوحة المتصدرين الرسمية 38.3% مع خطأ معايرة قدره 57.2%، وسجل GPT-5 نسبة 25.3% مع خطأ معايرة قدره 50.0%. ويُعد خطأ المعايرة تطبيقًا مباشرًا لـتقدير عدم اليقين على النماذج اللغوية الكبيرة، كما أن الفجوة نفسها بين الثقة والصحة تحرك أساليب كشف مثل الإنتروبيا الدلالية.

المراجعات: HLE-Rolling وHLE-Diamond#

قدّر تحقيق أجرته مؤسسة الأبحاث في الذكاء الاصطناعي FutureHouse، ونُشرت نتائجه في يوليو 2025، أن ما يقارب 30% من الإجابات النصية في الكيمياء والأحياء تتعارض مع الأدبيات المنشورة، كما أشار مراجعون آخرون إلى غموض الصياغة. وكرر المنظمون بعض النتائج وأطلقوا HLE-Rolling، وهو إصدار متفرع محدّث باستمرار، في أكتوبر 2025. وبعد عام من التنقيح، أصدروا HLE-Diamond في 22 سبتمبر 2026: مجموعة فرعية منقحة تضم ألف سؤال، نصفها للاستدلال والنصف الآخر للمعرفة، وصُممت للإجابة عنها دون الرجوع إلى مصادر خارجية. ويغير الوصول إلى الأدوات النتائج بدرجة كبيرة، لذا تعرض لوحات المتصدرين وتقييمات الوكلاء إعدادات الأدوات مع كل درجة. وعند الإصدار، تصدر GPT-6 Astra نتائج HLE-Diamond بنسبة 59.9% من دون أدوات و82.9% مع البحث على الويب وتنفيذ التعليمات البرمجية.