Humanity's Last Exam (HLE)

الاختبار الأخير للبشرية (HLE) هو معيار لتقييم الذكاء الاصطناعي يختبر المعرفة الأكاديمية والاستدلال على مستوى الخبراء من خلال أسئلة صعبة ذات إجابات قابلة للتحقق. تخيّله امتحانًا صعبًا يشمل تخصصات عديدة، لا اختبارًا للمعلومات العامة. ويساعد على كشف المواضع التي يستطيع فيها نظام الذكاء الاصطناعي حل مسائل صعبة، والمواضع التي تخفي فيها الإجابات الطليقة والواثقة أخطاءً. (labs.scale.com)

آلية عمل الاختبار الأخير للبشرية#

HLE هو مجموعة بيانات معيارية: مجموعة موحدة تُستخدم لمقارنة الأنظمة في ظل ظروف محددة. طوّر مركز سلامة الذكاء الاصطناعي وScale AI المجموعة العامة الأصلية بصيغتها النهائية، وهي تضم 2,500 سؤال في أكثر من 100 موضوع، منها الرياضيات والعلوم الطبيعية والهندسة والعلوم الإنسانية. (agi.safe.ai)

تتضمن الأسئلة أسئلة متعددة الخيارات ومسائل ذات إجابات قصيرة. وهي محددة الإجابة، أي يمكن التحقق من صحة الإجابة، حتى عندما يتطلب الوصول إليها استدلالًا مكثفًا. ويساعد خبراء المساهمين والمراجعين في تحديد مستوى الصعوبة وجودة الإجابات. وHLE متعدد الوسائط: إذ تتطلب بعض الأسئلة تفسير الصور إلى جانب النص، لا معالجة اللغة وحدها. (labs.scale.com)

وهذا ما يجعل HLE ذا صلة بـنماذج اللغة الكبيرة، التي تعالج اللغة وتولّدها، وبالأنظمة القادرة على التعامل مع الصور. وتتداخل أسئلته المرئية مع الإجابة عن الأسئلة المرئية، حيث يجيب النظام عن أسئلة تتعلق بصورة. لكن التعرّف على مكونات مخطط لا يمثل سوى جزء من حل مسألة أكاديمية متخصصة. (labs.scale.com)

فهم الدرجات ومستوى الثقة#

هناك مقياسان بالغا الأهمية:

• دقة الإجابات: نسبة الأسئلة التي أُجيب عنها إجابة صحيحة. وهي تقيس الإجابات الصحيحة، لا مدى سلامة كل خطوة في التفسير.
• معايرة الثقة: مدى تطابق مستوى الثقة مع الصحة الفعلية للإجابات. ففي النظام جيد المعايرة، ينبغي أن تكون نحو 80% من الإجابات التي تُسنَد إليها ثقة بنسبة 80% صحيحة. (scikit-learn.org)

قد تطلب تقييمات HLE إجابة نهائية وتقديرًا لمستوى الثقة. ويعكس هذان الأمران خصائص مختلفة: فقد تتحسن دقة النظام بينما يظل مفرطًا في الثقة عند الإجابة الخطأ. لذلك، لا تمثل نسبة الثقة المعلنة بالضرورة احتمالًا موثوقًا. (agi.safe.ai)

عند الاطلاع على منهجية تقييم HLE، تحقّق من إصدار الأسئلة، وما إذا كان التقييم نصيًا فقط أم متعدد الوسائط، ومن المطالبات وإجراء التصحيح. وتحقق أيضًا مما إذا كان يُسمح باستخدام أدوات خارجية؛ فالنتائج بمساعدة الأدوات والنتائج من دونها تصف أنظمة مختلفة. (labs.scale.com)

كيف يختلف HLE عن المفاهيم ذات الصلة#

يتناول HLE تشبّع المعايير: فعندما تحرز أنظمة كثيرة درجات تقترب من الحد الأعلى للاختبار، تقل فائدة الاختبار في التمييز بين قدراتها. وتتيح الأسئلة الأصعب مجالًا أكبر لقياس الفروق. ويعبّر الاسم عن هذا الطموح؛ ولا يعني أن تقييم الذكاء الاصطناعي ينتهي بهذا الامتحان. (labs.scale.com)

وهو ليس شهادة على الذكاء الاصطناعي العام، أي الذكاء القابل للتطبيق على نطاق واسع عبر المهام. ولا تثبت الإجابات الأكاديمية القوية القدرة على الاكتشاف المستقل، أو التخطيط الموثوق، أو السلوك الآمن. ويتناول إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن NIST شواغل أوسع، مثل الجدارة بالثقة والمخاطر المرتبطة بسياقات محددة. (agi.safe.ai)

ويختلف HLE أيضًا عن اكتشاف الأجسام، الذي يحدد الأجسام في الصور ويحدد مواقعها. ولا يمكن لدقة الإجابات الأكاديمية أن تحل محل قياس قدرة الكاشف على العثور على الأجسام الصحيحة في صور بيئة التشغيل. (docs.ultralytics.com)

مثالان عمليان للتطبيق#

اختيار مساعد علمي. لنفترض أن فريقًا يختار مساعدًا لشرح مسائل متقدمة في الفيزياء. يمكن أن يوفر HLE مؤشرًا أوليًا على القدرة الأكاديمية، لكن ينبغي للفريق أيضًا اختبار أسئلة تمثّل عمله الفعلي. فقد تؤدي إجابة خاطئة واثقة إلى توجيه الحسابات أو التجارب في مسار خاطئ، لذا تظل مراجعة الخبراء مهمة. اعتبر هذا مثالًا على الفحص الأولي، لا دليلًا على ملاءمة مساعد بعينه. (agi.safe.ai)

المساعدة في الهندسة المرئية. لنفترض وجود مساعد يفسر مخططات المعدات. توضح الأسئلة المستندة إلى الصور في HLE سبب كون رؤية الرموز وفهم العلاقات بينها تحديين منفصلين. فقد يتعرف النظام على أحد المكونات على نحو صحيح، لكنه يستنتج سلوك التشغيل الخاطئ. لذلك، ينبغي أن يشمل التقييم المهمة كاملة، بما فيها التفسيرات والنتائج، لا التعرّف المرئي وحده. (labs.scale.com)

إرشادات عملية للتقييم#

حافظ على نزاهة التقييم من خلال فصل مجموعات التدريب والتحقق والاختبار. وتجنب تسرّب البيانات، حيث تؤثر معلومات التقييم في تطوير النموذج فتبدو أداؤه أفضل مما يمكن تعميمه. وتتطلب الأسئلة العامة في HLE عناية مماثلة فيما يتعلق بالتعرض المسبق لها. (developers.google.com)

في مجال الرؤية الحاسوبية، استخدم تقييمًا خاصًا بالمهمة إلى جانب أي معيار للاستدلال. بعد تثبيت ultralytics، يقيّم سير عمل التحقق الموثّق من Ultralytics YOLO نموذج YOLO26 على مجموعة بيانات COCO8 النموذجية الصغيرة: (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # ⁨قارن الاكتشافات بتسميات التحقق الخاصة بمجموعة البيانات.⁩
    metrics = model.val(data="coco8.yaml")

    # ⁨أبلغ عن مقياس تحديد مواقع الكاشف وتصنيفه.⁩
    print("mAP50-95:", metrics.box.map)

الناتج هو متوسط الدقة المتوسطة عبر عدة عتبات لتداخل مربعات الإحاطة، وليس درجة HLE. يوضّح COCO8 سير العمل؛ أما التقييم المجدي للنشر فيتطلب بيانات تطبيقية ممثلة ومحجوبة عن التدريب. والدرس الأساسي هو مواءمة كل ادعاء بشأن الأداء مع القدرة التي جرى اختبارها فعليًا. (docs.ultralytics.com)