GPQA

يشير GPQA إلى الإجابة عن الأسئلة على مستوى الدراسات العليا والمقاومة للبحث عبر Google، وهو معيار مرجعي يقيّم مدى إجادة أنظمة الذكاء الاصطناعي للإجابة عن الأسئلة العلمية الصعبة. ويختبر المعرفة المتخصصة والاستدلال في علم الأحياء والكيمياء والفيزياء من خلال أسئلة متعددة الخيارات يضعها خبراء في هذه المجالات. وبعبارة بسيطة، يسأل GPQA عمّا إذا كان بإمكان النظام تطبيق فهمه العلمي، لا مجرد التعرّف على حقائق مألوفة أو استرجاع جملة مطابقة.

بالنسبة إلى نموذج لغوي كبير، الذي يعالج اللغة وينشئها، يوفّر GPQA مقياسًا مركّزًا لقدرة الإجابة عن الأسئلة العلمية المتقدمة. وهو أداة تقييم، وليس بنية لنموذج أو أسلوب تدريب أو شهادة على الكفاءة العلمية.

آلية عمل GPQA#

يتضمن كل سؤال أربعة خيارات للإجابة، منها إجابة صحيحة واحدة وثلاثة خيارات مشتتة: بدائل معقولة لكنها غير صحيحة. وقد يتطلب الحل تفسير الافتراضات أو الربط بين عدة مبادئ أو استبعاد تفسيرات تبدو معقولة للوهلة الأولى.

على سبيل المثال، قد يصف سؤال في الكيمياء مسارات تفاعل متنافسة ويسأل عن الناتج الذي يُرجّح تكوّنه في ظل ظروف معينة. ولا تكفي بالضرورة معرفة اسم التفاعل؛ إذ يجب على النظام تطبيق القيود ذات الصلة. وهذا يوضح أسلوب المهمة من دون إعادة إنتاج سؤال من المعيار.

يصف مصطلح «مقاوم للبحث عبر Google» الهدف التصميمي للمعيار: ينبغي أن تظل الأسئلة صعبة على غير المتخصصين ذوي المعرفة، حتى مع إمكانية الوصول إلى الويب. ولا يعني ذلك استحالة العثور على الإجابات عبر الإنترنت أو حظر التصفح في كل تقييم. فالسماح باستخدام الأدوات جزء من بروتوكول الاختبار، ويجب الإفصاح عنه.

GPQA Diamond والمفاهيم ذات الصلة#

تتضمن مجموعة GPQA الرئيسية 448 سؤالًا. أما GPQA Diamond فهي مجموعة فرعية منتقاة ومصفّاة بدرجة أكبر، تضم 198 سؤالًا وتركّز على اتفاق الخبراء وصعوبة الأسئلة على غير المتخصصين. وتصف وثائق تقييم GPQA Diamond صيغة الأسئلة ذات الخيارات الأربعة ومجالاتها العلمية. وDiamond ليست نموذجًا منفصلًا أو اختبارًا شاملًا للذكاء، ولا ينبغي اعتبار نتائجها قابلة للتبادل مع نتائج المجموعة الرئيسية.

يُعد SuperGPQA تقييمًا منفصلًا وأوسع نطاقًا على مستوى الدراسات العليا، إذ يشمل تخصصات عديدة، لا المجالات العلمية الثلاثة التي يغطيها GPQA وحدها. ولا يجعل تشابه الاسم النتائج قابلة للمقارنة المباشرة.

يختلف GPQA أيضًا عن الإجابة عن الأسئلة، وهي المهمة العامة المتمثلة في تقديم إجابات عن الأسئلة. فـGPQA تقييم محدد واحد لهذه القدرة. وعلى خلاف الإجابة عن الأسئلة المرئية، لا يختبر GPQA تفسير الصور للإجابة عن الأسئلة. لذلك، لا يثبت الأداء القوي في النصوص العلمية دقة الإدراك البصري.

ما دلالة نتيجة GPQA#

المقياس الأساسي هو دقة الإجابة: نسبة الأسئلة التي أُجيب عنها إجابة صحيحة. وعند وجود أربعة خيارات، تبلغ الدقة المتوقعة للتخمين العشوائي المتساوي الاحتمالات 25%. ونتيجة افتراضية تتمثل في 150 إجابة صحيحة من أصل 198 تعادل نحو 75.8%.

لكن النسبة وحدها لا تكفي. وينبغي أن تحدد المقارنات المجموعة الفرعية وإصدار النموذج والموجّه وإمكانية الوصول إلى الأدوات وميزانية الاستدلال وعدد المحاولات. فالإجابة مرة واحدة عن كل سؤال تمثل إعدادًا مختلفًا عن إنشاء عدة إجابات والاختيار من بينها.

كما ينبغي توخي الحذر عند تفسير الفروق الصغيرة في النتائج. فإجابة صحيحة إضافية واحدة في Diamond تغيّر الدقة بنحو 0.5 نقطة مئوية. ويمكن أن تساعد فواصل الثقة ذات الحدين في توضيح عدم اليقين، لكنها لا تعالج تحيز مجموعة البيانات أو اختلافات البروتوكول.

لا تضمن الخيارات الصحيحة صحة التفسيرات. فقد يختار النظام الخيار الصحيح، لكنه يقدم هلوسة—أي تفسيرًا يبدو معقولًا لكنه يفتقر إلى ما يدعمه. لذلك، ينبغي أن تكمّل نتائج GPQA الاختبارات الخاصة بالتطبيق، لا أن تحل محلها.

مثالان عمليان للتطبيق#

اختيار مساعد علمي. لنفترض أن مختبرًا يقارن بين مساعدين يشرحان النشاط غير المتوقع للإنزيمات. يمكن أن يوفر GPQA مؤشرًا أوليًا على القدرات العلمية. وبعد ذلك، ينبغي للفريق اختبار سيناريوهاته التجريبية الخاصة وطلب مراجعة متخصصين للتفسيرات. فالخلط بين الارتباط والآلية قد يوجّه تجارب المتابعة في اتجاه خاطئ، رغم تحقيق نتيجة قوية في المعيار.

المساعدة في الفحص المجهري. لنفترض وجود نظام يجمع بين كاشف للخلايا ومساعد يشرح التغيرات في أعدادها. يمكن أن يساعد GPQA في تقييم الاستدلال العلمي للمكوّن اللغوي، لكنه لا يقدم أي معلومات عن احتمال إخفاق الكاشف في رصد الخلايا المتراكبة. قيّموا الكشف والتفسير كلًا على حدة، ثم اختبروا سير العمل كاملًا. ويتماشى هذا النهج المراعي للسياق مع إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن NIST.

إرشادات عملية للتقييم#

احموا نزاهة التقييم من خلال مجموعات منفصلة للتدريب والتحقق والاختبار. وتجنبوا تسرّب البيانات، حيث تؤثر معلومات التقييم في عملية التطوير وتضخّم الأداء الظاهري. كما أن الاطلاع المسبق على المعيار العام قد يعقّد تفسير النتائج.

في تطبيق يجمع بين الرؤية واللغة، قيّموا المكوّن البصري باستخدام مقاييسه الخاصة. بعد تثبيت ultralytics باستخدام pip install ultralytics، يقيّم سير عمل التحقق الموثّق في Ultralytics YOLO YOLO26:

from ultralytics import YOLO

if __name__ == "__main__":
    # ⁨حمّل كاشف أجسام مدرّبًا مسبقًا.⁩
    model = YOLO("yolo26n.pt")

    # ⁨قارن التنبؤات بصور التحقق الموسومة.⁩
    metrics = model.val(data="coco8.yaml")

    # ⁨أبلغ عن أداء الكشف، لا عن الاستدلال العلمي.⁩
    print("mAP50-95:", metrics.box.map)

يوضح مثال مجموعة بيانات COCO8 واجهة API؛ لكنها صغيرة جدًا لاستخلاص استنتاجات بشأن النشر. والمخرج هو متوسط الدقة المتوسطة، الذي يقيّم الكشف عبر عتبات تداخل مربعات الإحاطة، لا نتيجة GPQA. والمبدأ الأساسي هو مواءمة كل ادعاء بشأن الأداء مع القدرة التي جرى قياسها فعلًا.