ترخيص YOLO
العودة إلى مسرد Ultralytics

GPQA

GPQA معيار مرجعي للعلوم على مستوى الدراسات العليا، يجيب خبراء حاصلون على الدكتوراه عن 65% من أسئلته إجابة صحيحة، مقابل 34% لغير الخبراء الذين يبحثون على الويب. تعرّف على مجموعة Diamond وكيفية قراءة النتائج.

GPQA، اختصار لعبارة أسئلة وأجوبة على مستوى الدراسات العليا لا تستطيع Google حلها، هو معيار مرجعي يضم 448 سؤال اختيار من متعدد في علم الأحياء والكيمياء والفيزياء. صاغها خبراء متخصصون بحيث يستطيع المختصون الإجابة عنها، بينما يعجز غير المختصين المهرة عن ذلك حتى مع وصول غير مقيد إلى الويب. أصدره ديفيد راين وزملاؤه في جامعة نيويورك وCohere وAnthropic في نوفمبر 2023 ضمن البحث GPQA: معيار أسئلة وأجوبة على مستوى الدراسات العليا لا تستطيع Google حلها، لقياس الاستدلال العلمي لدى النماذج اللغوية الكبيرة (LLMs). وأصبحت المجموعة الفرعية الأصعب، Diamond، التي تضم 198 سؤالًا، من أكثر الدرجات التي يُعلن عنها في أخبار النماذج، من GPT-5 من OpenAI إلى نماذج Claude 4 من Anthropic.

صُمم المعيار أيضًا لدعم الأبحاث حول الإشراف القابل للتوسع، وهو فرع من سلامة الذكاء الاصطناعي والمواءمة الفائقة: فإذا أجابت أنظمة الذكاء الاصطناعي مستقبلًا عن أسئلة لا يستطيع مشرفوها البشر التحقق منها، فسيحتاج الناس إلى سبل لمراجعة تلك الإجابات. ويوفر GPQA أسئلة توجد فيها بالفعل هذه الفجوة بين الخبراء وغير الخبراء.

كيفية صياغة الأسئلة والتحقق من صحتها#

استعان المؤلفون بـ61 متعاقدًا عبر Upwork، يحمل كل منهم درجة الدكتوراه أو يسعى إليها. وصاغ كاتب سؤالًا بإجابة صحيحة واحدة وثلاثة مشتتات معقولة. ثم أجاب خبير ثانٍ في المجال نفسه عنه وقدم ملاحظاته، فراجعه الكاتب، وبعد ذلك أجاب خبير ثالث عن النسخة المعدلة. وجرب ثلاثة محكّمين غير متخصصين، حاصلين على الدكتوراه في مجالات أخرى، كل سؤال مع وصول كامل إلى الإنترنت ومن دون مساعدات الذكاء الاصطناعي، واستغرقوا 37 دقيقة في المتوسط. وحصل الكتّاب على مكافآت عندما أجاب الخبراء إجابة صحيحة ولم يفعل غير المتخصصين ذلك، ما كافأ الأسئلة التي يمكن الإجابة عنها موضوعيًا لكن يصعب العثور على حلها بالبحث.

تتضمن عينة الكيمياء العضوية المنشورة مع البحث تفاعل ميثيل سيكلوبنتاداين مع ميثيل إيزوأميل كيتون لتكوين مشتقات الفولفين، ثم تفاعلها مع إيثيل أكريلات، وتسأل عن عدد المتماكبات المختلفة كيميائيًا التي يتكون منها الناتج النهائي. تتطلب الإجابة تحليل كل خطوة من خطوات التفاعل، وهو نوع المسائل متعددة الخطوات الذي يستهدفه التلقين بسلسلة الأفكار ونماذج الاستدلال.

أنتجت هذه العملية خطوط الأساس الرئيسية للمعيار. أجاب الخبراء إجابة صحيحة عن 65% من الأسئلة في مجالاتهم، وارتفعت النسبة إلى 74% عند استبعاد الأخطاء التي أدركوا لاحقًا أنهم ارتكبوها. ولم يحرز غير الخبراء سوى 34%، أي تسع نقاط مئوية فوق نسبة 25% المتوقعة من التخمين العشوائي، وهذا هو المقصود عمليًا بعبارة «لا تستطيع Google حلها». وعند الإصدار، سجل أقوى خط أساس لـGPT-4، باستخدام التلقين بسلسلة الأفكار مع أمثلة قليلة، نحو 39%.

المجموعات الموسّعة والرئيسية والماسية#

تأتي GPQA في ثلاث مجموعات فرعية متداخلة، تخضع كل منها لمرشحات أشد من سابقتها:

  • المجموعة الموسعة (546 سؤالًا): جميع الأسئلة المنشورة قبل التصفية. وحجب المؤلفون 18 سؤالًا إضافيًا ضمن مجموعة لم تُنشر.
  • المجموعة الرئيسية (448 سؤالًا): وافق أحد المحكّمين الخبيرين على الأقل على الإجابة، وأجاب اثنان من المحكّمين غير المتخصصين الثلاثة على الأكثر إجابة صحيحة.
  • Diamond (198 سؤالًا): وافق الخبيران كلاهما على الإجابة، وأجاب محكّم غير متخصص واحد على الأكثر إجابة صحيحة. ويُعد الخبير الذي أجاب إجابة خاطئة موافقًا إذا حدد خطأه بوضوح بعد ذلك.

تُعد Diamond الخيار القياسي لمقارنة النماذج لأنها تحتفظ بالأسئلة ذات الإجابات الأوضح والفجوة الأوسع بين الخبراء وغير المتخصصين.

قراءة درجات GPQA#

في سبتمبر 2024، أفادت OpenAI بأن نموذج الاستدلال o1 تجاوز دقة خبراء الدكتوراه في Diamond، وبحلول عام 2026 تخطت أفضل الدرجات المعلنة لـالنماذج الحدودية 90%. وعند هذا المستوى لا تحمل الفروق الصغيرة معلومات كثيرة. فكل سؤال في Diamond يعادل نحو نصف نقطة مئوية، ويبلغ الخطأ المعياري عبر 198 سؤالًا نحو 2.1 نقطة عند دقة قدرها 90%؛ ولذلك يمتد مجال الثقة البالغ 95% بنحو أربع نقاط مئوية في كلا الاتجاهين، وتكون النماذج التي تفصل بينها بضع نقاط غير قابلة للتمييز إحصائيًا.

تؤثر تفاصيل البروتوكول في الدرجات أيضًا. فالتلقين من دون أمثلة أو باستخدام أمثلة قليلة، والسماح بسلسلة الأفكار من عدمه، وعدد العينات التي يؤخذ متوسطها، وترتيب خيارات الإجابة، وإمكانية استخدام النموذج لـالأدوات، كلها عوامل تغير النتائج. لذلك تثبت المقارنات العادلة هذه العوامل، كما يفعل امتحان البشرية الأخير عبر الإبلاغ عن إعدادات الأدوات على حدة. ويشكل تلوث البيانات خطرًا إضافيًا على أي معيار عام. وتحتوي بيانات GPQA على سلسلة كاشفة حتى يتسنى لخطوط التدريب استبعادها، ويطلب المؤلفون من المستخدمين عدم نشر الأسئلة نصًا صريحًا على الإنترنت، لأن تسرب الأمثلة إلى نصوص الويب قد يجعل الدرجة المرتفعة انعكاسًا للحفظ، وهو شكل من تسرب البيانات يتجنبه LiveCodeBench عبر تأريخ المسائل.

تتبع معايير الرؤية الانضباط نفسه في إعداد التقارير. وتعرض وثائق Ultralytics لكشف الكائنات متوسط الدقة (mAP) لنموذج YOLO26 على مجموعة COCO val2017 للتحقق، المكوّنة من 5,000 صورة، إلى جانب أمر التحقق الدقيق الذي يعيد إنتاج كل رقم، مع إضافة nms=False لإعادة إنتاج عمود التقييم الشامل من البداية إلى النهاية. ويقيّم لوحة صدارة VLM من Ultralytics نماذج الرؤية واللغة باستخدام شيفرة التحقق نفسها، ويوثّق طريقة أخذ عينات الصور وتقييم كل صندوق.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة