MMMU

يرمز MMMU إلى الفهم والاستدلال متعددا الوسائط عبر تخصصات متعددة على نطاق واسع، وهو معيار يختبر مدى كفاءة نماذج الذكاء الاصطناعي في حل مسائل بمستوى جامعي تجمع بين الصور والنصوص والمعرفة التخصصية. تخيّله امتحانًا يكون فيه فهم مخطط أو رسم بياني أو بنية كيميائية أمرًا أساسيًا للإجابة عن السؤال. وهو يقيّم نماذج الرؤية واللغة، التي تعالج المعلومات المرئية والمكتوبة معًا.

قدّم شيانغ يويه ويوانشنغ ني وكاي تشانغ وتيانيو تشنغ وزملاؤهم معيار MMMU في 27 نوفمبر 2023. ويتمثل التحدي الأساسي فيه في الجمع بين الإدراك البصري والمعرفة المتخصصة والاستدلال المتأني.

ما الذي يقيسه MMMU#

يجمع MMMU بين ثلاث قدرات: إدراك المعلومات المرئية، واسترجاع المعرفة ذات الصلة، والاستدلال للوصول إلى إجابة. وهذا يجعله اختبارًا لـالذكاء الاصطناعي متعدد الوسائط، حيث تسهم أنواع مختلفة من المعلومات في إنجاز مهمة واحدة. وتمتد مسائل الاستدلال البصري فيه لتشمل المخططات والجداول والخرائط والنوتات الموسيقية والصور الطبية والمخططات الهندسية. ويتطلب فهم هذه التمثيلات تفسيرًا خاصًا بالمجال، فضلًا عن التعرّف على محتواها المرئي.

MMMU هو مجموعة بيانات معيارية محددة ضمن الإجابة عن الأسئلة المرئية، وهي المهمة الأوسع نطاقًا المتمثلة في الإجابة عن أسئلة حول الصور. ويقيّم MMLU المعرفة الأكاديمية المعتمدة على النصوص؛ أما MMMU فيدمج الأدلة المرئية في حل المسائل الأكاديمية. وتستخرج تقنية التعرّف الضوئي على الحروف الأحرف المكتوبة من الصور، بينما تتطلب أسئلة MMMU أيضًا تفسير العلاقات وتطبيق المعرفة المتخصصة.

حجم مجموعة البيانات وبنية التقييم#

تحتوي مجموعة بيانات MMMU على 11,550 سؤالًا، ويُقرّب هذا العدد عادةً إلى 11.5 ألفًا. وتغطي الأسئلة 30 تخصصًا و183 مجالًا فرعيًا ضمن ستة مجالات: الفن والتصميم، والأعمال، والعلوم، والصحة والطب، والعلوم الإنسانية والعلوم الاجتماعية، والتقنية والهندسة. وجمع طلاب جامعيون هذه المواد يدويًا من مصادر شملت الامتحانات والاختبارات القصيرة والكتب الدراسية ومواد المحاضرات.

يُسند هيكل التقييم غرضًا مميزًا إلى كل تقسيم:

• التعلّم بقليل من الأمثلة: توفّر مجموعة التطوير المؤلفة من 150 سؤالًا أمثلة يمكن تضمينها في موجّه النموذج.
• بيانات التحقق: تدعم مجموعة التحقق المؤلفة من 900 سؤال تصحيح الأخطاء واختيار المعلمات وإجراء التقييمات السريعة.
• بيانات الاختبار: تدعم مجموعة الاختبار المؤلفة من 10,500 سؤال تقييمًا أوسع نطاقًا. وتتيح إجابات الاختبار وشروحاته المنشورة إجراء التقييم محليًا باستخدام التنفيذ الرسمي للتقييم.

النتائج والتطبيقات وأنماط الإخفاق#

يقدّم MMMU الدقة، أي النسبة المئوية للأسئلة التي أُجيب عنها إجابة صحيحة. وكانت النتيجة الرئيسية الأصلية نحو 56% لـ GPT-4V؛ وبلغت نتيجة الاختبار التفصيلية 55.7%، مقارنةً بـ56.8% على مجموعة التحقق. واستخدمت هذه التقييمات الأولية التعلّم من دون أمثلة، إذ عُرضت الأسئلة من دون أمثلة توضيحية من المعيار. لذلك، يحدّد تقسيم البيانات وإعدادات التوجيه التقييم الذي تستند إليه نتيجة لوحة المتصدرين.

من التطبيقات المفيدة تشخيص أسباب إخفاق الإجابات متعددة الوسائط. ففي تحليل لـ150 خطأً ارتكبه GPT-4V، ارتبط 35% منها بالإدراك، و29% بنقص المعرفة، و26% بالاستدلال. وأظهر أحد أمثلة علوم الحاسوب أن النموذج تعرّف على الدائرتين المزدوجتين في مخطط آلة حالات منتهية، لكنه أخفق في تفسيرهما على أنهما حالتان نهائيتان مقبولتان. فقد تعرّف على الرمز المرئي، لكنه لم يستوعب معناه التقني، ما أدى إلى حل غير صحيح. ويربط ذلك MMMU بـالإرساء، أي الصلة بين تفسيرات النموذج والأدلة الداعمة.

تدعم القدرات نفسها في التعامل مع الصور واللغة وسم البيانات باستخدام مطالبات الفئات في منصة Ultralytics، حيث تنشئ النماذج مربعات إحاطة انطلاقًا من أسماء الفئات لمجموعات بيانات الكشف. ويتيح محرر الوسم للأشخاص مراجعة هذه التنبؤات وتحسينها.

MMMU مقابل MMMU-Pro#

قدّم شيانغ يويه وتيانيو تشنغ ويوانشنغ ني وزملاؤهم MMMU-Pro في سبتمبر 2024 بوصفه إصدارًا أصعب من MMMU. ويستهدف التعلّم بالاختصارات: استغلال القرائن النصية أو الارتباطات بين خيارات الإجابة لحل الأسئلة من دون الاستناد إلى الأدلة المرئية المقصودة. وتصفّي عملية الإنشاء الأسئلة التي تستطيع النماذج المعتمدة على النص فقط الإجابة عنها، وتوسّع خيارات الإجابة، وتضيف إعدادًا للإدخال المرئي فقط.

في MMMU-Pro، يضع الإدخال المرئي فقط السؤال وخيارات الإجابة داخل لقطة شاشة أو صورة فوتوغرافية، ما يتطلب من النموذج قراءة عرض مرئي موحّد وتفسيره. ويربط ذلك فهم المستندات بالاستدلال الأكاديمي. وأبقت عملية الإنشاء الأصلية على 1,730 سؤالًا، مع توسيع الإجابات المرشحة لتشمل 10 خيارات.