Multi-Modal Model

النموذج متعدد الوسائط، الذي يُكتب اسمه بالإنجليزية أيضًا multimodal model، هو نموذج واحد من التعلّم الآلي (ML) يستقبل، وأحيانًا يُنتج، بيانات من أكثر من نوع أو وسيط: صورًا ونصوصًا وصوتًا وفيديو وخرائط عمق أو قراءات مستشعرات. ولأنه يعالج الوسائط معًا، يمكنه استخدام كل وسيط سياقًا للوسائط الأخرى، فيجيب عن سؤال يُطرح شفهيًا حول صورة، أو يعثر على إطارات الفيديو التي تصفها جملة، أو يكتشف المشاة اعتمادًا على بيانات الكاميرا والرادار في آنٍ واحد. أما خط المعالجة الذي يربط نماذج أحادية الوسيط منفصلة في سلسلة، مثل نظام التعرّف على الكلام الذي يمرّر مخرجاته إلى روبوت محادثة نصي فقط، فلا ينقل المعلومات بين الوسائط إلا عبر المخرج النهائي لكل نموذج، بينما يتعلّم النموذج متعدد الوسائط كيفية ترابطها.

آلية عمل النماذج متعددة الوسائط#

يمر كل وسيط أولًا عبر مُرمِّز ملائم له، مثل محوّل الرؤية (ViT) للصور، أو مجزّئ الرموز وطبقة التضمين للنص، لتحويله إلى متجهات. ثم يدمج النموذج تلك المتجهات ويتنبأ بنصوص أو تسميات أو مربعات أو أفعال استنادًا إلى التمثيل الموحّد. ويحدّد موضع الدمج العائلات التصميمية الرئيسية:

• الدمج المبكر: تُدمج المدخلات قبل الطبقات الأولى أو عندها. يمكن تكديس المستشعرات المتوافقة مكانيًا على هيئة قنوات صور إضافية، ويدعم Ultralytics YOLO26 ذلك مباشرةً: إذ يؤدي ضبط المفتاح channels في ملف YAML لمجموعة البيانات إلى تدريب كاشف على صور تتجاوز ثلاث قنوات، مثل RGB مع النطاقات الحرارية أو نطاقات العمق المحفوظة في ملف TIFF متعدد القنوات، كما توضح مجموعة بيانات COCO8-Multispectral ذات القنوات العشر.
• الدمج الوسيط: يُرمّز كل وسيط على حدة، ثم تلتقي السمات في المنتصف، عادةً عبر الانتباه. يدرج Flamingo من DeepMind طبقات انتباه تبادلي في نموذج لغوي مجمّد كي تتمكن رموز النص من الانتباه إلى سمات الصور، كما تسقط العديد من نماذج الرؤية واللغة (VLMs) سمات الصور إلى «رموز بصرية» يقرأها نموذج لغوي كبير (LLM) إلى جانب الموجّه.
• الدمج المتأخر: تنتج النماذج المنفصلة تنبؤات تُجمع في النهاية، وهو نهج متين عند تعطل أحد المستشعرات، لكنه لا يستطيع تعلّم التفاعلات بين الوسائط.
• التضمين المشترك: تُسقط المُرمِّزات كل وسيط إلى فضاء متجهات مشترك واحد، ويُدرّب هذا التمثيل باستخدام التعلّم التبايني كي تصبح الأزواج المتطابقة متقاربة. يوفّق CLIP بين الصور والنصوص، ويوسّع ImageBind من Meta فضاء تضمين واحدًا ليشمل ستة وسائط: الصور والنصوص والصوت والعمق والحرارة وبيانات مستشعرات الحركة، باستخدام بيانات مقترنة بالصور فقط.

تحدّد البيانات والمهمة إلى حد كبير التصميم الأنسب:

يُعد ViLT، وهو محوّل الرؤية واللغة، مثالًا مدمجًا على الدمج المبكر: إذ يقسّم الصورة إلى رقع، ويضمّنها إلى جانب كلمات السؤال، ثم يمرّر التسلسل الموحّد عبر محوّل واحد. يستخدم المثال التالي نقطة تحقق ViLT المضبوطة بدقة على الإجابة عن الأسئلة البصرية (VQA) عبر Hugging Face Transformers:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

يجيب النموذج عن bus وblue and white على نحو صحيح استنادًا إلى الصورة نفسها، ويجيب عن 3 لسؤال العد، رغم ظهور أربعة أشخاص في الصورة، اثنان منهم محجوبان جزئيًا عند حافتيها؛ ويظل العد نقطة ضعف شائعة في نماذج الرؤية واللغة.

أنواع النماذج متعددة الوسائط#

• نماذج الرؤية واللغة: تقرأ الصور والنصوص لإنتاج أوصاف أو الإجابة عن الأسئلة أو قراءة المستندات أو تحديد مواقع الأجسام المذكورة في موجّه، وهي مهمة تُسمى الإرساء. وتقارن نتائج معيار VLM مدى دقة هذه النماذج في تحديد مواقع الأجسام ضمن مجموعات بيانات كشف واقعية.
• المساعدات متعددة الوسائط بطبيعتها: دُرّب GPT-4o من OpenAI، الذي أُطلق في 2024، بوصفه شبكة واحدة متكاملة على النص والرؤية والصوت، وصممت Google نماذج Gemini متعددة الوسائط منذ البداية، بحيث يستطيع نموذج واحد تلقي مزيج من النصوص والصور والصوت والفيديو في الموجّه نفسه.
• نماذج الصوت واللغة: تجمع بين الكلام أو الأصوات والنص لأغراض التفريغ والترجمة والمحادثة المنطوقة.
• نماذج الرؤية واللغة والفعل: توسّع نموذج VLM ليصدر أوامر لمحركات الروبوت، كي يتمكن الروبوت من اتباع تعليمات مثل «ضع التفاحة في الوعاء».
• الإدراك بدمج المستشعرات: تدمج المركبات ذاتية القيادة مدخلات الكاميرا والليدار والرادار في نموذج واحد يكتشف الأجسام ويتتبعها ثلاثيّ الأبعاد.

النموذج متعدد الوسائط مقابل المصطلحات ذات الصلة#

• الذكاء الاصطناعي متعدد الوسائط: المجال الأوسع للذكاء الاصطناعي الذي يتعامل مع أنواع متعددة من البيانات، بما في ذلك الأنظمة التي تربط نماذج أحادية الوسيط. والنموذج متعدد الوسائط نموذج واحد ضمن هذا المجال.
• التعلّم متعدد الوسائط: أساليب التدريب، مثل المواءمة التباينية والتهيئة المسبقة متعددة الوسائط، التي تنتج نماذج متعددة الوسائط.
• دمج المستشعرات: الجمع بين قراءات عدة مستشعرات، غالبًا باستخدام مقدّرات تقليدية مثل مرشحات Kalman بدلًا من نموذج متعلّم.
• النموذج التأسيسي: نموذج كبير مدرّب مسبقًا على العديد من المهام اللاحقة. كثير من النماذج التأسيسية الحديثة متعددة الوسائط، في حين يتعامل بعضها الآخر، مثل نماذج LLM النصية فقط، مع وسيط واحد.

التحديات#

تحتاج النماذج متعددة الوسائط إلى كميات كبيرة من البيانات المقترنة، مثل الصور المشروحة بتعليقات أو الصوت المفرّغ نصيًا، كما يجب أن تتعامل مع غياب وسيط أو تشويشه أثناء الاستدلال، مثل تعمية الوهج للكاميرا. وتُعد مدخلات الصور والفيديو مكلفة، إذ تضيف كل صورة مئات الرموز أو آلافها إلى سياق LLM. وقد تعتمد النماذج أيضًا على الوسيط الأسهل وتتجاهل الأصعب: فكثيرًا ما أجابت نماذج VQA المبكرة استنادًا إلى أنماط السؤال وحدها؛ لذلك قرن معيار VQA v2 كل سؤال بصورتين متشابهتين تقودان إلى إجابتين مختلفتين، ما ضاعف تقريبًا أزواج الصور والأسئلة في مجموعة البيانات.