Multi-Modal Learning

التعلّم متعدد الوسائط هو مجال التعلم الآلي المعني بتدريب النماذج على بيانات تتألف من أكثر من وسيط، مثل الصور المصحوبة بتعليقات توضيحية، أو الفيديو مع مساره الصوتي، أو إطارات الكاميرا مع عمليات مسح الليدار، بحيث يتعلم النموذج العلاقات بين الوسائط. وتجيب أساليبه عن سؤالين: كيف نمثل وسائط مختلفة كي يمكن مقارنتها، وأين ندمجها في النموذج. وتوصف الأنظمة الناتجة عن هذه الأساليب، من المساعدين البصريين اللغويين إلى منظومات إدراك القيادة الذاتية، بأنها ذكاء اصطناعي متعدد الوسائط.

يجمع الناس بين الحواس دون جهد. ففي تأثير ماكغورك، الموصوف عام 1976، يُسمع مقطع فيديو لشفاه تنطق "ga" مدبلج بصوت "ba" على هيئة "da". ونقل Jiquan Ngiam وزملاؤه في Stanford الفكرة إلى التعلم العميق عام 2011، فدرّبوا شبكات على الصوت وفيديو الشفاه معًا وأظهروا أن السمات المتعلّمة من الوسيطين حسّنت قراءة الشفاه مقارنةً بالفيديو وحده.

التحديات الأساسية#

نظّم Tadas Baltrušaitis وChaitanya Ahuja وLouis-Philippe Morency المجال حول خمسة تحديات في استعراضهم لعام 2019:

• التمثيل: ترميز كل وسيط في هيئة متجهات، إما ضمن فضاء مشترك واحد أو فضاءات منفصلة مدرّبة على التوافق.
• الترجمة: تحويل وسيط إلى آخر، كما في وصف الصور أو توليد الصور من النص.
• المحاذاة: العثور على الأجزاء المتناظرة بين وسيطين، مثل منطقة الصورة التي تصفها عبارة.
• الدمج: جمع المعلومات من وسائط عدة لإجراء تنبؤ.
• التعلّم المشترك: نقل المعرفة من وسيط تتوفر له بيانات كثيرة إلى وسيط شحيح البيانات.

استراتيجيات الدمج#

يدمج الدمج المبكر المدخلات أو السمات منخفضة المستوى قبل أي معالجة خاصة بوسيط معين، مثل تكديس خريطة عمق مع قنوات RGB في صورة واحدة ذات أربع قنوات. ويشغّل الدمج المتأخر نموذجًا منفصلًا لكل وسيط، ثم يدمج تنبؤاتها باستخدام المتوسط أو التصويت، ما يجعله قادرًا على الاستمرار عند غياب أحد الوسائط. أما الدمج الوسيط فيرمّز كل وسيط على حدة ويتيح لها تبادل المعلومات داخل الشبكة، عادةً باستخدام الانتباه المتقاطع، وهو آلية انتباه تنتبه فيها رموز وسيط إلى سمات وسيط آخر. ويستخدم دمج المستشعرات في الروبوتات والمركبات الاستراتيجيات الثلاث كلها.

قد تؤدي إضافة وسيط إلى خفض الدقة أيضًا. أظهر Weiyao Wang وDu Tran وMatt Feiszli عام 2020 أن شبكة تصنيف فيديو مدرّبة معًا على الصوت والإطارات والحركة غالبًا ما يكون أداؤها أسوأ من أفضل نموذج أحادي الوسيط، لأنها تفرط في التكيّف ولأن الوسائط تتعلم بسرعات مختلفة. وتعيد طريقتهم Gradient-Blending وزن خسارة كل وسيط للتعويض عن ذلك.

المحاذاة التباينية#

تُحاذي عملية التعلم التبايني الوسائط من دون تسميات يدوية. وقد درّب CLIP من OpenAI (2021) مُرمِّز صور ومُرمِّز نصوص على 400 مليون زوج من الصور والتعليقات التوضيحية، بحيث يكون تمثيل كل صورة أقرب إلى تعليقها الخاص من سائر التعليقات في الدفعة. وطابق الناتج دقة ResNet-50 الأصلية على ImageNet دون تدريب مسبق خاص بالمهمة، من دون استخدام أي من صور التدريب المعلّمة البالغ عددها 1.28 مليونًا في ImageNet. ودالة الخسارة هي الانتروبيا المتقاطعة على مصفوفة التشابه، وتُطبّق في الاتجاهين:

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

عندما يقترن كل تعليق بصورته الصحيحة تكون الخسارة 0.577، ويؤدي إزاحة التعليقات صفًا واحدًا بحيث تقترن كل صورة بتعليق خاطئ إلى رفعها إلى 2.756. ويخفّض التدريب هذه الخسارة عبر دفعات تضم أزواجًا كثيرة (استخدم CLIP عددًا قدره 32,768)، ما يقرّب كل صورة من تعليقها ويباعدها عن كل تعليق آخر في الدفعة؛ ويتعلم CLIP قيمة درجة الحرارة أثناء التدريب، بدءًا من 0.07. ووسّعت ALIGN من Google (2021) النهج نفسه ليشمل 1.8 مليار زوج من الصور والنصوص البديلة المشوشة، واستبدل SigLIP (2023) دالة softmax بدالة sigmoid مستقلة لكل زوج، وحاذى ImageBind من Meta (2023) ستة وسائط، منها الصوت والعمق والحرارة وبيانات مستشعرات الحركة، عبر إقران كل منها بالصور.

تتعلم كواشف المفردات المفتوحة النوع نفسه من المحاذاة بين النص ومناطق الصورة. تجمع وصفة Ultralytics لتدريب YOLOE-26، وهو نموذج YOLO26 مفتوح المفردات يستند إلى YOLOE من جامعة تسينغهوا، من الصفر بين تسميات الكشف في Objects365 وبيانات الإرساء في GQA وFlickr30k، أي نحو 1.4 مليون عينة؛ ويرمّز المدرّب كل اسم فئة وعبارة مرة واحدة باستخدام مُرمّز النص MobileCLIP2 المجمّد من Apple ويخزّن التضمينات مؤقتًا، لذا لا يحدّث التدريب إلا الكاشف، بما في ذلك طبقة متبقية صغيرة تنقّح متجهات النص المخزّنة مؤقتًا قبل مطابقتها بميزات المناطق.

التعلّم متعدد الوسائط مقارنةً بالمصطلحات ذات الصلة#

• الذكاء الاصطناعي متعدد الوسائط: الأنظمة والتطبيقات المبنية باستخدام التعلّم متعدد الوسائط، مثل المساعدين البصريين وأنظمة إدراك مساعدة السائق.
• النموذج متعدد الوسائط: نموذج مدرّب يتعامل مع وسائط متعددة، وهو الناتج الذي ينتجه التعلّم متعدد الوسائط.
• النموذج البصري اللغوي (VLM): نموذج متعدد الوسائط للصور والنصوص، يُدرَّب غالبًا على مراحل: تدريب مسبق تقابلي، ثم ربط مُشفِّر الصور بنموذج لغوي، ثم ضبط التعليمات المرئية.
• التعلّم بالنقل: يعيد استخدام نموذج دُرِّب على مهمة لأداء مهمة أخرى، ويطبّق التعلّم المشترك الفكرة نفسها على وسائط متعددة.