Multi-Modal Learning

التعلّم متعدد الوسائط هو نهج متقدّم في الذكاء الاصطناعي (AI) يدرّب الخوارزميات على معالجة المعلومات وفهمها وربطها من أنواع متعددة ومتميزة من البيانات، أو ما يُعرف بـ"الوسائط". وعلى خلاف الأنظمة التقليدية التي تتخصص في نوع واحد من المدخلات—مثل النص للترجمة أو وحدات البكسل لـالتعرّف على الصور—يحاكي التعلّم متعدد الوسائط الإدراك البشري من خلال دمج مدخلات حسية متنوعة، مثل البيانات المرئية والتسجيلات الصوتية المنطوقة والأوصاف النصية وقراءات المستشعرات. ويتيح هذا النهج الشامل لنماذج التعلّم الآلي (ML) تطوير فهم أعمق للعالم، واعٍ بالسياق، مما يؤدي إلى تنبؤات أكثر متانة وتنوعًا.

كيفية عمل التعلّم متعدد الوسائط#

يتمثل التحدي الأساسي في التعلّم متعدد الوسائط في ترجمة أنواع البيانات المختلفة إلى فضاء رياضي مشترك يمكن فيه مقارنتها ودمجها. وتتضمن هذه العملية عمومًا ثلاث مراحل رئيسية: الترميز، والمحاذاة، والدمج.

1. استخراج السمات: تعالج الشبكات العصبية المتخصصة كل وسيط بصورة مستقلة. فعلى سبيل المثال، قد تستخرج الشبكات العصبية الالتفافية (CNNs) أو محوّلات الرؤية (ViTs) السمات من الصور، بينما تعالج الشبكات العصبية المتكررة (RNNs) أو Transformers النصوص.

2. محاذاة التضمينات: يتعلّم النموذج تخطيط هذه السمات المتنوعة إلى متجهات مشتركة عالية الأبعاد. وفي هذا الفضاء المشترك، يُقرَّب متجه كلمة "قطة" من متجه صورة قطة. وتُعد تقنيات مثل التعلّم التبايني، التي اشتهرت بأبحاث مثل CLIP من OpenAI، أساسية هنا.

3. دمج البيانات: تُدمج المعلومات أخيرًا لتنفيذ مهمة معينة. ويمكن أن يحدث الدمج مبكرًا (من خلال دمج البيانات الأولية)، أو متأخرًا (من خلال دمج التنبؤات النهائية)، أو عبر أساليب هجينة وسيطة تستخدم آلية الانتباه لتحديد أهمية كل وسيط ديناميكيًا.

التطبيقات الواقعية#

يُعد التعلّم متعدد الوسائط المحرّك وراء العديد من أكثر إنجازات الذكاء الاصطناعي إثارة للإعجاب اليوم، إذ يردم الفجوة بين مستودعات البيانات المنعزلة والمتميزة لحل المشكلات المعقدة.

• الإجابة عن الأسئلة المرئية (VQA): في هذا التطبيق، يجب على النظام تحليل صورة والإجابة عن سؤال بلغة طبيعية حولها، مثل "ما لون إشارة المرور؟". ويتطلب ذلك من النموذج فهم دلالات النص وتحديد موضع العناصر المرئية المطابقة مكانيًا باستخدام الرؤية الحاسوبية.
• المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة اعتمادًا كبيرًا على دمج بيانات المستشعرات، إذ تجمع بين بيانات سحب نقاط LiDAR وتغذيات الفيديو من الكاميرات والرادار للتنقل بأمان. ويضمن هذا الإدخال متعدد الوسائط أنه إذا تعطل أحد المستشعرات (مثلًا، إذا حجبت وهج الشمس رؤية الكاميرا)، فيمكن للمستشعرات الأخرى الحفاظ على السلامة على الطرق.
• التشخيص الطبي: يستخدم الذكاء الاصطناعي في الرعاية الصحية التعلّم متعدد الوسائط من خلال تحليل تحليل الصور الطبية (مثل صور التصوير بالرنين المغناطيسي أو الأشعة السينية) إلى جانب التاريخ الطبي النصي غير المنظم والبيانات الجينية. وتساعد هذه الرؤية الشاملة الأطباء على إجراء تشخيصات أدق، وهو موضوع يُناقش كثيرًا في مجلات Nature Digital Medicine.
• الذكاء الاصطناعي التوليدي: تعتمد الأدوات التي تنشئ صورًا من مطالبات نصية، مثل Stable Diffusion، اعتمادًا كاملًا على قدرة النموذج على فهم العلاقة بين الأوصاف اللغوية والأنسجة المرئية.

اكتشاف الأجسام متعدد الوسائط باستخدام Ultralytics#

بينما تعتمد كاشفات الأجسام القياسية على فئات محددة مسبقًا، تتيح الأساليب متعددة الوسائط مثل YOLO-World للمستخدمين اكتشاف الأجسام باستخدام مطالبات نصية ذات مفردات مفتوحة. ويوضح ذلك قوة الربط بين المفاهيم النصية والسمات المرئية ضمن منظومة Ultralytics.

يوضح مقتطف شفرة Python التالي كيفية استخدام نموذج YOLO-World مدرَّب مسبقًا لاكتشاف الأجسام استنادًا إلى مدخلات نصية مخصصة.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multi-Modal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person", "bus", "traffic light"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

تمييز المصطلحات الأساسية#

للتنقل في مشهد الذكاء الاصطناعي الحديث، من المفيد التمييز بين «التعلّم متعدد الوسائط» والمفاهيم ذات الصلة:

• النموذج متعدد الوسائط: يشير «التعلّم متعدد الوسائط» إلى المنهجية ومجال الدراسة. أما «النموذج متعدد الوسائط» (مثل GPT-4 أو Gemini من Google) فهو النتاج المحدد أو منتج البرنامج الناتج عن عملية التدريب تلك.
• الذكاء الاصطناعي أحادي الوسيط: تكون الرؤية الحاسوبية التقليدية أحادية الوسيط عمومًا، إذ تركز حصريًا على البيانات المرئية. وبينما يُعد نموذج مثل Ultralytics YOLO26 أداة متطورة للرؤية الحاسوبية (CV) لاكتشاف الأجسام، فإنه يعمل عادةً على المدخلات المرئية وحدها ما لم يكن جزءًا من خط أنابيب أكبر متعدد الوسائط.
• نماذج اللغة الكبيرة (LLMs): تكون نماذج LLMs التقليدية أحادية الوسيط، إذ تُدرَّب على النصوص فقط. إلا أن القطاع يتجه نحو «النماذج متعددة الوسائط الكبيرة» (LMMs) القادرة على معالجة الصور والنصوص مباشرةً، وهو اتجاه تدعمه أطر عمل مثل PyTorch وTensorFlow.

التوقعات المستقبلية#

يشير مسار التعلّم متعدد الوسائط إلى أنظمة تمتلك خصائص الذكاء الاصطناعي العام (AGI). ومن خلال إرساء اللغة بنجاح في الواقع المرئي والمادي، تتجاوز هذه النماذج الارتباط الإحصائي نحو الاستدلال الحقيقي. وتواصل أبحاث مؤسسات مثل MIT CSAIL ومركز ستانفورد لأبحاث النماذج الأساسية دفع حدود كيفية إدراك الآلات للبيئات المعقدة متعددة الحواس وتفاعلها معها.

في Ultralytics، ندمج هذه التطورات في منصة Ultralytics، مما يتيح للمستخدمين إدارة البيانات وتدريب النماذج ونشر الحلول التي تستفيد من النطاق الكامل للوسائط المتاحة، بدءًا من سرعة YOLO26 ووصولًا إلى تنوع الاكتشاف ذي المفردات المفتوحة.