Multimodal AI

يشير الذكاء الاصطناعي متعدد الوسائط إلى أنظمة الذكاء الاصطناعي (AI) التي تستقبل أكثر من نوع واحد من البيانات أو تنتجه أو تجمع بينهما، أي أكثر من وسيط واحد: النصوص والصور والفيديو والصوت وقراءات المستشعرات مثل بيانات الليدار والرادار. يستطيع المساعد متعدد الوسائط النظر إلى صورة لضوء تحذير في لوحة القيادة، وقراءة سؤال مكتوب عنه، والإجابة نصيًا أو صوتيًا، كما تدمج السيارة ذاتية القيادة بيانات الكاميرا والليدار والرادار في صورة واحدة للطريق. ويُطلق المصطلح على هذه الأنظمة والمنتجات، التي تُبنى باستخدام التعلّم متعدد الوسائط، أي أساليب التدريب مثل المواءمة التقابلية والدمج، التي تعلّم النموذج كيفية ارتباط الوسائط بعضها ببعض.

كيفية بناء الأنظمة متعددة الوسائط#

يمر كل وسيط أولًا عبر مُشفِّر ملائم له، مثل المحوّل البصري (ViT) للصور أو مُشفِّر للمخطط الطيفي للصوت، لتحويل المدخلات الخام إلى تضمينات. ثم تجمع مرحلة الدمج بينها، وينتج مفكِّك أو رأس مهمة المخرجات. تمرر معظم المساعدات الحالية كل شيء عبر نموذج لغوي كبير (LLM): ربط LLaVA (2023) مُشفِّر الصور CLIP بالنموذج اللغوي Vicuna عبر إسقاط متعلَّم يحوّل سمات الصور إلى متجهات شبيهة بالرموز، وأدخلت Flamingo من DeepMind (2022) طبقات جديدة للانتباه المتبادل في نموذج لغوي مجمّد، كي تتمكن رموز النص فيه من الانتباه إلى سمات الصور.

تُدرَّب النماذج متعددة الوسائط الأصلية على بيانات مختلطة منذ البداية بدلًا من إلحاق مُشفِّرات بنموذج لغوي مكتمل. وقدمت Google نموذج Gemini بوصفه متعدد الوسائط أصليًا في ديسمبر 2023، ويقبل GPT-4o من OpenAI (مايو 2024) أي مزيج من النص والصوت والصور والفيديو، ويستجيب للمدخلات المنطوقة خلال 320 ملي ثانية في المتوسط.

كانت النماذج السابقة أحادية المسار، مثل ViLT (2021)، تُدخل رقع الصور ورموز الأسئلة إلى محوّل واحد، وتختار كل إجابة من مفردات ثابتة تضم 3,129 إجابة. وصغر حجم ViLT بما يكفي للإجابة عن أسئلة حول صورة على CPU:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

أجاب ViLT بشكل صحيح بـ«أزرق وأبيض» و«لا»، وعدّ ثلاثة أشخاص، رغم أن أربعة أشخاص ظاهرون جزئيًا على الأقل: رجلان يمشيان وهما ظاهران بالكامل، وشخصان مقطوعان عند الحافتين اليمنى واليسرى. ويُعدّ عدّ الأجسام الصغيرة أو الظاهرة جزئيًا خطأً شائعًا في النماذج البصرية اللغوية.

التطبيقات#

• الإجابة عن الأسئلة المرئية (VQA): أضافت Be My Eyes ميزة Be My AI في عام 2023، التي تستخدم GPT-4 من OpenAI لوصف الصور والإجابة عن أسئلة المتابعة للمستخدمين المكفوفين وضعاف البصر.
• المركبات ذاتية القيادة: تجمع سيارات الأجرة الآلية، مثل مركبات Waymo، بين الكاميرات والليدار والرادار، ويغطي كل منها الظروف التي تواجه فيها الوسائل الأخرى صعوبة، مثل الوهج أو الظلام أو الضباب.
• الرعاية الصحية: تقرأ النماذج السريرية الصور الطبية إلى جانب ملاحظات المريض وسجله الطبي، وهو السياق الذي يستند إليه اختصاصي الأشعة عند قراءة الصورة.
• إنشاء النص إلى صورة: تحوّل نماذج مثل Stable Diffusion وصفًا مكتوبًا إلى صورة، وتوسّع نماذج تحويل النص إلى فيديو هذه الإمكانية لتشمل الحركة.
• الاسترجاع المعزز بالتوليد متعدد الوسائط: يسترجع الصور والجداول ومقاطع النص ليجيب نموذج لغوي كبير استنادًا إليها.

أصبح وسم مجموعات البيانات مهمة متعددة الوسائط أيضًا. ففي مجموعة بيانات للكشف، ترسل التسمية الذكية الموجّهة بالفئات في منصة Ultralytics أسماء فئات مجموعة البيانات كنص إلى نماذج مستضافة مثل Florence-2 من Microsoft وGrounding DINO من IDEA Research وSAM 3.1 من Meta، فتُعيد صناديق قابلة للتحرير لتدريب كاشف YOLO26. وتقارن لوحة صدارة VLM مدى دقة هذه النماذج ونماذج VLM التوليدية في وسم مجموعات بيانات الكشف الواقعية.

الذكاء الاصطناعي متعدد الوسائط مقارنةً بالمصطلحات ذات الصلة#

• التعلّم متعدد الوسائط: أساليب التدريب على وسائط متعددة، مثل المواءمة التقابلية والدمج المبكر أو المتأخر أو القائم على الانتباه المتبادل. أما الذكاء الاصطناعي متعدد الوسائط فهو الأنظمة والتطبيقات الناتجة عنها.
• النموذج متعدد الوسائط: نموذج واحد مُدرَّب يتعامل مع وسائط متعددة، وهو المكوّن الأساسي لمعظم أنظمة الذكاء الاصطناعي متعددة الوسائط.
• النموذج البصري اللغوي (VLM): أكثر أنواع النماذج متعددة الوسائط شيوعًا، ويقتصر على الصور أو الفيديو والنص.
• دمج المستشعرات: يجمع قياسات المشهد نفسه من عدة مستشعرات، غالبًا باستخدام مرشح كالمان، وهو أسلوب مستخدم في الروبوتات والمركبات منذ زمن طويل، قبل ظهور النماذج متعددة الوسائط المتعلَّمة.