Multimodal AI

يشير الذكاء الاصطناعي متعدد الوسائط إلى فئة متطورة من أنظمة الذكاء الاصطناعي (AI) المصممة لمعالجة وتفسير وتركيب المعلومات من أنواع متعددة ومختلفة من البيانات، أو "الوسائط"، في وقت واحد. وعلى عكس الأنظمة أحادية الوسائط التقليدية التي تتخصص في مصدر إدخال واحد - مثل معالجة اللغات الطبيعية (NLP) للنصوص أو الرؤية الحاسوبية (CV) للصور - يحاكي الذكاء الاصطناعي متعدد الوسائط الإدراك البشري من خلال دمج تدفقات بيانات متنوعة. يمكن أن يشمل هذا الدمج الجمع بين البيانات البصرية (الصور، الفيديو) والبيانات اللغوية (النصوص، الصوت المنطوق) والمعلومات الحسية (LiDAR، الرادار، الحرارية). ومن خلال الاستفادة من هذه المدخلات المشتركة، تحقق هذه النماذج فهماً أعمق وأكثر وعياً بالسياق للسيناريوهات المعقدة في العالم الحقيقي، مقتربة من القدرات الواسعة لـ الذكاء الاصطناعي العام (AGI).

Link to this sectionكيف تعمل الأنظمة متعددة الوسائط#

تكمن القوة الأساسية للذكاء الاصطناعي متعدد الوسائط في قدرته على تعيين أنواع بيانات مختلفة في مساحة رياضية مشتركة حيث يمكن مقارنتها ودمجها. تتضمن هذه العملية عادةً ثلاث مراحل رئيسية: الترميز، والمحاذاة، والدمج.

1. استخراج الميزات: تعالج الشبكات العصبية المتخصصة كل وسيط بشكل مستقل لتحديد الأنماط الرئيسية. على سبيل المثال، قد تقوم شبكة عصبية تلافيفية (CNN) باستخراج الميزات البصرية من صورة فوتوغرافية، بينما يقوم Transformer بمعالجة التعليق المصاحب.

2. المحاذاة والتضمينات: يتم تحويل الميزات المستخرجة إلى متجهات رقمية عالية الأبعاد. يتعلم النموذج محاذاة هذه المتجهات بحيث تكون المفاهيم المتشابهة دلالياً (على سبيل المثال، صورة لقطة وكلمة "قطة" النصية) قريبة من بعضها البعض في مساحة المتجهات. غالباً ما يتم تحقيق ذلك من خلال تقنيات مثل التعلم التبايني، وهو أسلوب تم استخدامه بشكل بارز في نماذج مثل CLIP من OpenAI.

3. دمج البيانات: يقوم النظام بدمج البيانات المحاذية باستخدام تقنيات دمج متقدمة. تستخدم البنيات الحديثة آليات الانتباه لوزن أهمية وسيط على آخر ديناميكياً اعتماداً على السياق، مما يسمح للنموذج بالتركيز على النص عندما تكون الصورة غامضة، أو العكس.

Link to this sectionتطبيقات العالم الحقيقي#

لقد أطلق الذكاء الاصطناعي متعدد الوسائط قدرات كانت مستحيلة في السابق باستخدام الأنظمة أحادية الوسائط، مما دفع عجلة الابتكار عبر مختلف الصناعات.

• الإجابة المرئية على الأسئلة (VQA): في هذا التطبيق، يمكن للمستخدم تقديم صورة إلى ذكاء اصطناعي وطرح أسئلة باللغة الطبيعية حولها. على سبيل المثال، قد يقوم مستخدم يعاني من ضعف بصري بتحميل صورة لخزانة مؤن ويسأل: "هل تبقى لدي أي معكرونة؟". يعالج النموذج المحتوى البصري والاستعلام النصي لتقديم إجابة محددة.
• المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة بشكل كبير على المدخلات متعددة الوسائط، حيث تجمع بين البيانات من الكاميرات، وسحب نقاط LiDAR، والرادار للتنقل بأمان. يضمن هذا التكرار أنه في حال تعطل أحد المستشعرات (على سبيل المثال، كاميرا أصيبت بالعمى بسبب وهج الشمس)، يمكن للآخرين الحفاظ على معايير السلامة التي حددتها جمعية مهندسي السيارات (SAE).
• تشخيصات الرعاية الصحية: تحلل أنظمة الذكاء الاصطناعي الطبية المتقدمة تحليل الصور الطبية (مثل التصوير بالرنين المغناطيسي أو الأشعة السينية) إلى جانب التاريخ المرضي النصي غير المنظم والبيانات الجينية. يساعد هذا العرض الشامل الأطباء في إجراء تشخيصات أكثر دقة، وهو موضوع تتم مناقشته بشكل متكرر في Nature Digital Medicine.
• الذكاء الاصطناعي التوليدي: تعتمد الأدوات التي تنشئ صوراً من مطالبات نصية، مثل Stable Diffusion، كلياً على قدرة النموذج على فهم العلاقة بين الأوصاف اللغوية والقوام المرئي.

Link to this sectionالكشف عن المفردات المفتوحة مع Ultralytics#

بينما تعتمد كاشفات الكائنات القياسية على قوائم محددة مسبقاً من الفئات، تسمح الأساليب متعددة الوسائط مثل YOLO-World للمستخدمين باكتشاف الكائنات باستخدام مطالبات نصية ذات مفردات مفتوحة. وهذا يسد الفجوة بين الأوامر اللغوية والتعرف البصري داخل نظام Ultralytics البيئي.

يوضح المثال التالي كيفية استخدام مكتبة ultralytics لإجراء كشف بمفردات مفتوحة، حيث يكتشف النموذج الكائنات بناءً على مدخلات نصية مخصصة:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Link to this sectionالتمييز بين المصطلحات ذات الصلة#

للتنقل في مشهد تعلم الآلة الحديث، من المفيد التمييز بين "الذكاء الاصطناعي متعدد الوسائط" والمفاهيم ذات الصلة:

• التعلم متعدد الوسائط: يشير هذا إلى التخصص الأكاديمي والمنهجية لتدريب الخوارزميات على أنواع بيانات مختلطة. أما "الذكاء الاصطناعي متعدد الوسائط" فيشير بشكل عام إلى التطبيق العملي أو النظام الناتج نفسه.
• نماذج اللغات الكبيرة (LLMs): تعتبر نماذج LLMs التقليدية أحادية الوسائط، حيث يتم تدريبها حصرياً على البيانات النصية. ومع ذلك، تتجه الصناعة نحو "نماذج متعددة الوسائط كبيرة" (LMMs) التي يمكنها معالجة الصور والنصوص أصلياً، وهو اتجاه تدعمه أطر عمل مثل PyTorch و TensorFlow.
• نماذج الرؤية المتخصصة: تعتبر النماذج مثل Ultralytics YOLO26 المتطورة خبراء متخصصين للغاية في المهام البصرية. وبينما قد يصف نموذج متعدد الوسائط عام مشهداً بشكل واسع، تتفوق النماذج المتخصصة في اكتشاف الكائنات عالي السرعة والدقيق والمعالجة في الوقت الفعلي على أجهزة الحافة.

Link to this sectionالنظرة المستقبلية#

يشير مسار الذكاء الاصطناعي متعدد الوسائط نحو أنظمة تمتلك قدرات استدلال أكبر. ومن خلال ترسيخ اللغة بنجاح في الواقع البصري والمادي، تتجاوز هذه النماذج الارتباط الإحصائي نحو فهم حقيقي. تستمر الأبحاث من مؤسسات مثل Google DeepMind و مركز ستانفورد لأبحاث النماذج التأسيسية في دفع حدود كيفية إدراك الآلات للبيئات المعقدة.

في Ultralytics، نقوم بدمج هذه التطورات في منصة Ultralytics، مما يتيح للمستخدمين إدارة البيانات، وتدريب النماذج، ونشر الحلول التي تستفيد من النطاق الكامل للوسائط المتاحة، مع الجمع بين سرعة YOLO26 وتعدد استخدامات المدخلات متعددة الوسائط.