Multimodal AI

يشير الذكاء الاصطناعي متعدد الوسائط إلى فئة متطورة من أنظمة الذكاء الاصطناعي (AI) المصممة لمعالجة وتفسير وتوليف المعلومات من أنواع بيانات متعددة ومختلفة، أو "الوسائط"، في وقت واحد. على عكس الأنظمة احادية الوسائط التقليدية التي تتخصص في مصدر إدخال واحد - مثل معالجة اللغات الطبيعية (NLP) للنصوص أو رؤية الكمبيوتر (CV) للصور - يمحاك الذكاء الاصطناعي متعدد الوسائط الإدراك البشري من خلال دمج تدفقات البيانات المتنوعة. يمكن أن يشمل هذا الدمج الجمع بين البيانات المرئية (الصور، الفيديو) مع البيانات اللغوية (النصوص، الصوت المنطوق) والمعلومات الحسية (LiDAR، الرادار، الحرارية). من خلال الاستفادة من هذه المدخلات المدمجة، تحقق هذه النماذج فهماً أعمق وأكثر وعياً بالسياق للسيناريوهات المعقدة في العالم الحقيقي، مما يتقرب أكثر من القدرات الواسعة للذكاء الاصطناعي العام (AGI).

كيف تعمل الأنظمة متعددة الوسائط#

تكمن القوة الأساسية للذكاء الاصطناعي متعدد الوسائط في قدرته على تعيين أنواع بيانات مختلفة في مساحة رياضية مشتركة حيث يمكن مقارنتها ودمجها. تتضمن هذه العملية عادةً ثلاث مراحل رئيسية: الترميز، والمحاذاة، والدمج.

1. استخراج الميزات: تعالج الشبكات العصبية المتخصصة كل وسائط بشكل مستقل لتحديد الأنماط الرئيسية. على سبيل المثال، قد تقوم الشبكة العصبية التلافيفية (CNN) باستخراج ميزات مرئية من صورة فوتوغرافية، بينما يعالج Transformer التسمية التوضيحية المصاحبة.

2. المحاذاة والـ التضمينات: يتم تحويل الميزات المستخرجة إلى متجهات رقمية عالية الأبعاد. يتعلم النموذج محاذاة هذه المتجهات بحيث تكون المفاهيم المتشابهة دلالياً (مثل صورة قطة وكلمة النص "قطة") قريبة من بعضها البعض في الفضاء المتجه. وغالباً ما يتم تحقيق ذلك من خلال تقنيات مثل التعلم التبايني، وهي طريقة اشتهرت في نماذج مثل OpenAI's CLIP.

3. دمج البيانات: يدمج النظام البيانات المتمحورة باستخدام تقنيات دمج متقدمة. تستخدم البنى الحديثة آليات الانتباه لوزن أهمية وسائط على أخرى بشكل ديناميكي اعتماداً على السياق، مما يسمح للنموذج بالتركيز على النص عندما تكون الصورة غامضة، أو العكس.

تطبيقات العالم الحقيقي#

لقد أطلق الذكاء الاصطناعي متعدد الوسائط قدرات كانت مستحيلة في السابق باستخدام الأنظمة أحادية الوسائط، مما دفع عجلة الابتكار عبر مختلف الصناعات.

• الإجابة على الأسئلة المرئية (VQA): في هذا التطبيق، يمكن للمستخدم تقديم صورة إلى الذكاء الاصطناعي وطرح أسئلة باللغة الطبيعية حولها. على سبيل المثال، قد يقوم مستخدم ضعيف البصر بتحميل صورة لخزانة مؤن ويسأل، "هل تبقى لدي أي مكرونة؟" يعالج النموذج المحتوى البصري والاستعلام النصي لتقديم إجابة محددة.
• المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة بشكل كبير على المدخلات متعددة الوسائط، حيث تجمع البيانات من الكاميرات، ونقاط LiDAR، والرادار للتنقل بأمان. يضمن هذا التredundancy أنه في حالة تعطل أحد المستشعرات (مثل كاميرا مصابة بوهج الشمس)، يمكن للآخرين الحفاظ على معايير الأمان التي تحددها جمعية مهندسي السيارات (SAE).
• تشخيص الرعاية الصحية: تقوم أنظمة الذكاء الاصطناعي الطبي المتقدمة بتحليل تحليل الصور الطبية (مثل التصوير بالرنين المغناطيسي أو الأشعة السينية) إلى جانب تاريخ المريض النصي غير المنظم والبيانات الوراثية. يساعد هذا العرض الشامل الأطباء في إجراء تشخيصات أكثر دقة، وهو موضوع يناقش بشكل متكرر في Nature Digital Medicine.
• Generative AI: الأدوات التي تنشئ صورًا من مووجهات النصوص، مثل Stable Diffusion، تعتمد كليًا على قدرة النموذج على فهم العلاقة بين الوصوف اللغوية والقوام البصري.

الكشف عن المفردات المفتوحة مع Ultralytics#

في حين تعتمد أجهزة الكشف عن الكائنات القياسية على قوائم فئات محددة مسبقاً، فإن النهج متعددة الوسائط مثل YOLO-World تتيح للمستخدمين اكتشاف الكائنات باستخدام مطالبات نصية مفتوحة المفردات. وهذا يسد الفجوة بين الأوامر اللغوية والتعرف البصري داخل نظام Ultralytics البيئي.

يوضح المثال التالي كيفية استخدام مكتبة ultralytics لإجراء الكشف ذي المفردات المفتوحة، حيث يكتشف النموذج الكائنات بناءً على مدخلات نصية مخصصة:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

التمييز بين المصطلحات ذات الصلة#

للتنقل في مشهد تعلم الآلة الحديث، من المفيد التمييز بين "الذكاء الاصطناعي متعدد الوسائط" والمفاهيم ذات الصلة:

• التعلم متعدد الوسائط: يشير هذا إلى التخصص الأكاديمي ومنهجية خوارزميات التدريب على أنواع البيانات المختلطة. يشير "الذكاء الاصطناعي متعدد الوسائط" عموماً إلى التطبيق العملي أو النظام الناتج نفسه.
• نماذج اللغات الكبيرة (LLMs): نماذج LLMs التقليدية أحادية الوسائط، يتم تدريبها حصرياً على بيانات النص. ومع ذلك، تتحول الصناعة نحو "النماذج متعددة الوسائط الكبيرة" (LMMs) التي يمكنها معالجة الصور والنصوص بشكل أصلي، وهو اتجاه تدعمه أطر عمل مثل PyTorch وTensorFlow.
• نماذج الرؤية المتخصصة: تعد النماذج مثل Ultralytics YOLO26 الأحدث من نوعها خبراء متخصصين للغاية في المهام المرئية. في حين أن النموذج متعدد الوسائط العام قد يصف المشهد على نطاق واسع، تتفوق النماذج المتخصصة في اكتشاف الكائنات عالي السرعة والدقيق والمعالجة في الوقت الفعلي على الأجهزة المتطورة.

النظرة المستقبلية#

يشير مسار الذكاء الاصطناعي متعدد الوسائط نحو أنظمة تمتلك قدرات استدلال أكبر. من خلال تثبيت اللغة بنجاح في الواقع المرئي والمادي، تتجاوز هذه النماذج الارتباط الإحصائي نحو الفهم الحقيقي. يستمر البحث من مؤسسات مثل Google DeepMind ومركز ستانفورد لبحوث نماذج الأساس في دفع حدود كيفية إدراك الآلات للبيئات المعقدة.

في Ultralytics، نقوم بدمج هذه التطورات في منصة Ultralytics، مما يتيح للمستخدمين إدارة البيانات، وتدريب النماذج، ونشر الحلول التي تستفيد من الطيف الكامل للوسائط المتاحة، مع جمع سرعة YOLO26 وتنوع المدخلات متعددة الوسائط.