نموذج متعدد الوسائط

النموذج متعدد الوسائط هو نظام ذكاء اصطناعي يمكنه معالجة وفهم المعلومات من أنواع متعددة من البيانات - أو "الطرائق" - في وقت واحد. على عكس النماذج التقليدية التي قد تتعامل مع النصوص أو الصور فقط، يمكن للنموذج متعدد الوسائط تفسير النصوص والصور والصوت ومصادر البيانات الأخرى معًا، مما يؤدي إلى فهم أكثر شمولاً وشبهًا بالإنسان. تُعد هذه القدرة على دمج تدفقات البيانات المتنوعة خطوة مهمة نحو أنظمة ذكاء اصطناعي أكثر تقدماً وإدراكاً للسياق، وقادرة على معالجة المهام المعقدة التي تتطلب فهم العالم من وجهات نظر متعددة. هذا النهج أساسي لمستقبل الذكاء الاصطناعي في حياتنا اليومية.

كيف تعمل النماذج متعددة الوسائط

يكمن الابتكار الأساسي للنماذج متعددة الوسائط في بنيتها المصممة لإيجاد وتعلم العلاقات بين أنواع البيانات المختلفة. إحدى التقنيات الرئيسية التي تمكّن ذلك هي بنية المحولات، والتي تم تفصيلها في الأصل في الورقة البحثية الرائدة "الانتباه هو كل ما تحتاجه". وتستخدم هذه البنية آليات الانتباه لتقييم أهمية الأجزاء المختلفة من البيانات المدخلة، سواء كانت كلمات في جملة أو وحدات بكسل في صورة. يتعلم النموذج إنشاء تمثيلات مشتركة، أو تضمينات، تلتقط المعنى من كل طريقة في مساحة مشتركة.

غالبًا ما يتم بناء هذه النماذج المتطورة باستخدام أطر عمل قوية للتعلم العميق (DL) مثل PyTorch و TensorFlow. تنطوي عملية التدريب على تغذية النموذج بمجموعات بيانات ضخمة تحتوي على بيانات مقترنة، مثل الصور مع التعليقات النصية، مما يسمح له بتعلم الروابط بين الطرائق.

التطبيقات الواقعية

تعمل النماذج متعددة الوسائط بالفعل على تشغيل مجموعة واسعة من التطبيقات المبتكرة. فيما يلي مثالان بارزان:

1. الإجابة عن الأسئلة المرئية (VQA): يمكن للمستخدم تزويد النموذج بصورة وطرح سؤال بلغة طبيعية، مثل "ما نوع الزهرة الموجودة على الطاولة؟ يعالج النموذج كلاً من المعلومات المرئية والاستعلام النصي لتقديم إجابة ذات صلة. تنطوي هذه التقنية على إمكانات كبيرة في مجالات مثل التعليم وأدوات الوصول لضعاف البصر.
2. تحويل النص إلى صورة: تأخذ نماذج مثل OpenAI's DALL-E 3 وMidjourney من OpenAI مطالبة نصية (على سبيل المثال، "منظر مدينة مستقبلية عند غروب الشمس مع سيارات طائرة") وتولد صورة فريدة تتطابق مع الوصف. يُحدث هذا النوع من الذكاء الاصطناعي التوليدي ثورة في الصناعات الإبداعية من التسويق إلى تصميم الألعاب.

المفاهيم والتمييزات الرئيسية

يتضمن فهم النماذج متعددة الوسائط الإلمام بالمفاهيم ذات الصلة:

• التعلم متعدد الوسائط: هذا هو المجال الفرعي للتعلم الآلي (ML) الذي يركز على تطوير الخوارزميات والتقنيات المستخدمة لتدريب النماذج متعددة الوسائط. وهو يعالج تحديات مثل محاذاة البيانات واستراتيجيات الاندماج، وغالبًا ما تتم مناقشتها في الأوراق الأكاديمية. باختصار، التعلم متعدد الوسائط هو العملية، بينما النموذج متعدد الوسائط هو النتيجة.
• نماذج التأسيس: العديد من النماذج التأسيسية الحديثة، مثل GPT-4، متعددة الوسائط بطبيعتها، وقادرة على معالجة كل من النصوص والصور. تعمل هذه النماذج الكبيرة كقاعدة يمكن ضبطها لمهام محددة.
• نماذج اللغات الكبيرة (LLMs): على الرغم من ارتباطها ببعضها البعض، إلا أن نماذج اللغات الكبيرة تركز تقليديًا على معالجة النصوص. أما النماذج متعددة الوسائط فهي أوسع نطاقًا، وهي مصممة بشكل صريح للتعامل مع المعلومات من أنواع البيانات المختلفة ودمجها بما يتجاوز اللغة فقط. ومع ذلك، فإن الحدود غير واضحة مع ظهور نماذج اللغة المرئية (VLMs).
• نماذج الرؤية المتخصصة: تختلف النماذج متعددة الوسائط عن نماذج الرؤية الحاسوبية المتخصصة مثل نموذج Ultralytics YOLO. فبينما قد يصف نموذج متعدد الوسائط مثل GPT-4 صورة ("هناك قطة تجلس على حصيرة")، يتفوق نموذج YOLO في اكتشاف الكائنات أو تجزئة المثيلات، وتحديد موقع القطة بدقة باستخدام مربع محدد أو قناع بكسل. يمكن أن تكون هذه النماذج مكمّلة لبعضها البعض؛ يحدد نموذج YOLO مكان وجود الأجسام، بينما قد يفسر النموذج متعدد الوسائط المشهد أو يجيب عن الأسئلة المتعلقة به. راجع المقارنات بين نماذج YOLO المختلفة.

وغالباً ما ينطوي تطوير هذه النماذج ونشرها على منصات مثل Ultralytics HUB، والتي يمكن أن تساعد في إدارة مجموعات البيانات وسير عمل تدريب النماذج. إن القدرة على الربط بين أنواع البيانات المختلفة تجعل من النماذج متعددة الوسائط خطوة نحو ذكاء اصطناعي أكثر شمولاً، مما قد يساهم في الذكاء الاصطناعي العام (AGI) في المستقبل.