النماذج متعددة الوسائط والتعلّم متعدد الوسائط: توسيع قدرات الذكاء الاصطناعي

تعالج أنظمة الذكاء الاصطناعي التقليدية عادةً المعلومات من مصدر بيانات واحد، مثل النصوص أو الصور أو الصوت. وعلى الرغم من تفوق هذه الأساليب أحادية النمط في مهام متخصصة، فإنها غالبًا ما تعجز عن التعامل مع سيناريوهات العالم الحقيقي المعقدة التي تتضمن مدخلات متعددة ومتزامنة. يعالج التعلم متعدد الوسائط هذه المشكلة من خلال دمج تدفقات بيانات متنوعة ضمن إطار موحد، ما يتيح فهمًا أعمق وأكثر مراعاة للسياق.

استلهامًا من الإدراك البشري، تحلل النماذج متعددة الوسائط المدخلات المدمجة وتفسرها وتتصرف بناءً عليها، على غرار البشر الذين يدمجون بصورة طبيعية بين البصر والصوت واللغة. وتتيح هذه النماذج للذكاء الاصطناعي التعامل مع السيناريوهات المعقدة بدقة ومتانة وقدرة أكبر على التكيف.

سنستكشف في هذا المقال تطور النماذج متعددة الوسائط، ونوضح آلية عملها، ونناقش تطبيقاتها العملية في الرؤية الحاسوبية، ونقيّم مزايا دمج أنواع متعددة من البيانات والتحديات المرتبطة به.

ما التعلم متعدد الوسائط؟#

قد تتساءل عن المقصود تحديدًا بالتعلم متعدد الوسائط وأهميته بالنسبة إلى الذكاء الاصطناعي (AI). تتعامل نماذج الذكاء الاصطناعي التقليدية عادةً مع نوع واحد من البيانات في كل مرة، سواء أكانت صورًا أم نصوصًا أم صوتًا أم مدخلات من المستشعرات.

أما التعلم متعدد الوسائط، فيتجاوز ذلك خطوةً أخرى، إذ يتيح للأنظمة تحليل تدفقات بيانات متنوعة متعددة وتفسيرها ودمجها في الوقت نفسه. ويعكس هذا النهج إلى حد كبير الطريقة التي يدمج بها الدماغ البشري بصورة طبيعية المدخلات البصرية والسمعية واللغوية لتكوين فهم متماسك للعالم.

يحقق الذكاء الاصطناعي متعدد الوسائط، من خلال الجمع بين هذه الأنماط المختلفة، فهمًا أعمق وأكثر دقة للسيناريوهات المعقدة.

على سبيل المثال، عند تحليل مقاطع الفيديو، لا يقتصر النظام متعدد الوسائط على معالجة المحتوى المرئي، بل يأخذ في الحسبان أيضًا الحوار المنطوق والأصوات المحيطة والترجمات المصاحبة.

يتيح هذا المنظور المتكامل للذكاء الاصطناعي استيعاب السياق والتفاصيل الدقيقة التي قد تفوته إذا حُلّل كل نوع من البيانات على حدة.

الشكل 1. تدمج نماذج التعلم متعدد الوسائط أنواعًا متنوعة من البيانات.

عمليًا، يوسع التعلم متعدد الوسائط نطاق ما يستطيع الذكاء الاصطناعي إنجازه. فهو يشغّل تطبيقات مثل إنشاء تعليقات توضيحية للصور، والإجابة عن الأسئلة استنادًا إلى السياق المرئي، وإنشاء صور واقعية انطلاقًا من أوصاف نصية، وتحسين الأنظمة التفاعلية بجعلها أكثر سهولة في الاستخدام وأكثر وعيًا بالسياق.

لكن كيف تدمج النماذج متعددة الوسائط أنواع البيانات المختلفة هذه لتحقيق تلك النتائج؟ لنشرح آليات العمل الأساسية وراء نجاحها خطوةً خطوة.

كيف تعمل نماذج الذكاء الاصطناعي متعددة الوسائط؟#

تعتمد نماذج الذكاء الاصطناعي متعددة الوسائط على ثلاث عمليات متخصصة: استخراج السمات بشكل منفصل لكل وسيط (معالجة كل نوع من البيانات، كالصور أو النصوص أو الصوت، على حدة)، وأساليب الدمج (جمع التفاصيل المستخرجة)، وتقنيات المحاذاة المتقدمة (ضمان اتساق المعلومات المدمجة وترابطها).

الشكل 2. مسار دمج البيانات متعددة الوسائط ومواءمتها للمهام التنبؤية.

لنستعرض بمزيد من التفصيل كيفية عمل كل عملية من هذه العمليات.

استخراج السمات لكل نمط على حدة#

تستخدم نماذج الذكاء الاصطناعي متعددة الوسائط بُنى مختلفة ومتخصصة لكل نوع من البيانات. وهذا يعني أن المدخلات المرئية والنصية والصوتية أو الحسية تعالجها أنظمة مصممة خصيصًا لها. ويتيح ذلك للنموذج التقاط التفاصيل المميزة لكل مدخل قبل جمعها معًا.

فيما يلي أمثلة على استخدام بُنى متخصصة مختلفة لاستخراج السمات من أنواع البيانات المتنوعة:

• البيانات المرئية: تفسر الشبكات العصبية الالتفافية (CNNs) أو محولات الرؤية المعلومات المرئية في الصور ومقاطع الفيديو، وتنتج تمثيلات مفصلة للسمات.
• البيانات النصية: تحوّل النماذج القائمة على Transformer، مثل نماذج عائلة GPT، المدخلات النصية إلى تضمينات دلالية ذات معنى.
• البيانات الصوتية والحسية: تعالج الشبكات العصبية المتخصصة الموجات الصوتية أو مدخلات المستشعرات المكانية، ما يضمن تمثيل كل نمط بدقة والحفاظ على خصائصه المميزة.

بعد معالجة كل نمط على حدة، ينتج عنه سمات عالية المستوى محسّنة لالتقاط المعلومات الفريدة التي يتضمنها ذلك النوع المحدد من البيانات.

تقنيات دمج السمات#

بعد استخراج السمات، تدمجها النماذج متعددة الوسائط في تمثيل موحد ومتماسك. ولتحقيق ذلك بفاعلية، تُستخدم عدة استراتيجيات للدمج:

• الدمج المبكر: يجمع متجهات السمات المستخرجة فور معالجة كل نمط. وتشجع هذه الاستراتيجية التفاعلات الأعمق بين الأنماط في المراحل الأولى من مسار التحليل.
• الدمج المتأخر: يحافظ على الفصل بين الأنماط حتى مراحل اتخاذ القرار النهائية، حيث تُدمج التنبؤات الصادرة عن كل نمط، عادةً باستخدام أساليب التجميع مثل حساب المتوسط أو التصويت.
• الدمج الهجين: غالبًا ما تدمج البُنى الحديثة السمات عدة مرات عبر طبقات النموذج المختلفة، باستخدام آليات الانتباه المشترك لإبراز التفاعلات المهمة بين الأنماط ومواءمتها ديناميكيًا. فعلى سبيل المثال، قد يركز الدمج الهجين على مواءمة كلمات منطوقة أو عبارات نصية محددة مع السمات المرئية المقابلة في الوقت الفعلي.

آليات المحاذاة والانتباه بين الأنماط#

وأخيرًا، تستخدم الأنظمة متعددة الوسائط تقنيات متقدمة للمحاذاة والانتباه لضمان توافق البيانات الواردة من الأنماط المختلفة بفاعلية.

تساعد أساليب مثل التعلم التبايني على مواءمة التمثيلات المرئية والنصية بدقة ضمن فضاء دلالي مشترك. وبذلك، تستطيع النماذج متعددة الوسائط إنشاء روابط قوية وذات معنى بين أنواع البيانات المتنوعة، وضمان الاتساق بين ما «تراه» النماذج وما «تقرأه».

تعزز آليات الانتباه القائمة على Transformer هذه المحاذاة أيضًا، إذ تتيح للنماذج التركيز ديناميكيًا على الجوانب الأكثر صلة في كل مدخل. فعلى سبيل المثال، تسمح طبقات الانتباه للنموذج بربط أوصاف نصية محددة مباشرةً بالمناطق المقابلة لها في البيانات المرئية، ما يحسن الدقة بدرجة كبيرة في المهام المعقدة مثل الإجابة عن الأسئلة المرئية (VQA) وإنشاء تعليقات توضيحية للصور.

تعزز هذه التقنيات قدرة الذكاء الاصطناعي متعدد الوسائط على فهم السياق بعمق، ما يمكّنه من تقديم تفسيرات أدق وأكثر شمولًا للبيانات المعقدة من العالم الحقيقي.

تطور الذكاء الاصطناعي متعدد الوسائط#

شهد الذكاء الاصطناعي متعدد الوسائط تطورًا كبيرًا، إذ انتقل من التقنيات المبكرة القائمة على القواعد إلى أنظمة التعلم العميق المتقدمة القادرة على تحقيق تكامل متطور.

في بداياتها، كانت الأنظمة متعددة الوسائط تدمج أنواعًا مختلفة من البيانات، مثل الصور أو الصوت أو مدخلات المستشعرات، باستخدام قواعد وضعها خبراء بشريون يدويًا أو أساليب إحصائية بسيطة. فعلى سبيل المثال، جمعت أنظمة الملاحة الروبوتية المبكرة بين صور الكاميرات وبيانات السونار لاكتشاف العوائق وتجنبها. وعلى الرغم من فاعلية هذه الأنظمة، فقد تطلبت هندسة السمات يدويًا على نطاق واسع، وكانت قدرتها على التكيف والتعميم محدودة.

مع ظهور التعلم العميق، ازدادت شعبية النماذج متعددة الوسائط كثيرًا. وبدأت الشبكات العصبية، مثل المشفرات التلقائية متعددة الوسائط، بتعلّم تمثيلات مشتركة لأنواع مختلفة من البيانات، ولا سيما بيانات الصور والنصوص، مما مكّن الذكاء الاصطناعي من تنفيذ مهام مثل الاسترجاع عبر الوسائط والعثور على الصور اعتمادًا على الأوصاف النصية وحدها.

استمر التقدم مع دمج أنظمة الإجابة عن الأسئلة المرئية (VQA) للشبكات العصبية الالتفافية (CNNs) لمعالجة الصور، والشبكات العصبية المتكررة (RNNs) أو المحولات لتفسير النصوص. وقد مكّن ذلك نماذج الذكاء الاصطناعي من الإجابة بدقة عن أسئلة معقدة تعتمد على السياق حول المحتوى المرئي.

ومؤخرًا، وسّعت نماذج الذكاء الاصطناعي متعددة الوسائط واسعة النطاق، المدرّبة على مجموعات بيانات بحجم الإنترنت، قدرات الذكاء الاصطناعي بدرجة أكبر.

تستفيد هذه النماذج من تقنيات مثل التعلم التقابلي، ما يمكّنها من تحديد العلاقات القابلة للتعميم بين المحتوى المرئي والأوصاف النصية. ومن خلال ردم الفجوات بين الأنماط، عززت البنى الحديثة متعددة الوسائط قدرة الذكاء الاصطناعي على أداء مهام الاستدلال البصري المعقدة بدقة تقارب دقة البشر، موضحةً مدى تطور الذكاء الاصطناعي متعدد الوسائط منذ مراحله التأسيسية. تستطيع بعض هذه النماذج أيضًا كشف الأجسام المذكورة في مطالبة نصية، وتقارن لوحة صدارة VLM من Ultralytics مدى دقتها في ذلك على مجموعات البيانات الواقعية.

استكشاف التعلم متعدد الوسائط في الرؤية الحاسوبية#

بعد أن استعرضنا كيفية دمج النماذج متعددة الوسائط لتدفقات بيانات متنوعة، لنلقِ نظرة على كيفية تطبيق هذه القدرات على نماذج الرؤية الحاسوبية.

الشكل 3. سير عمل تطبيق التعلم متعدد الوسائط على الرؤية الحاسوبية.

من خلال الجمع بين المدخلات المرئية والنصوص أو الصوت أو بيانات المستشعرات، يمكّن التعلم متعدد الوسائط أنظمة الذكاء الاصطناعي من التعامل مع تطبيقات تزداد تطورًا وغنى بالسياق.

وصف الصور#

يتضمن وصف الصور إنشاء أوصاف باللغة الطبيعية للبيانات المرئية. وتحدد أساليب اكتشاف الكائنات التقليدية الكائنات الفردية، لكن الوصف متعدد الوسائط يتجاوز ذلك، إذ يفسر العلاقات والسياقات.

فعلى سبيل المثال، يمكن لنموذج متعدد الوسائط تحليل صورة لأشخاص في نزهة، وإنشاء وصف مثل «عائلة تتنزه في حديقة مشمسة»، ليقدم مخرجات أغنى وأسهل وصولًا.

هذا التطبيق مهم لإمكانية الوصول. إذ يمكن استخدامه لإنشاء نص بديل للمكفوفين وضعاف البصر، ووضع علامات على المحتوى في قواعد البيانات الكبيرة. وتؤدي بنى Transformer دورًا أساسيًا هنا، إذ تمكّن وحدة إنشاء النصوص من التركيز على المناطق المرئية ذات الصلة عبر آليات الانتباه، مع مواءمة الأوصاف النصية ديناميكيًا مع السمات المرئية.

الإجابة عن الأسئلة المرئية (VQA)#

تجيب نماذج VQA عن الأسئلة المصاغة باللغة الطبيعية استنادًا إلى المحتوى المرئي، وتجمع بين الرؤية الحاسوبية وفهم اللغة. وتتطلب هذه المهام فهمًا تفصيليًا لمحتوى الصورة وسياقها والاستدلال الدلالي.

عززت بنى Transformer أداء VQA بتمكين المكونات النصية والمرئية في النموذج من التفاعل ديناميكيًا، وتحديد مناطق الصورة المرتبطة بالسؤال بدقة.

يستخدم نموذج PaLI من Google، على سبيل المثال، بُنى متقدمة قائمة على المحولات، تدمج محولات الرؤية (ViT) مع مُرمّزات اللغة ومُفكّكاتها، ما يتيح الإجابة بدقة عن أسئلة متقدمة مثل «ماذا تفعل المرأة في الصورة؟» أو «كم حيوانًا يظهر؟».

تضمن طبقات الانتباه، التي تساعد النماذج على التركيز على الأجزاء الأكثر صلة من المدخلات، ارتباط كل كلمة في السؤال ديناميكيًا بالمؤشرات المرئية، مما يتيح إجابات دقيقة تتجاوز اكتشاف الكائنات الأساسي.

إنشاء الصور من النصوص#

يشير إنشاء الصور من النصوص إلى قدرة الذكاء الاصطناعي على إنشاء محتوى مرئي مباشرةً من الأوصاف النصية، مما يسد الفجوة بين الفهم الدلالي والإبداع المرئي.

تستخدم النماذج متعددة الوسائط التي تنفذ هذه المهمة بنى عصبية متقدمة، مثل المحولات أو عمليات الانتشار، لإنشاء صور مفصلة ودقيقة سياقيًا.

على سبيل المثال، تخيل إنشاء بيانات تدريب اصطناعية لنماذج الرؤية الحاسوبية المخصصة لـاكتشاف المركبات. إذ يمكن لهذه النماذج متعددة الوسائط، انطلاقًا من أوصاف نصية مثل «سيارة سيدان حمراء متوقفة في شارع مزدحم» أو «سيارة دفع رباعي بيضاء تسير على طريق سريع»، إنتاج صور متنوعة وعالية الجودة تجسد هذه السيناريوهات بدقة.

تتيح هذه القدرة للباحثين والمطورين توسيع مجموعات بيانات اكتشاف الكائنات بكفاءة دون الحاجة إلى التقاط آلاف الصور يدويًا، مما يقلل كثيرًا الوقت والموارد اللازمة لجمع البيانات.

الشكل 4. أمثلة على نتائج نموذج لاكتشاف الكائنات دُرّب على مجموعات بيانات اصطناعية.

تستخدم الأساليب الأحدث تقنيات قائمة على الانتشار، إذ تبدأ بضوضاء مرئية عشوائية ثم تحسّن الصورة تدريجيًا لتتوافق بدقة مع المدخلات النصية. ويمكن لهذه العملية التكرارية إنشاء أمثلة واقعية ومتنوعة، وضمان بيانات تدريب متينة تغطي وجهات نظر متعددة وظروف إضاءة وأنواع مركبات وخلفيات مختلفة.

يكتسب هذا النهج قيمة خاصة في الرؤية الحاسوبية، إذ يتيح التوسع السريع في مجموعات البيانات، ويحسن دقة النماذج، ويزيد تنوع المشاهد التي تستطيع أنظمة الذكاء الاصطناعي التعرف عليها بموثوقية.

استرجاع الصور والنصوص#

تُسهّل أنظمة الاسترجاع متعددة الوسائط البحث عبر تحويل النصوص والصور إلى لغة مشتركة من المعاني. فعلى سبيل المثال، تستطيع النماذج المدرّبة على مجموعات بيانات ضخمة، مثل CLIP الذي تعلم من ملايين أزواج الصور والنصوص، مطابقة الاستعلامات النصية بالصور المناسبة، ما ينتج نتائج بحث أدق وأكثر سهولة.

فعلى سبيل المثال، يعرض استعلام بحث مثل «غروب الشمس على شاطئ» نتائج دقيقة بصريًا، مما يحسن كفاءة اكتشاف المحتوى بدرجة كبيرة عبر منصات التجارة الإلكترونية وأرشيفات الوسائط وقواعد بيانات الصور المخزنة.

يضمن النهج متعدد الوسائط دقة الاسترجاع حتى عندما تستخدم الاستعلامات وأوصاف الصور لغات مختلفة، بفضل المواءمات الدلالية المتعلمة بين المجالين المرئي والنصي.

مزايا النماذج متعددة الوسائط في الذكاء الاصطناعي وعيوبها#

يوفر التعلم متعدد الوسائط عدة مزايا رئيسية تعزز قدرات الذكاء الاصطناعي في الرؤية الحاسوبية وغيرها:

• فهم سياقي أغنى: من خلال الجمع بين تدفقات إدخال متعددة، تحقق النماذج متعددة الوسائط فهمًا أعمق وأكثر دقة للمواقف المعقدة في العالم الحقيقي.
• دقة محسّنة: تقلل المقارنة المرجعية بين مصادر البيانات المتعددة أخطاء التعرف والاستدلال، وتعزز الموثوقية الإجمالية.
• متانة أكبر: تظل الأنظمة متعددة الوسائط فعالة حتى إذا تعرّض أحد مصادر البيانات للخلل، مثل ظروف الإضاءة السيئة في المدخلات المرئية أو الضوضاء في البيانات الصوتية.

على الرغم من هذه المزايا، تواجه النماذج متعددة الوسائط أيضًا مجموعة من التحديات:

• التعقيد الحاسوبي: يتطلب التعامل مع وسائط متعددة في الوقت نفسه موارد حاسوبية كبيرة، مما يزيد متطلبات البنية التحتية.
• محاذاة البيانات ومزامنتها: تُعد محاذاة الوسائط المختلفة بدقة، مثل مطابقة الإشارات الصوتية مع الإطارات المرئية بدقة تامة، تحديًا تقنيًا ضروريًا لتحقيق الأداء الأمثل.
• الآثار الأخلاقية: قد تضخم الأنظمة متعددة الوسائط عن غير قصد التحيزات الموجودة في مجموعات بيانات التدريب، مما يبرز أهمية تنقيح البيانات بعناية والتقييم الأخلاقي المستمر.

أبرز النقاط#

يعيد التعلم متعدد الوسائط تشكيل الذكاء الاصطناعي من خلال إتاحة فهم أغنى وأكثر ارتباطًا بالسياق عبر تدفقات بيانات متعددة. وتوضح تطبيقاته في الرؤية الحاسوبية، مثل وصف الصور والإجابة عن الأسئلة المرئية وإنشاء الصور من النصوص وتحسين استرجاع الصور، إمكانات دمج الوسائط المتنوعة.

مع استمرار التحديات الحاسوبية والأخلاقية، تواصل الابتكارات الجارية في البنى، مثل الدمج القائم على المحولات والمحاذاة التباينية، معالجة هذه المخاوف وتعزيز قدرات الذكاء الاصطناعي متعدد الوسائط وكفاءته.

مع تطور هذا المجال، ستصبح النماذج متعددة الوسائط أساسية لمهام الذكاء الاصطناعي المعقدة في العالم الحقيقي، وستعزز كل شيء بدءًا من التشخيص الطبي وصولًا إلى الروبوتات ذاتية التشغيل. ويتيح تبني التعلم متعدد الوسائط للصناعات الاستفادة من إمكانات قوية ستشكل مستقبل الذكاء الاصطناعي.

انضم إلى مجتمعنا المتنامي! استكشف مستودعنا على GitHub لمعرفة المزيد عن الذكاء الاصطناعي. هل أنت مستعد لبدء مشاريعك الخاصة في الرؤية الحاسوبية؟ اطّلع على خيارات الترخيص. تعرّف على الذكاء الاصطناعي في التصنيع والذكاء الاصطناعي للرؤية في القيادة الذاتية من خلال زيارة صفحات حلولنا!