النماذج متعددة الوسائط والتعلّم متعدد الوسائط: توسيع قدرات الذكاء الاصطناعي

تعالج أنظمة الذكاء الاصطناعي التقليدية عادةً المعلومات من مصدر بيانات واحد، مثل النصوص أو الصور أو الصوت. وعلى الرغم من تفوق هذه الأساليب أحادية الوسائط في المهام المتخصصة، فإنها غالبًا ما تفشل في التعامل مع السيناريوهات المعقدة في العالم الحقيقي التي تتضمن مدخلات متعددة ومتزامنة. يعالج التعلّم متعدد الوسائط هذه المشكلة من خلال دمج تدفقات بيانات متنوعة ضمن إطار موحّد، ما يتيح فهمًا أكثر ثراءً ووعيًا بالسياق.

استنادًا إلى الإدراك البشري، تحلل النماذج متعددة الوسائط المدخلات المدمجة وتفسرها وتتخذ إجراءات بناءً عليها، على نحو يشبه البشر الذين يدمجون بطبيعتهم بين الرؤية والصوت واللغة. وتتيح هذه النماذج للذكاء الاصطناعي التعامل مع السيناريوهات المعقدة بدقة ومتانة وقدرة أكبر على التكيّف.

في هذه المقالة، سنستكشف كيفية تطور النماذج متعددة الوسائط، ونوضّح آلية عملها، ونناقش تطبيقاتها العملية ضمن الرؤية الحاسوبية، ونقيّم المزايا والتحديات المرتبطة بدمج أنواع متعددة من البيانات.

ما هو التعلّم متعدد الوسائط؟#

قد تتساءل عن ماهية التعلّم متعدد الوسائط تحديدًا وسبب أهميته للذكاء الاصطناعي (AI). تتعامل نماذج الذكاء الاصطناعي التقليدية عادةً مع نوع واحد من البيانات في كل مرة، سواء كانت صورًا أو نصوصًا أو صوتًا أو مدخلات من المستشعرات.

لكن التعلّم متعدد الوسائط يخطو خطوة أبعد، إذ يتيح للأنظمة تحليل تدفقات بيانات متعددة ومتنوعة وتفسيرها ودمجها في الوقت نفسه. ويحاكي هذا النهج إلى حد كبير الطريقة التي يدمج بها الدماغ البشري طبيعيًا المدخلات البصرية والسمعية واللغوية لتكوين فهم متماسك للعالم.

ومن خلال الجمع بين هذه الوسائط المختلفة، يحقق الذكاء الاصطناعي متعدد الوسائط فهمًا أعمق وأكثر دقة للسيناريوهات المعقدة.

فعلى سبيل المثال، عند تحليل مقطع فيديو، لا يعالج النظام متعدد الوسائط المحتوى المرئي فحسب، بل يأخذ أيضًا في الحسبان الحوار المنطوق والأصوات المحيطة والترجمة النصية المصاحبة.

ويتيح هذا المنظور المتكامل للذكاء الاصطناعي التقاط السياق والفروق الدقيقة التي قد تفوته إذا حُلّل كل نوع من البيانات بصورة مستقلة.

الشكل 1. تدمج نماذج التعلّم متعدد الوسائط أنواعًا متنوعة من البيانات.

من الناحية العملية، يوسّع التعلّم متعدد الوسائط ما يستطيع الذكاء الاصطناعي إنجازه. فهو يتيح تطبيقات مثل توليد أوصاف للصور، والإجابة عن الأسئلة استنادًا إلى السياق المرئي، وإنشاء صور واقعية من أوصاف نصية، وتحسين الأنظمة التفاعلية بجعلها أكثر سهولة في الاستخدام ووعيًا بالسياق.

لكن كيف تدمج النماذج متعددة الوسائط هذه الأنواع المختلفة من البيانات لتحقيق هذه النتائج؟ لنوضّح الآليات الأساسية وراء نجاحها خطوةً بخطوة.

كيف تعمل نماذج الذكاء الاصطناعي متعددة الوسائط؟#

تحقق نماذج الذكاء الاصطناعي متعددة الوسائط قدراتها القوية من خلال عمليات متخصصة: استخراج منفصل للسمات لكل وسيط (معالجة كل نوع من البيانات - مثل الصور أو النصوص أو الصوت - على حدة)، وأساليب الدمج (جمع التفاصيل المستخرجة)، وتقنيات محاذاة متقدمة (ضمان اتساق المعلومات المدمجة وترابطها).

الشكل 2. خط أنابيب دمج البيانات متعددة الوسائط ودمجها للمهام التنبؤية.

لنستعرض بمزيد من التفصيل كيفية عمل كل عملية من هذه العمليات.

استخراج السمات بصورة منفصلة لكل وسيط#

تستخدم نماذج الذكاء الاصطناعي متعددة الوسائط بنيات مختلفة ومتخصصة لكل نوع من البيانات. وهذا يعني أن المدخلات المرئية والنصية والصوتية أو القادمة من المستشعرات تُعالج بواسطة أنظمة مصممة خصيصًا لها. ويتيح ذلك للنموذج التقاط التفاصيل الفريدة لكل مدخل قبل جمعها معًا.

فيما يلي بعض الأمثلة على كيفية استخدام البنى المتخصصة المختلفة لاستخراج السمات من أنواع متنوعة من البيانات:

• البيانات المرئية: تفسّر الشبكات العصبية الالتفافية (CNNs) أو Vision Transformer المعلومات المرئية من الصور ومقاطع الفيديو، وتنتج تمثيلات مفصلة للسمات.
• البيانات النصية: تحوّل النماذج القائمة على Transformer، مثل نماذج عائلة GPT، المدخلات النصية إلى تضمينات دلالية ذات معنى.
• البيانات الصوتية وبيانات المستشعرات: تعالج الشبكات العصبية المتخصصة الموجات الصوتية أو مدخلات المستشعرات المكانية، ما يضمن تمثيل كل وسيط بدقة والحفاظ على خصائصه المميزة.

بعد معالجة كل وسيط بصورة منفردة، يولّد كل منها سمات عالية المستوى محسّنة لالتقاط المعلومات الفريدة الموجودة في نوع البيانات المحدد.

تقنيات دمج السمات#

بعد استخراج السمات، تدمج النماذج متعددة الوسائط هذه السمات في تمثيل موحّد ومتسق. ولتنفيذ ذلك بفعالية، تُستخدم عدة استراتيجيات للدمج:

• الدمج المبكر: يجمع متجهات السمات المستخرجة مباشرةً بعد معالجة كل وسيط. وتشجّع هذه الاستراتيجية التفاعلات الأعمق بين الوسائط في مرحلة مبكرة من مسار التحليل.
• الدمج المتأخر: يحافظ على فصل الوسائط حتى مراحل اتخاذ القرار النهائية، حيث تُدمج التنبؤات الصادرة عن كل وسيط، عادةً من خلال أساليب التجميع مثل حساب المتوسط أو التصويت.
• الدمج الهجين: تدمج البنى الحديثة السمات عدة مرات عبر طبقات مختلفة من النموذج، باستخدام آليات الانتباه المشترك لإبراز التفاعلات المهمة بين الوسائط ومحاذاتها ديناميكيًا. فعلى سبيل المثال، قد يركّز الدمج الهجين على محاذاة كلمات منطوقة أو عبارات نصية محددة مع السمات المرئية المقابلة في الوقت الفعلي.

المحاذاة بين الوسائط وآليات الانتباه#

أخيرًا، تستخدم الأنظمة متعددة الوسائط تقنيات متقدمة للمحاذاة والانتباه لضمان توافق البيانات من الوسائط المختلفة بفعالية.

تساعد أساليب مثل التعلّم التبايني على محاذاة التمثيلات المرئية والنصية بدقة ضمن فضاء دلالي مشترك. ومن خلال ذلك، تستطيع النماذج متعددة الوسائط إنشاء روابط قوية وذات معنى بين أنواع البيانات المتنوعة، بما يضمن الاتساق بين ما «يراه» النموذج وما «يقرأه».

وتعزز آليات الانتباه القائمة على Transformer هذه المحاذاة بصورة أكبر، إذ تتيح للنماذج التركيز ديناميكيًا على الجوانب الأكثر صلة في كل مدخل. فعلى سبيل المثال، تسمح طبقات الانتباه للنموذج بربط أوصاف نصية محددة مباشرةً بالمناطق المقابلة لها في البيانات المرئية، ما يحسّن الدقة بدرجة كبيرة في المهام المعقدة مثل الإجابة عن الأسئلة المرئية (VQA) وتوليد أوصاف الصور.

تعزز هذه التقنيات قدرة الذكاء الاصطناعي متعدد الوسائط على فهم السياق بعمق، ما يتيح له تقديم تفسيرات أكثر دقة وتفصيلًا للبيانات المعقدة في العالم الحقيقي.

تطور الذكاء الاصطناعي متعدد الوسائط#

شهد الذكاء الاصطناعي متعدد الوسائط تطورًا كبيرًا، إذ انتقل من التقنيات المبكرة القائمة على القواعد إلى أنظمة التعلّم العميق المتقدمة القادرة على دمج البيانات بصورة متطورة.

في البدايات، كانت الأنظمة متعددة الوسائط تدمج أنواعًا مختلفة من البيانات، مثل الصور أو الصوت أو مدخلات المستشعرات، باستخدام قواعد ينشئها الخبراء البشريون يدويًا أو أساليب إحصائية بسيطة. فعلى سبيل المثال، كانت أنظمة الملاحة الروبوتية المبكرة تدمج صور الكاميرات مع بيانات السونار لاكتشاف العوائق وتجنبها. وعلى الرغم من فعالية هذه الأنظمة، فإنها تطلبت هندسة يدوية مكثفة للسمات، وكانت قدرتها على التكيّف والتعميم محدودة.

ومع ظهور التعلّم العميق، أصبحت النماذج متعددة الوسائط أكثر انتشارًا بكثير. وبدأت الشبكات العصبية، مثل المشفّرات التلقائية متعددة الوسائط، في تعلّم تمثيلات مشتركة لأنواع مختلفة من البيانات، ولا سيما بيانات الصور والنصوص، ما أتاح للذكاء الاصطناعي تنفيذ مهام مثل الاسترجاع بين الوسائط والعثور على الصور استنادًا إلى أوصاف نصية فقط.

واستمر التقدم مع أنظمة مثل الإجابة عن الأسئلة المرئية (VQA)، التي دمجت الشبكات العصبية الالتفافية (CNNs) لمعالجة الصور مع الشبكات العصبية المتكررة (RNNs) أو Transformer لتفسير النصوص. وأتاح ذلك لنماذج الذكاء الاصطناعي الإجابة بدقة عن أسئلة معقدة تعتمد على السياق بشأن المحتوى المرئي.

وفي الآونة الأخيرة، أحدثت النماذج متعددة الوسائط واسعة النطاق، المدرّبة على مجموعات بيانات ضخمة بحجم الإنترنت، ثورة إضافية في قدرات الذكاء الاصطناعي.

وتستفيد هذه النماذج من تقنيات مثل التعلّم التبايني، ما يتيح لها تحديد العلاقات القابلة للتعميم بين المحتوى المرئي والأوصاف النصية. ومن خلال سد الفجوات بين الوسائط، عززت البنى متعددة الوسائط الحديثة قدرة الذكاء الاصطناعي على تنفيذ مهام الاستدلال المرئي المعقدة بدقة تقترب من الدقة البشرية، موضحةً مدى التقدم الذي أحرزه الذكاء الاصطناعي متعدد الوسائط منذ مراحله التأسيسية.

استكشاف التعلّم متعدد الوسائط في الرؤية الحاسوبية#

بعد أن استكشفنا كيفية دمج النماذج متعددة الوسائط لتدفقات البيانات المتنوعة، لننتقل إلى كيفية تطبيق هذه القدرات على نماذج الرؤية الحاسوبية.

الشكل 3. سير عمل تطبيق التعلّم متعدد الوسائط على الرؤية الحاسوبية.

من خلال دمج المدخلات المرئية مع البيانات النصية أو الصوتية أو بيانات المستشعرات، يتيح التعلّم متعدد الوسائط لأنظمة الذكاء الاصطناعي معالجة تطبيقات متزايدة التطور وغنية بالسياق.

توليد أوصاف الصور#

يتضمن توليد أوصاف الصور إنشاء أوصاف باللغة الطبيعية للبيانات المرئية. وتحدد أساليب اكتشاف الكائنات التقليدية الكائنات الفردية، لكن توليد الأوصاف متعدد الوسائط يتجاوز ذلك إلى تفسير العلاقات والسياقات.

فعلى سبيل المثال، يستطيع نموذج متعدد الوسائط تحليل صورة لأشخاص في نزهة وإنشاء وصف توضيحي مثل «عائلة تتنزه في حديقة مشمسة»، ما يوفر مخرجًا أكثر ثراءً وسهولة في الوصول.

ويُعد هذا التطبيق مهمًا لإتاحة الوصول. إذ يمكن استخدامه لإنشاء نص بديل للأفراد ذوي الإعاقة البصرية، ولوسم المحتوى في قواعد البيانات الكبيرة. وتؤدي بنيات Transformer دورًا رئيسيًا هنا، إذ تتيح لوحدة توليد النص التركيز على المناطق المرئية ذات الصلة من خلال آليات الانتباه، مع محاذاة الأوصاف النصية مع السمات المرئية ديناميكيًا.

الإجابة عن الأسئلة المرئية (VQA)#

تجيب نماذج VQA عن الأسئلة باللغة الطبيعية استنادًا إلى المحتوى المرئي، فتجمع بين الرؤية الحاسوبية وفهم اللغة. وتتطلب هذه المهام فهمًا تفصيليًا لمحتوى الصورة وسياقها والاستدلال الدلالي.

عززت بنيات Transformer أداء VQA من خلال تمكين المكونات النصية والمرئية في النموذج من التفاعل ديناميكيًا، وتحديد مناطق الصورة الدقيقة المرتبطة بالسؤال.

فعلى سبيل المثال، يستخدم نموذج PaLI من Google بنيات متقدمة قائمة على Transformer تدمج المحولات المرئية (ViT) مع مشفّرات اللغة ومفكّكاتها، ما يتيح الإجابة بدقة عن أسئلة متطورة مثل «ماذا تفعل المرأة في الصورة؟» أو «كم حيوانًا يظهر؟».

وتضمن طبقات الانتباه، التي تساعد النماذج على التركيز على الأجزاء الأكثر صلة من المدخل، ارتباط كل كلمة في السؤال ديناميكيًا بالإشارات المرئية، ما يتيح إجابات دقيقة تتجاوز اكتشاف الكائنات الأساسي.

توليد الصور من النصوص#

يشير توليد الصور من النصوص إلى قدرة الذكاء الاصطناعي على إنشاء محتوى مرئي مباشرةً من الأوصاف النصية، ما يسد الفجوة بين الفهم الدلالي والإنشاء المرئي.

وتستخدم النماذج متعددة الوسائط التي تنفذ هذه المهمة بنيات عصبية متقدمة، مثل Transformer أو عمليات الانتشار، لتوليد صور مفصلة ودقيقة من حيث السياق.

فعلى سبيل المثال، تخيل إنشاء بيانات تدريب اصطناعية لنماذج الرؤية الحاسوبية المكلّفة بـاكتشاف المركبات. وبالاستناد إلى أوصاف نصية مثل «سيارة سيدان حمراء متوقفة في شارع مزدحم» أو «سيارة SUV بيضاء تسير على طريق سريع»، تستطيع هذه النماذج متعددة الوسائط إنتاج صور متنوعة وعالية الجودة تجسّد هذه السيناريوهات الدقيقة.

وتتيح هذه القدرة للباحثين والمطورين توسيع مجموعات بيانات اكتشاف الكائنات بكفاءة من دون التقاط آلاف الصور يدويًا، ما يقلل بدرجة كبيرة الوقت والموارد اللازمة لجمع البيانات.

الشكل 4. أمثلة على نتائج نموذج اكتشاف كائنات مدرّب على مجموعات بيانات اصطناعية.

وتطبّق الأساليب الأحدث تقنيات قائمة على الانتشار، إذ تبدأ من ضوضاء مرئية عشوائية وتحسّن الصورة تدريجيًا لمحاذاتها بدقة مع المدخل النصي. ويمكن لهذه العملية التكرارية إنشاء أمثلة واقعية ومتنوعة، بما يضمن توفير بيانات تدريب متينة تغطي زوايا رؤية متعددة وظروف إضاءة وأنواع مركبات وخلفيات مختلفة.

ويكتسب هذا النهج قيمة خاصة في الرؤية الحاسوبية، إذ يتيح التوسيع السريع لمجموعات البيانات، وتحسين دقة النماذج، وزيادة تنوع السيناريوهات التي تستطيع أنظمة الذكاء الاصطناعي التعرّف عليها بصورة موثوقة.

استرجاع الصور والنصوص#

تجعل أنظمة الاسترجاع متعددة الوسائط البحث أسهل من خلال تحويل النصوص والصور معًا إلى لغة مشتركة للمعنى. فعلى سبيل المثال، تستطيع النماذج المدرّبة على مجموعات بيانات ضخمة - مثل CLIP، الذي تعلّم من ملايين أزواج الصور والنصوص - مطابقة الاستعلامات النصية بالصور المناسبة، ما يؤدي إلى نتائج بحث أكثر سهولة ودقة.

فعلى سبيل المثال، يعرض استعلام بحث مثل «غروب الشمس على شاطئ» نتائج دقيقة بصريًا، ما يحسّن بدرجة كبيرة كفاءة اكتشاف المحتوى عبر منصات التجارة الإلكترونية وأرشيفات الوسائط وقواعد بيانات الصور المخزنة.

ويضمن النهج متعدد الوسائط دقة الاسترجاع حتى عندما تستخدم الاستعلامات وأوصاف الصور لغات مختلفة، بفضل المحاذاة الدلالية المتعلّمة بين المجالين المرئي والنصي.

إيجابيات وسلبيات النماذج متعددة الوسائط في الذكاء الاصطناعي#

يوفر التعلّم متعدد الوسائط عدة مزايا رئيسية تعزز قدرات الذكاء الاصطناعي في الرؤية الحاسوبية وغيرها:

• فهم أغنى للسياق: من خلال الجمع بين تدفقات مدخلات متعددة، تحقق النماذج متعددة الوسائط فهمًا أعمق وأكثر دقة للسيناريوهات المعقدة في العالم الحقيقي.
• دقة محسّنة: تقلل إحالة النتائج إلى مصادر بيانات متعددة من أخطاء التعرّف والاستدلال، ما يحسّن الموثوقية الإجمالية.
• متانة أكبر: تظل الأنظمة متعددة الوسائط فعالة حتى في حال تعرض أحد مصادر البيانات للخطر، مثل ظروف الإضاءة السيئة في المدخلات المرئية أو الضوضاء في البيانات الصوتية.

وعلى الرغم من هذه المزايا، تواجه النماذج متعددة الوسائط أيضًا مجموعة من التحديات:

• التعقيد الحسابي: تتطلب معالجة وسائط متعددة في الوقت نفسه موارد حوسبة كبيرة، ما يؤدي إلى زيادة متطلبات البنية التحتية.
• محاذاة البيانات ومزامنتها: تُعد محاذاة الوسائط المختلفة بدقة - مثل المطابقة الدقيقة بين الإشارات الصوتية والإطارات المرئية - أمرًا صعبًا من الناحية التقنية، لكنه ضروري لتحقيق الأداء الأمثل.
• الآثار الأخلاقية: قد تضخّم الأنظمة متعددة الوسائط دون قصد التحيزات الموجودة في مجموعات بيانات التدريب، ما يبرز أهمية التنقيح الدقيق للبيانات والتقييم الأخلاقي المستمر.

أهم النقاط المستخلصة#

يعيد التعلّم متعدد الوسائط تشكيل الذكاء الاصطناعي من خلال تمكين فهم أغنى وأكثر ارتباطًا بالسياق عبر تدفقات بيانات متعددة. وتوضح تطبيقاته في الرؤية الحاسوبية، مثل توليد أوصاف الصور، والإجابة عن الأسئلة المرئية، وتوليد الصور من النصوص، وتحسين استرجاع الصور، إمكانات دمج الوسائط المتنوعة.

ومع استمرار التحديات الحسابية والأخلاقية، تواصل الابتكارات الجارية في البنى، مثل الدمج القائم على Transformer والمحاذاة التباينية، معالجة هذه المخاوف، ودفع الذكاء الاصطناعي متعدد الوسائط نحو ذكاء يحاكي الذكاء البشري بدرجة متزايدة.

ومع تطور هذا المجال، ستصبح النماذج متعددة الوسائط ضرورية لمهام الذكاء الاصطناعي المعقدة في العالم الحقيقي، إذ ستعزز كل شيء بدءًا من تشخيص الرعاية الصحية وصولًا إلى الروبوتات الذاتية التشغيل. ويتيح تبنّي التعلّم متعدد الوسائط للصناعات الاستفادة من قدرات قوية ستسهم في تشكيل مستقبل الذكاء الاصطناعي.

انضم إلى مجتمعنا المتنامي! واستكشف مستودعنا على GitHub لمعرفة المزيد عن الذكاء الاصطناعي. هل أنت مستعد لبدء مشاريعك الخاصة في الرؤية الحاسوبية؟ اطّلع على خيارات الترخيص. واكتشف الذكاء الاصطناعي في التصنيع والذكاء الاصطناعي للرؤية في المركبات ذاتية القيادة من خلال زيارة صفحات حلولنا!