فهم نماذج لغة الرؤية وتطبيقاتها

في مقال سابق، استكشفنا كيف يمكن لـ GPT-4o فهم الصور ووصفها باستخدام الكلمات. ونشهد هذه القدرة أيضًا في نماذج جديدة أخرى مثل Google Gemini وClaude 3. واليوم، نتعمق أكثر في هذا المفهوم لشرح كيفية عمل نماذج الرؤية واللغة وكيف تجمع بين البيانات المرئية والنصية.

يمكن استخدام هذه النماذج لتنفيذ مجموعة من المهام المذهلة، مثل إنشاء أوصاف تفصيلية للصور، والإجابة عن الأسئلة المتعلقة بالصور، بل وحتى إنشاء محتوى مرئي جديد استنادًا إلى أوصاف نصية. ومن خلال الدمج السلس للمعلومات المرئية واللغوية، تغيّر نماذج الرؤية واللغة طريقة تفاعلنا مع التكنولوجيا وفهمنا للعالم من حولنا.

كيفية عمل نماذج الرؤية واللغة#

قبل أن نلقي نظرة على المجالات التي يمكن استخدام نماذج الرؤية واللغة (VLMs) فيها، دعونا نفهم ماهيتها وكيفية عملها. نماذج VLMs هي نماذج متقدمة للذكاء الاصطناعي تجمع بين قدرات نماذج الرؤية ونماذج اللغة لمعالجة الصور والنصوص معًا. تستقبل هذه النماذج الصور إلى جانب أوصافها النصية، وتتعلم الربط بينهما. ويلتقط الجزء الخاص بالرؤية في النموذج التفاصيل من الصور، بينما يفهم الجزء الخاص باللغة النص. ويسمح هذا التعاون لنماذج VLMs بفهم الصور والنصوص وتحليلهما معًا.

فيما يلي القدرات الرئيسية لنماذج الرؤية واللغة:

• وصف الصور: إنشاء نصوص وصفية استنادًا إلى محتوى الصور.
• الإجابة عن الأسئلة المرئية (VQA): الإجابة عن الأسئلة المتعلقة بمحتوى صورة ما.
• تحويل النص إلى-إنشاء الصور: إنشاء الصور استنادًا إلى أوصاف نصية.
• استرجاع الصور والنصوص: العثور على الصور ذات الصلة باستعلام نصي محدد والعكس صحيح.
• إنشاء المحتوى متعدد الوسائط: دمج الصور والنصوص لإنشاء محتوى جديد.
• فهم المشاهد واكتشاف الكائنات: تحديد الكائنات والتفاصيل داخل الصورة وتصنيفها.

الشكل 1. مثال على قدرات نموذج للرؤية واللغة.

بعد ذلك، سنستكشف البنى الشائعة لنماذج VLMs وتقنيات التعلم المستخدمة في نماذج معروفة مثل CLIP وSimVLM وVisualGPT.

التعلم التبايني#

التعلم التبايني هو تقنية تساعد النماذج على التعلم من خلال مقارنة الاختلافات بين نقاط البيانات. وتحسب هذه التقنية مدى تشابه الحالات أو اختلافها، وتهدف إلى تقليل الخسارة التباينية التي تقيس هذه الاختلافات. وتفيد هذه التقنية بصفة خاصة في التعلم شبه الخاضع للإشراف، حيث توجه مجموعة صغيرة من الأمثلة المصنفة النموذجَ إلى تصنيف بيانات جديدة لم يسبق له رؤيتها. على سبيل المثال، لفهم شكل القطة، يقارن النموذج بينها وبين صور قطط مشابهة وصور كلاب. ومن خلال تحديد سمات مثل بنية الوجه وحجم الجسم والفراء، يمكن لتقنيات التعلم التبايني التمييز بين القطة والكلب.

الشكل 2. كيفية عمل التعلم التبايني.

إن CLIP هو نموذج للرؤية واللغة يستخدم التعلم التبايني لمطابقة الأوصاف النصية بالصور. ويعمل عبر ثلاث خطوات بسيطة. أولًا، يدرّب أجزاء النموذج التي تفهم النصوص والصور معًا. ثانيًا، يحوّل الفئات الموجودة في مجموعة البيانات إلى أوصاف نصية. ثالثًا، يحدد الوصف الأفضل تطابقًا مع صورة معينة. وبفضل هذه الطريقة، يستطيع نموذج CLIP إجراء تنبؤات دقيقة حتى في المهام التي لم يُدرَّب عليها تحديدًا.

PrefixLM#

إن PrefixLM هي تقنية لمعالجة اللغة الطبيعية (NLP) تُستخدم لتدريب النماذج. تبدأ بجزء من الجملة (بادئة) وتتعلم التنبؤ بالكلمة التالية. وفي نماذج الرؤية واللغة، تساعد PrefixLM النموذج على التنبؤ بالكلمات التالية استنادًا إلى صورة وقطعة نصية معطاة. وتستخدم التقنية Vision Transformer (ViT)، الذي يقسّم الصورة إلى رقع صغيرة، تمثل كل منها جزءًا من الصورة، ثم يعالجها بالتسلسل.

الشكل 3. مثال على تدريب نموذج VLM يستخدم تقنية PrefixLM.

إن SimVLM هو نموذج VLM يستخدم تقنية التعلم PrefixLM. ويستخدم بنية Transformer أبسط مقارنةً بالنماذج السابقة، لكنه يحقق نتائج أفضل في اختبارات متنوعة. وتتضمن بنية النموذج تعلم ربط الصور ببادئات نصية باستخدام مُرمِّز Transformer، ثم إنشاء النص باستخدام مُفكِّك ترميز Transformer.

دمج الوسائط المتعددة باستخدام الانتباه المتقاطع#

دمج الوسائط المتعددة باستخدام الانتباه المتقاطع هو تقنية تحسّن قدرة نموذج الرؤية واللغة المدرَّب مسبقًا على فهم البيانات المرئية ومعالجتها. وتعمل بإضافة طبقات انتباه متقاطع إلى النموذج، مما يتيح له التركيز على المعلومات المرئية والنصية في الوقت نفسه.

إليك كيفية عملها:

• تُحدَّد الكائنات الرئيسية في الصورة ويُسلَّط الضوء عليها.
• يعالج مُرمِّز مرئي الكائنات التي سُلِّط الضوء عليها، محولًا المعلومات المرئية إلى صيغة يستطيع النموذج فهمها.
• تُنقل المعلومات المرئية إلى مُفكِّك ترميز يفسّر الصورة باستخدام معرفة نموذج اللغة المدرَّب مسبقًا.

يُعد VisualGPT مثالًا جيدًا على نموذج يستخدم هذه التقنية. ويتضمن ميزة خاصة تُسمى وحدة التنشيط ذات الإحياء الذاتي (SRAU)، تساعد النموذج على تجنب مشكلة شائعة تُسمى تلاشي التدرجات. ويمكن أن يتسبب تلاشي التدرجات في فقدان النماذج معلومات مهمة أثناء التدريب، لكن SRAU يحافظ على قوة أداء النموذج.

الشكل 4. بنية نموذج VisualGPT.

تطبيقات نماذج الرؤية واللغة#

تُحدث نماذج الرؤية واللغة تأثيرًا في مجموعة متنوعة من القطاعات. فمن تحسين منصات التجارة الإلكترونية إلى جعل الإنترنت أكثر سهولة في الوصول، تبدو الاستخدامات المحتملة لنماذج VLMs واعدة. دعونا نستكشف بعض هذه التطبيقات.

إنشاء أوصاف المنتجات#

عند التسوق عبر الإنترنت، ترى أوصافًا تفصيلية لكل منتج، لكن إنشاء هذه الأوصاف قد يستغرق وقتًا طويلًا. وتبسّط نماذج VLMs هذه العملية من خلال أتمتة إنشاء الأوصاف. ويمكن لـ متاجر التجزئة عبر الإنترنت إنشاء أوصاف تفصيلية ودقيقة مباشرةً من صور المنتجات باستخدام نماذج الرؤية واللغة.

تساعد أوصاف المنتجات عالية الجودة محركات البحث على تحديد المنتجات استنادًا إلى سمات محددة مذكورة في الوصف. فعلى سبيل المثال، يساعد وصف يتضمن «أكمام طويلة» و«ياقة قطنية» العملاء على العثور بسهولة أكبر على «قميص قطني بأكمام طويلة». كما يساعد العملاء على العثور سريعًا على ما يريدون، مما يؤدي بدوره إلى زيادة المبيعات ورضا العملاء.

الشكل 5. مثال على وصف منتج مُنشأ بواسطة الذكاء الاصطناعي.

تُعد نماذج الذكاء الاصطناعي التوليدي، مثل BLIP-2، أمثلة على نماذج VLMs المتطورة التي يمكنها التنبؤ بسمات المنتجات مباشرةً من الصور. ويستخدم BLIP-2 عدة مكونات لفهم منتجات التجارة الإلكترونية ووصفها بدقة. إذ يبدأ بمعالجة الجوانب المرئية للمنتج وفهمها باستخدام مُرمِّز الصور. ثم يفسّر مُحوِّل الاستعلام هذه المعلومات المرئية في سياق أسئلة أو مهام محددة. وأخيرًا، ينشئ نموذج اللغة الكبير أوصافًا تفصيلية ودقيقة للمنتجات.

جعل الإنترنت أكثر سهولة في الوصول#

يمكن لنماذج الرؤية واللغة جعل الإنترنت أكثر سهولة في الوصول من خلال وصف الصور، ولا سيما للأفراد ذوي الإعاقة البصرية. وتقليديًا، يحتاج المستخدمون إلى إدخال أوصاف للمحتوى المرئي على المواقع الإلكترونية ووسائل التواصل الاجتماعي. فعلى سبيل المثال، عند النشر على Instagram، يمكنك إضافة نص بديل لقارئات الشاشة. إلا أن نماذج VLMs تستطيع أتمتة هذه العملية.

عندما يرى نموذج VLM صورة قطة جالسة على أريكة، يمكنه إنشاء الوصف «قطة جالسة على أريكة»، مما يجعل المشهد واضحًا للمستخدمين ذوي الإعاقة البصرية. وتستخدم نماذج VLMs تقنيات مثل الاستدلال بعدد قليل من الأمثلة، حيث تتعلم من أمثلة قليلة لأزواج الصور والأوصاف، وتقنية الاستدلال المتسلسل، التي تساعدها على تفكيك المشاهد المعقدة منطقيًا. وتجعل هذه التقنيات الأوصاف المُنشأة أكثر ترابطًا وتفصيلًا.

الشكل 6. استخدام الذكاء الاصطناعي لإنشاء أوصاف الصور.

وفي هذا السياق، تنشئ ميزة Google «الحصول على أوصاف الصور من Google» في Chrome أوصافًا للصور التي لا تحتوي على نص بديل تلقائيًا. ورغم أن هذه الأوصاف المُنشأة بالذكاء الاصطناعي قد لا تكون مفصلة بقدر الأوصاف التي يكتبها البشر، فإنها لا تزال تقدم معلومات قيّمة.

فوائد نماذج الرؤية واللغة وحدودها#

تقدم نماذج الرؤية واللغة (VLMs) مزايا عديدة من خلال الجمع بين البيانات المرئية والنصية. وتشمل بعض الفوائد الرئيسية ما يلي:

• تحسين التفاعل بين الإنسان والآلة: تمكين الأنظمة من فهم المدخلات المرئية والنصية والاستجابة لها، مما يحسّن المساعدات الافتراضية وروبوتات المحادثة والروبوتات.
• التشخيص والتحليل المتقدمان: المساعدة في المجال الطبي من خلال تحليل الصور وإنشاء الأوصاف، ودعم المتخصصين الصحيين بآراء ثانية، واكتشاف الحالات الشاذة.
• رواية القصص التفاعلية والترفيه: إنشاء سرديات جذابة من خلال الجمع بين المدخلات المرئية والنصية لتحسين تجارب المستخدم في الألعاب والواقع الافتراضي.

على الرغم من قدراتها المذهلة، تأتي نماذج الرؤية واللغة أيضًا مع بعض القيود. إليك بعض الأمور التي ينبغي مراعاتها فيما يتعلق بنماذج VLMs:

• متطلبات حوسبية مرتفعة: يتطلب تدريب نماذج VLMs ونشرها موارد حوسبية كبيرة، مما يجعلها مكلفة وأقل سهولة في الوصول.
• الاعتماد على البيانات والتحيز: قد تنتج نماذج VLMs نتائج متحيزة إذا دُرِّبت على مجموعات بيانات غير متنوعة أو متحيزة، مما قد يؤدي إلى ترسيخ الصور النمطية والمعلومات المضللة.
• فهم محدود للسياق: قد تواجه نماذج VLMs صعوبة في فهم الصورة الأكبر أو السياق، وتنتج مخرجات مفرطة في التبسيط أو غير صحيحة.

أهم النقاط المستخلصة#

تتمتع نماذج الرؤية واللغة بإمكانات هائلة في مجالات عديدة، مثل التجارة الإلكترونية والرعاية الصحية. ومن خلال الجمع بين البيانات المرئية والنصية، يمكنها دفع عجلة الابتكار وتحويل القطاعات. ومع ذلك، من الضروري تطوير هذه التقنيات بمسؤولية وأخلاقية لضمان استخدامها بعدالة. ومع استمرار تطور نماذج VLMs، ستُحسّن مهام مثل البحث القائم على الصور والتقنيات المساعدة.

لمواصلة التعلم عن الذكاء الاصطناعي، تواصل مع مجتمعنا! واستكشف مستودعنا على GitHub لمعرفة كيفية استخدامنا الذكاء الاصطناعي لإنشاء حلول مبتكرة في قطاعات مثل التصنيع والرعاية الصحية. 🚀