Vision Language Model (VLM)

نموذج الرؤية واللغة (VLM) هو شبكة عصبية تعالج الصور، وغالبًا الفيديو، إلى جانب النص. ووفقًا لتصميمه، يمكنه تقييم مدى تطابق صورة مع تعليق، أو كتابة نص عن صورة، أو العثور على الكائنات التي تسميها مطالبة نصية. تجيب نماذج VLM عن أسئلة مثل «كم عدد الأشخاص المنتظرين عند موقف الحافلات؟»، وتحول المخططات والإيصالات إلى بيانات منظّمة، وتحدد مواقع الكائنات الموصوفة بعبارات حرة. وهي تجمع الإدراك البصري لنماذج الرؤية الحاسوبية، التي تتنبأ من قائمة ثابتة من الفئات، مع اللغة المفتوحة لـنماذج اللغة الكبيرة (LLMs).

آلية عمل نماذج الرؤية واللغة#

يحتاج كل نموذج VLM إلى مشفّر رؤية، غالبًا ما يكون محوّل رؤية (ViT)، يحوّل الصورة إلى تضمينات، وإلى طريقة لربط هذه التضمينات بالنص. ومن التصاميم الشائعة ثلاثة:

• المشفّرات المزدوجة: يرمّز CLIP وSigLIP الصور والنصوص كلًا على حدة إلى فضاء تضمين مشترك واحد، باستخدام تدريب التعلّم التبايني على مئات الملايين إلى مليارات من أزواج الصور والتعليقات. وهما يقيسان التشابه بدلًا من توليد النص، ما يجعلهما أداتين أساسيتين للتصنيف دون أمثلة والبحث عن الصور.
• نماذج VLM التوليدية: يمرّر مشفّر رؤية مدرّب مسبقًا، غالبًا من CLIP أو SigLIP، تضمينات الرقع إلى مُسقِط يحوّلها إلى «رموز مرئية» في فضاء إدخال LLM. ويقرأ LLM هذه الرموز إلى جانب المطالبة النصية ويكتب الإجابة. يعمل LLaVA-1.5 بهذه الطريقة: يقسّم مشفّره CLIP ViT-L/14 صورة بحجم 336×336 إلى شبكة من الرقع بحجم 24×24، منتجًا 576 رمزًا مرئيًا. أما Flamingo من DeepMind، فيتبع مسارًا مختلفًا عبر إدخال طبقات انتباه متقاطع في LLM مجمّد، لكي تنتبه الرموز النصية إلى سمات الصورة.
• كواشف المفردات المفتوحة: تقارن نماذج مثل Grounding DINO وYOLO-World وYOLOE مناطق الصورة بتضمينات النص لإرجاع صناديق أو أقنعة لأي كائن مسمّى، وهي مهمة تُعرف باسم الإرساء. كما تُرسّي بعض نماذج VLM التوليدية الكائنات، بكتابة إحداثيات الصندوق كنص أو كرموز مواقع خاصة.

في التصميم التوليدي، يكتب LLM إجابته رمزًا واحدًا في كل مرة، مع الانتباه إلى الرموز المرئية والمطالبة في كل خطوة:

عادةً ما تُدرّب نماذج VLM التوليدية على مراحل. يتعلم المُسقِط أولًا محاذاة الرموز المرئية مع تضمينات LLM باستخدام أزواج الصور والتعليقات، بينما يبقى المشفّر وLLM مجمّدين. ثم يضبط ضبط التعليمات المرئية النموذج ضبطًا دقيقًا على محادثات عن الصور، ويقلل ضبط التفضيلات مثل RLHF الإجابات التي تصف أشياء غير موجودة في الصورة.

تنقل كواشف المفردات المفتوحة مطابقة النص نفسها إلى الكشف في الزمن الحقيقي. يحوّل YOLOE، الذي قدّمه باحثون من جامعة تسينغهوا ويتوفر في حزمة Ultralytics باسم YOLOE-26 على بنية YOLO26، أسماء الفئات إلى تضمينات باستخدام مشفّر النص MobileCLIP2 من Apple، ثم يطابقها مع مناطق الصورة، مع إرجاع الصناديق وأقنعة المثيلات لفئات لم يُدرّب على وسمها قط. تتضمن المطالبات أدناه النظارات الشمسية، وهي ليست ضمن فئات COCO الثمانين التي تكتشفها نماذج YOLO ذات مجموعة الفئات المغلقة:

from ultralytics import YOLOE

# ⁨تحميل نموذج YOLOE-26 للكشف والتقسيم ذي المفردات المفتوحة⁩
model = YOLOE("yoloe-26s-seg.pt")

# ⁨تسمية الفئات بعبارات واضحة؛ إذ يحوّل مشفّر النص كل فئة إلى تضمين⁩
model.set_classes(["person", "glasses", "bus"])

# ⁨اكتشاف الفئات التي تحددها المطالبة وتقسيمها فقط⁩
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

تتضمن القائمة المطبوعة الحافلة وأربعة أشخاص والنظارات التي يرتديها اثنان منهم، كما أن تغيير قائمة الكلمات يغيّر الكائنات التي يكتشفها النموذج دون أي إعادة تدريب.

تطبيقات عملية#

• الإجابة عن الأسئلة المرئية: تطرح أدوات الفحص والتجزئة والدعم على نموذج VLM أسئلة عن صورة، مثل ما إذا كان الرف ممتلئًا بالكامل أو أي ضوء تحذير مضاء في صورة لوحة القيادة.
• فهم المستندات: تقرأ نماذج VLM الفواتير والنماذج والجداول والمخططات مباشرةً من صور الصفحات، وتعيد حقولًا منظّمة، وغالبًا ما تستغني بذلك عن خطوة منفصلة لـالتعرّف الضوئي على المحارف (OCR).
• وصف الصور وإمكانية الوصول: توفر الأوصاف المُولّدة نصًا بديلًا لقارئات الشاشة وبيانات وصفية قابلة للبحث لمكتبات الصور.
• الروبوتات: توسّع نماذج الرؤية واللغة والفعل، مثل RT-2 من Google DeepMind، نموذج VLM ليصدر أفعال الروبوت؛ ما يتيح للروبوت اتباع تعليمات مثل «التقط العلبة الفارغة».
• وسم البيانات: تنشئ كواشف المفردات المفتوحة مسودات للصناديق والأقنعة الخاصة بفئات جديدة انطلاقًا من المطالبات النصية، فتوفر للمعلّقين نقطة بداية بدلًا من صورة فارغة.

نماذج VLM والمصطلحات ذات الصلة#

• LLM: نموذج لا يتعامل إلا مع النص. كثير من نماذج VLM التوليدية هي نماذج LLM ملحقة بمشفّر للرؤية، وترث منها قدرات الاستدلال والمعرفة والميل إلى اختلاق المعلومات.
• الذكاء الاصطناعي متعدد الوسائط: الفئة الأوسع من النماذج التي تجمع بين أنواع البيانات. فالنموذج الذي يقرن الصوت بالنص أو الرادار بصور الكاميرا متعدد الوسائط، من دون أن يكون نموذج VLM.
• اكتشاف الكائنات: يتنبأ الكاشف ذو مجموعة الفئات المغلقة بالفئات التي تدرب عليها فقط، ولا يتلقى مدخلات نصية. أما كواشف المفردات المفتوحة فهي نماذج VLM التي تتولى هذه المهمة عندما تُسمّى الفئات وقت الاستدلال.

القيود#

قد تختلق نماذج VLM معلومات: فقد يذكر نموذج وصف الصور شوكة على طاولة لا توجد عليها شوكة، لأن نموذج اللغة يكمل جملة محتملة. ومن نقاط ضعفها الأخرى الاستدلال المكاني الدقيق، وعدّ المجموعات الكبيرة، وقراءة النصوص الصغيرة؛ كما تستهلك كل صورة مئات أو آلاف الرموز من نافذة سياق LLM. ويقيس معيار POPE اختلاق الكائنات عبر طرح أسئلة على النموذج من قبيل «هل توجد سيارة في الصورة؟»، واختيار الكائنات الغائبة عشوائيًا، أو من بين أكثر الكائنات تكرارًا في مجموعة البيانات، أو من الكائنات التي تظهر غالبًا إلى جانب الكائنات الموجودة.