Vision Language Model (VLM)

نموذج الرؤية واللغة (VLM) هو نوع من الذكاء الاصطناعي قادر على معالجة وتفسير المعلومات البصرية (صور أو فيديو) والمعلومات النصية في آن واحد. وعلى عكس نماذج رؤية الحاسوب التقليدية التي تركز فقط على بيانات البكسل، أو نماذج اللغة الكبيرة (LLMs) التي تفهم النصوص فقط، تعمل نماذج VLM على سد الفجوة بين هذين النمطين. فمن خلال التدريب على مجموعات بيانات ضخمة تحتوي على أزواج من الصور والنصوص، تتعلم هذه النماذج ربط السمات البصرية بالمفاهيم اللغوية، مما يسمح لها بوصف الصور، والإجابة عن الأسئلة حول المشاهد البصرية، وحتى تنفيذ أوامر بناءً على ما "تراه".

Link to this sectionكيف تعمل نماذج الرؤية واللغة#

في جوهرها، تتكون نماذج VLM عادةً من مكونين رئيسيين: مُشفّر الرؤية ومُشفّر النص. يقوم مُشفّر الرؤية بمعالجة الصور لاستخراج خرائط السمات والتمثيلات البصرية، بينما يتولى مُشفّر النص التعامل مع المدخلات اللغوية. يتم بعد ذلك دمج مسارات البيانات المتميزة هذه باستخدام آليات مثل الانتباه المتبادل لمحاذاة المعلومات البصرية والنصية في مساحة تضمين مشتركة.

اتجهت التطورات الأخيرة في عامي 2024 و2025 نحو بنيات أكثر توحيداً حيث يتعامل هيكل Transformer واحد مع كلا النمطين. على سبيل المثال، يوضح نموذج Google PaliGemma 2 مدى فعالية دمج هذه المسارات في تعزيز الأداء في مهام الاستدلال المعقدة. تسمح هذه المحاذاة للنموذج بفهم السياق، مثل التعرف على أن كلمة "apple" تشير إلى فاكهة في صورة متجر بقالة، ولكنها تشير إلى شركة تقنية في شعار ما.

Link to this sectionتطبيقات العالم الحقيقي#

تفتح القدرة على فهم العالم من خلال الرؤية واللغة معاً تطبيقات متنوعة عبر مختلف الصناعات:

• الإجابة المرئية على الأسئلة (VQA): تُستخدم نماذج VLMs بشكل مكثف في التشخيص الطبي لمساعدة أطباء الأشعة. فقد يسأل الطبيب النظام: "هل يوجد كسر في صورة الأشعة هذه؟"، فيقوم النموذج بتحليل الصورة الطبية لتقديم تقييم أولي، مما يقلل من الأخطاء التشخيصية.
• البحث الذكي في التجارة الإلكترونية: في بيئات التجزئة، تتيح نماذج VLMs للمستخدمين البحث عن المنتجات باستخدام أوصاف لغوية طبيعية مدمجة مع الصور. يمكن للمتسوق تحميل صورة لزي أحد المشاهير وسؤال النظام: "ابحث لي عن فستان بهذا النقش ولكن باللون الأزرق"، فيستخدم النظام البحث الدلالي لاسترجاع نتائج دقيقة.
• توليد التسميات التوضيحية المؤتمت والوصول: تقوم نماذج VLM تلقائياً بإنشاء نص بديل وصفي للصور على الويب، مما يجعل المحتوى الرقمي أكثر سهولة في الوصول للمستخدمين ذوي الإعاقة البصرية الذين يعتمدون على قارئات الشاشة.

Link to this sectionالتمييز بين نماذج VLM والمفاهيم ذات الصلة#

من المفيد تمييز نماذج VLM عن فئات الذكاء الاصطناعي الأخرى لفهم دورها المحدد:

• VLM مقابل LLM: يقوم نموذج اللغة الكبير (مثل إصدارات GPT-4 النصية فقط) بمعالجة البيانات النصية فقط. ورغم قدرته على إنشاء قصص إبداعية أو كود برمجي، إلا أنه لا يستطيع "رؤية" الصورة. بينما تمنح VLM فعلياً العيون لنموذج LLM.
• VLM مقابل كشف الأشياء: تقوم نماذج كشف الأشياء التقليدية، مثل إصدارات YOLO المبكرة، بتحديد موقع الأشياء والفئة التي تنتمي إليها (مثلاً: "سيارة: 99%"). بينما تذهب نماذج VLM إلى أبعد من ذلك من خلال فهم العلاقات والسمات، مثل "سيارة رياضية حمراء متوقفة بجانب صنبور إطفاء الحريق."
• VLM مقابل الذكاء الاصطناعي متعدد الوسائط: الذكاء الاصطناعي متعدد الوسائط هو مصطلح أشمل. فبينما تعتبر جميع نماذج VLM متعددة الوسائط (تجمع بين الرؤية واللغة)، ليست كل النماذج متعددة الوسائط عبارة عن نماذج VLM؛ فقد يجمع بعضها بين الصوت والنص (مثل تحويل الكلام إلى نص) أو الفيديو وبيانات المستشعرات دون وجود مكون لغوي.

Link to this sectionالكشف مفتوح المفردات مع YOLO#

تتيح نماذج VLM الحديثة الكشف "مفتوح المفردات"، حيث يمكنك اكتشاف الأشياء باستخدام مطالبات نصية حرة بدلاً من الفئات المحددة مسبقاً. هذه ميزة رئيسية في نماذج مثل Ultralytics YOLO-World، والتي تسمح بتعريفات فئة ديناميكية دون الحاجة إلى إعادة التدريب.

يوضح المثال التالي كيفية استخدام حزمة ultralytics لاكتشاف كائنات معينة موصوفة نصياً:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionالتحديات والتوجهات المستقبلية#

على الرغم من قوتها، تواجه نماذج الرؤية واللغة تحديات كبيرة. إحدى المشكلات الرئيسية هي الهلوسة، حيث يصف النموذج بثقة أشياء أو نصوصاً في صورة غير موجودة في الواقع. يعمل الباحثون بنشاط على تقنيات مثل التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) لتحسين التأريض والدقة.

يتمثل تحدٍ آخر في التكلفة الحوسبية؛ إذ يتطلب تدريب هذه النماذج الضخمة موارد GPU كبيرة. ومع ذلك، فإن إطلاق بنيات فعالة مثل Ultralytics YOLO26 يساعد في جلب قدرات الرؤية المتقدمة إلى أجهزة الحافة. ومع تقدمنا، نتوقع أن تلعب نماذج VLMs دوراً محورياً في الوكلاء الآليين، مما يسمح للروبوتات بالتنقل ومعالجة الأشياء بناءً على تعليمات لفظية معقدة.

بالنسبة للمهتمين بالأسس النظرية، توفر ورقة CLIP الأصلية من OpenAI رؤية ممتازة حول التدريب المسبق التبايني للغة والصور. بالإضافة إلى ذلك، فإن مواكبة أوراق مؤتمر CVPR أمر ضروري لتتبع التطور السريع لهذه البنيات. ولتجربة تدريب نماذج الرؤية الخاصة بك، يمكنك استخدام منصة Ultralytics لإدارة مجموعات البيانات ونشر النماذج بشكل مبسط.