Visual Reasoning

الاستدلال البصري هو قدرة نموذج الذكاء الاصطناعي على التوصل إلى نتيجة تتطلب عدة خطوات استدلالية انطلاقًا من معلومات بصرية: مثل عدّ الأجسام التي تستوفي شرطًا، أو مقارنة أحجامها أو مواقعها، أو تتبع العلاقات المكانية، أو تطبيق الفهم الفيزيائي السليم، أو إكمال نمط بصري مجرد. يتطلب التعرف على كوب خطوة إدراك واحدة، بينما تتطلب الإجابة عن سؤال «هل يقع الكوب إلى يسار أكبر جسم مصنوع من المادة نفسها التي صُنعت منها الطاولة؟» عدة خطوات، لأن الإجابة تجمع معلومات عن أربعة أجسام. وتقع هذه القدرة بين الرؤية الحاسوبية، التي توفر تلك المعلومات، ونماذج الاستدلال، التي تربط الاستدلالات في نص؛ وهي ما تختبره معايير الإجابة عن الأسئلة البصرية (VQA) عندما تتجاوز أسئلتها مجرد تسمية ما في الصورة.

المعايير التي تحدد الاستدلال البصري#

تسبق اختبارات الاستدلال البصري ظهور الذكاء الاصطناعي. تطلب مصفوفات John C. Raven المتتابعة (1938) من الأشخاص اختيار القطعة التي تكمل نمطًا من شبكة 3×3، بينما تسأل مسائل Mikhail Bongard لعام 1967 عن القاعدة التي تفصل ست صور عن ست صور أخرى. واستعارت المعايير الحاسوبية الفكرتين وأضافت إليهما اللغة:

• CLEVR: أطلق Justin Johnson وزملاؤه في Stanford وFacebook AI Research مجموعة البيانات التشخيصية هذه في CVPR 2017، وتضم 100,000 مشهد مولّدًا لأشكال ثلاثية الأبعاد بسيطة ونحو مليون سؤال مولّد يختبر العد والمقارنة والعلاقات المكانية والمنطق، مع الحد من تحيزات مجموعة البيانات التي تتيح للنماذج التخمين.
• RAVEN: مجموعة بيانات لعام 2019 تضم مصفوفات بأسلوب Raven مولدة إجرائيًا لتدريب الأنظمة واختبارها على إكمال الأنماط.
• ARC: مجموعة التجريد والاستدلال التي وضعها François Chollet عام 2019، وتتألف من ألغاز شبكية يجب استنتاج قاعدة التحويل فيها من بضعة أمثلة.
• MathVista: معيار لعام 2023 يضم مسائل رياضية مطروحة في مخططات ورسوم بيانية ورسوم هندسية وصور.
• BLINK: مجموعة لعام 2024 تضم 14 مسألة كلاسيكية في الرؤية، منها العمق النسبي والتطابق البصري، أعيدت صياغتها كأسئلة متعددة الخيارات.

أظهر BLINK مدى ابتعاد النماذج متعددة الوسائط الطليقة عن الإدراك البشري: فقد بلغ متوسط أداء الأشخاص 95.70 بالمئة، بينما سجل GPT-4V نسبة 51.26 بالمئة وGemini نسبة 45.72 بالمئة، أي أعلى من التخمين العشوائي بـ13.17 و7.63 نقطة فقط، في حين حلت نماذج الرؤية المتخصصة المسائل نفسها على نحو أفضل بكثير.

مناهج الاستدلال البصري#

تجيب نماذج الرؤية واللغة (VLMs) من طرف إلى طرف مباشرةً انطلاقًا من رموز الصورة، ويجعلها التلقين بسلسلة الأفكار تكتب الخطوات الوسيطة قبل الإجابة. وفي أبريل 2025، وسّعت نسختا o3 وo4-mini من OpenAI هذا النهج ليشمل التفكير باستخدام الصور: إذ يستطيع النموذج أثناء الاستدلال اقتصاص الصورة وتكبيرها وتدويرها، ثم إعادة فحص النتيجة.

تفصل الأساليب العصبية الرمزية بين الرؤية والاستدلال. جمع Jacob Andreas وزملاؤه شبكات عصبية صغيرة مخصصة لكل سؤال من وحدات قابلة لإعادة الاستخدام مثل «التركيز» و«إعادة التركيز» (CVPR 2016). وحلّل NS-VQA الذي قدّمه Kexin Yi وزملاؤه (NeurIPS 2018) كل مشهد CLEVR إلى جدول بالأجسام وسماتها ومواقعها، وترجم السؤال إلى برنامج، ثم نفّذ البرنامج على الجدول؛ وبلغت دقته 99.8 بالمئة بإجابة قابلة للتتبّع بالكامل، في نهج متجذر في الذكاء الاصطناعي الرمزي. ونقلَت البرمجة المرئية الفكرة نفسها إلى الصور الحقيقية: إذ يستخدم كل من VisProg، الفائز بجائزة أفضل ورقة في CVPR 2023، وViperGPT (ICCV 2023) نموذج لغة كبير (LLM) لكتابة برنامج Python يستدعي نموذج اكتشاف الأجسام ونموذج تقدير العمق وأدوات رؤية أخرى، ثم ينفذه.

الكشف والعمق كمدخلات للاستدلال#

العمق النسبي إحدى مهام BLINK، وهو تحديدًا نوع الأسئلة التي يفوضها البرنامج البصري إلى نموذج متخصص. يوفر YOLO26 كلا المدخلين: يحول نموذج كشف الأجسام الصورة إلى مربعات مسماة، ويعيد نموذج العمق أحادي العين خريطة عمق لكل بكسل بالمتر، لتجيب بضعة أسطر من المنطق عن السؤال «هل يوجد أحد أقرب إلى الكاميرا من الحافلة؟»:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

يمكن إرجاع كل إجابة إلى مربع محدد وقيمة عمق معينة، وهو ما لا يمكن فعله بإجابة نموذج من طرف إلى طرف. ويتسع النمط نفسه لمهام الروبوتات والذكاء المكاني، حيث يتعين على الروبوت تحديد الجسم الذي ينبغي أن يمد يده إليه أولًا، وكذلك سير عمل الوكلاء الذي يفحص المشهد قبل اتخاذ الإجراء.

الاستدلال البصري والمصطلحات ذات الصلة#

VQA هو تنسيق لمهمة تتمثل في سؤال عن صورة وإجابة قصيرة، أما الاستدلال البصري فهو القدرة متعددة الخطوات التي تتطلبها أسئلة VQA الأصعب. ويشمل الذكاء الاصطناعي متعدد الوسائط أي نموذج يجمع بين أنواع البيانات، سواء أكان يستدل أم لا. أما الاستدلال المكاني فهو الجزء المعني بالمواقع والمسافات والاتجاهات، ولا تحتاج أبسط أسئلته إلى نموذج لغة إطلاقًا: إذ تسأل عناصر العمق النسبي في BLINK أي النقطتين المحددتين أقرب إلى الكاميرا، وتجيب خريطة العمق عن ذلك بمقارنة قيمتي البكسل.