Scene Graph

المخطط المشهدي تمثيل منظّم لمشهد بصري، تمثّل فيه العُقد الكائنات، وتصف السمات خصائصها، وتصف الحواف الموسومة العلاقات بينها. وهو يحوّل الصورة إلى حقائق مترابطة: ما الكائنات الظاهرة، وما خصائصها، وكيف تتفاعل. في الرؤية الحاسوبية، يدعم هذا الهيكل الاستدلال بشأن المشهد بما يتجاوز التعرّف على الكائنات الفردية.

قدّم Justin Johnson وRanjay Krishna وزملاؤهما الصياغة الحديثة المرتكزة إلى الصور في عملهم عام 2015 حول استرجاع الصور باستخدام مخططات المشهد. تضمّن تمثيلهم كائنات مثل رجل وقارب، ولون القارب الأبيض، والعلاقة «رجل يقف على قارب»، مما أتاح إجراء عمليات بحث تحدد العلاقات إلى جانب فئات الكائنات.

الكائنات والسمات والعلاقات#

تحدّد كل عقدة مثيل كائن. ويحصل حصانان في صورة واحدة على هويتين منفصلتين، حتى إن تطابقت تسميات فئتيهما. يحدّد صندوق الإحاطة موقع كل مثيل، موفّرًا إسنادًا مكانيًا: أي صلة بين كائن رمزي والمنطقة التي يشغلها في الصورة. وترتبط السمات بالمثيل لتصف خصائص مثل اللون أو المادة. وتصل العلاقات بين مثيلين عبر محمول، وهو التسمية التي تصف الصلة بينهما. وتمثّل الثلاثية الناتجة: موضوع–محمول–كائن حقيقةً علائقية واحدة.

تضم مجموعة بيانات Visual Genome، التي طوّرها Ranjay Krishna وزملاؤه، 108,077 صورة مع تعليقات توضيحية بصرية منظّمة. ومخططات المشهد أشكال خاصة بالصور من الرسم البياني المعرفي. وتسمح علاقاتها الدلالية بوجود وصلات متعددة بين الكائنات ومكوّنات غير متصلة، لذلك لا يُشترط وجود عقدة جذر في مخطط المشهد للصورة.

يتضمن مثال مخطط المشهد في مشغّل Visual Genome لـPython العبارتين «الحصان يرتدي لجامًا» و«النافذة بجوار الباب». ويمكن تمثيل هذه التعليقات التوضيحية برسم بياني موجّه باستخدام NetworkX، المثبّت باستخدام pip install networkx:

import networkx as nx

graph = nx.MultiDiGraph()
graph.add_node("horse", label="horse")
graph.add_node("bridle", label="bridle")
graph.add_node("window", label="window")
graph.add_node("door", label="door")

graph.add_edge("horse", "bridle", predicate="is wearing")
graph.add_edge("window", "door", predicate="is next to")

for subject, obj, relation in graph.edges(data=True):
    print(f"{subject} -> {relation['predicate']} -> {obj}")

تعرض المخرجات حقيقتين علائقيتين قابلتين للاستعلام، مع إسناد كل محمول إلى حافته الموجّهة.

آلية عمل توليد مخططات المشهد#

يتنبأ توليد مخططات المشهد، واختصاره SGG، بهذا التمثيل انطلاقًا من مدخلات بصرية. يجمع المسار المعتاد بين اكتشاف الكائنات واستخراج السمات وتصنيف العلاقات. تصف سمات الكائنات المناطق الفردية؛ أما السمات الثنائية فتصف التفاعلات المحتملة. وتستخدم نماذج السياق مثل MotifNet الكائنات المحيطة للمساعدة في التنبؤ بالعلاقات. ويمكن أيضًا لـالشبكات العصبية البيانية تبادل المعلومات بين الكائنات المتصلة، لإنتاج تضمينات ترمّز السياق العلائقي.

يوفّر Ultralytics YOLO YOLO26 مثيلات الكائنات لهذا المسار عبر مخرجات الكشف التي ينتجها: الصناديق وتسميات الفئات ودرجات الثقة. ويستخدم نموذج علاقات لاحق هذه المثيلات للتنبؤ بحواف مثل «يرتدي» أو «يقف على».

التطبيقات في الاستدلال البصري والروبوتات#

تدعم العلاقات الصريحة المهام التي تتطلب فهم كيفية ترابط الكائنات:

• الإجابة عن الأسئلة البصرية: تستخدم GQA مخططات مشهد مستمدة من Visual Genome لإنشاء الأسئلة وبرامج الاستدلال الوظيفي. ويدعم استعراض علاقات الكائنات الاستدلال البصري، بما في ذلك تحديد الكائنات من خلال سماتها وصلاتها.
• الروبوتات: تنشئ Kimera مخططات مشهد ديناميكية ثلاثية الأبعاد انطلاقًا من مدخلات بصرية-قصورية. ويربط تمثيلها متعدد الطبقات بين الكائنات والأشخاص والغرف والمباني، بما يدعم رسم الخرائط الدلالية والتخطيط الهرمي للمسارات. وتوسّع الإحداثيات المكانية والزمن نطاق التمثيل ليتجاوز صورة واحدة.
• توليد الصور: يحوّل نظام توليد الصور من مخططات المشهد الذي وضعه Justin Johnson وAgrim Gupta وLi Fei-Fei المخططات إلى تخطيطات للكائنات، ويتنبأ بالصناديق وأقنعة التجزئة، ثم يولّد صورة انطلاقًا من ذلك التخطيط. ويحدّد المخطط محتويات المشهد وعلاقاته معًا.

التقييم وأخطاء العلاقات#

يفصل تقييم مخططات المشهد عادةً بين ثلاث مهام. توفّر عملية تصنيف المحمول صناديق الكائنات وتسمياتها، وتقيّم العلاقات المتنبأ بها. وتوفّر عملية تصنيف مخطط المشهد الصناديق، وتتطلب تسميات الكائنات والعلاقات. أما اكتشاف مخطط المشهد فيتطلب المخطط كاملًا انطلاقًا من الصورة. ويحدّد هذا الفصل ما إذا كانت الأخطاء ناجمة عن تحديد المواقع أو التعرّف على الكائنات أو التنبؤ بالعلاقات.

تؤدي تواترات العلاقات إلى تحيز مجموعة البيانات: إذ تهيمن المحمولات الشائعة على التنبؤات، بينما تُغفل العلاقات النادرة والغنية بالمعلومات. يقيس Recall@K نسبة العلاقات المشروحة التي استُعيدت ضمن أعلى K من التنبؤات ترتيبًا. ويحسب Mean Recall@K الاستدعاء لكل فئة من فئات المحمولات على حدة، ثم يحسب متوسط تلك القيم، مانحًا المحمولات النادرة الوزن نفسه على مستوى الفئة الذي تحظى به المحمولات الشائعة.