Inverse Rendering

التصوير العكسي هو عملية العمل بشكل عكسي من صورة لتقدير المشهد الذي أنتجها. يبدأ التصوير العادي بمشهد ثلاثي الأبعاد وكاميرا وإضاءة ومواد، ثم ينشئ صورة ثنائية الأبعاد. يبدأ التصوير العكسي من الصورة ويتساءل عن تركيبة الشكل وزاوية الرؤية وخصائص السطح والإضاءة التي يمكن أن تفسر وحدات البكسل الخاصة بها. يكون ذلك مفيداً عندما يحتاج نظام الذكاء الاصطناعي إلى فهم ليس فقط ما يظهر في الصورة، بل ولماذا تبدو بهذا الشكل.

كيف يعمل التصوير العكسي#

تخيل صورة لكوب من السيراميك. يشير خطه الخارجي إلى شكله، لكن البقعة الساطعة على جانبه قد تكون طلاءً أبيض أو انعكاساً من نافذة. يحاول نظام التصوير العكسي فصل هذه الأسباب. وهو يمثل هندسة الكوب، ومادته، ومصادر الإضاءة، والكاميرا، ثم يقارن صورة مُصوَّرة من تلك التقديرات مع الصورة الفوتوغرافية. وهو يضبط التقديرات حتى تتفق الصور بشكل أوثق. توضح دروس التصوير العكسي لـ Mitsuba هذا النهج من الصورة إلى المشهد.

تخدم الخصائص المقدرة أغراضاً مختلفة. تصف الهندسة السطح ثلاثي الأبعاد للكوب. تصف المادة كيف يعكس هذا السطح الضوء؛ ويشرح دليل مواد Blender سبب كون اللون والانعكاسية خاصيتين متميزتين. تصف الإضاءة الضوء الواصل إلى السطح. تصف معلمات الكاميرا زاوية الرؤية والإسقاط، بما في ذلك البعد البؤري وتشوه العدسة، كما هو موضح في درس معايرة كاميرا OpenCV.

يمكن للنظام تقدير هذه الخصائص من خلال التنبؤات المُتعلَّمة، أو التحسين التكراري، أو كليهما. في النهج التكراري، يوفر التصوير القابل للتفاضل طريقة لقياس كيف يؤثر تغيير معلمة المشهد على الصورة المُصوَّرة. على سبيل المثال، يضبط درس موضع كاميرا PyTorch3D تقدير الكاميرا ليتطابق بشكل أفضل مع عرض مرجعي. التصوير القابل للتفاضل هو أداة لحل مشكلة التصوير العكسي، وليس اسمًا آخر للمشكلة نفسها.

المفاهيم ذات الصلة والفروق الرئيسية#

غالباً ما يُسمى التصوير العكسي بالرسوميات العكسية، لا سيما عندما يكون الهدف هو استعادة وصف منظم للممشهد من الصور. يعتمد نطاق التصوير العكسي على المهمة: فقد يقدر النظام الإضاءة والمادة فقط، أو يقدر بشكل مشترك الهندسة والإضاءة ووضع الكاميرا.

وهو يتداخل مع تقدير العمق، الذي يتنبأ بمدى بُعد الأسطح المرئية عن الكاميرا. العمق هو جزء محتمل من وصف المشهد؛ ولا يخبرك خريطة العمق وحدها ما إذا كان السطح الساطع لامعاً، أو ما هي الأضواء التي تنيره، أو ما يقع خلفه. وبالمثل، تركز إعادة البناء ثلاثي الأبعاد على استعادة الشكل أو التمثيل المكاني. يوضح درس إعادة البناء باستخدام COLMAP كيف يمكن للعروض المتداخلة استعادة أوضاع الكاميرا والبنية ثلاثية الأبعاد، دون فصل المواد بالضرورة عن الإضاءة.

أخيراً، يتعلق التصوير العصبي بتوليد الصور باستخدام تمثيلات المشهد المُتعلَّمة. قد يتم ملاءمة هذا التمثيل للصور الفوتوغرافية، لكن إنتاج عروض جديدة مقنعة لا يعني تلقائياً أن قيمه الداخلية تصف بدقة المواد الفيزيائية للمشهد أو أضوائه.

تطبيقان في العالم الحقيقي#

في تصور المنتجات، يمكن لبائع التجزئة تصوير حذاء من عدة زوايا وتقدير شكله ومظهر سطحه وإضاءته. يمكن أن يساعد المشهد المُعد في إنشاء صور متسقة من وجهات نظر جديدة أو إظهار كيف قد يبدو الحذاء تحت أضواء استوديو مختلفة. فصل مادة الحذاء عن إضاءة الصورة الأصلية الفوتوغرافية أمر مهم: وإلا، فقد تظل اللقطة الباطنية المتقاطعة عالقة بالحذاء عندما يُصور من زاوية أخرى.

في الواقع المعزز، يمكن لتطبيق تقدير هندسة الغرفة والإضاءة بحيث يظهر مصباح افتراضي كأنه مستقر على طاولة حقيقية ويتفاعل بشكل مقبول مع محيطه. تساعد الهندسة والعمق في تحديد متى يجب أن يخفي الأثاث الحقيقي جزءاً من الكائن الافتراضي؛ ويشرح دليل عمق ARCore هذا التأثير، الذي يُسمى الانسداد. تساعد تقديرات الإضاءة المصباح الافتراضي على ألا يبدو وكأنه طبقة مسطحة. يتطلب كلا التطبيقين عمليات تحقق تتجاوز مجرد ما إذا كانت صورة الإخراج الواحدة تبدو مقنعة.

نقطة بداية عملية للعمق#

خريطة العمق هي مدخل هندسي مفيد لخط أنابيب أوسع للتصوير العكسي. يوفر Ultralytics YOLO26 سير عمل لتقدير العمق أحادي العين موثقاً يتنبأ بمسافة السطح المرئي من صورة RGB واحدة:

from ultralytics import YOLO

# Load a pretrained depth model.
model = YOLO("yolo26n-depth.pt")

# Predict depth for an image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save a visualization of the depth prediction.
result.save(filename="depth_result.jpg")

هذا يحفظ عرضاً للعمق المتنبأ به، وليس مشهداً مُصوراً عكسياً. لا يستستعيد النموذج أضواء الصورة أو خصائص المواد. لبناء مشهد أكثر اكتمالاً، يجب أن يجمع خط أنابيب منفصل بين تقديرات الهندسة والكاميرا والمادة والإضاءة المناسبة. يُظهر دليل صور RGB-D في Open3D كيف يمكن للون والعمق المتبوعين أن يساهما في سحابة نقاط عندما توفر معلمات الكاميرا.

الغموض والحدود العملية#

نادراً ما يكون لصورة واحدة تفسير واحد صحيح بشكل فريد. قد تكون البقعة الداكنة ظلاً، أو طلاءً داكناً، أو سطحاً مبتعداً عن الضوء؛ ويمكن أن يشبه كائن صغير قريب كائناً أكبر بعيداً. تضيف الانعكاسات، والأَسْطُح الشفافة، والهندسة المخفية، ومعايرة الكاميرا غير الدقيقة مزيداً من عدم اليقين.

يمكن لمزيد من العروض والإضاءة المسيطر عليها تضييق الاحتمالات، لكنها لا تزال لا تزيل الحاجة إلى التحقق من النتائج. قارن الأبعاد المقدرة بالقياسات المعروفة، وتحقق مما إذا كانت عمليات العرض تتطابق مع وجهات النظر المحجوزة، وافحص ما إذا كانت المواد المستعادة تظل معقولة عندما تتغير الإضاءة. بالنسبة للفرق التي تجمع صوراً مسومة أو تدرب نماذج رؤية داعمة، توفر منصة Ultralytics أدوات تعليق مجموعات البيانات، والتدريب، والنشر؛ بينما يظل تحسين التصوير العكسي نفسه سير عمل منفصلاً.