Novel View Synthesis (NVS)

تركيب المشاهد من مناظير جديدة (NVS) هو مهمة إنشاء صورة لمشهد من موضع كاميرا لم يُصوَّر قط، استنادًا إلى صورة إدخال واحدة أو أكثر. ويتعين على النموذج استنتاج مواقع الأسطح ومظهرها من الزاوية الجديدة وما يملأ المناطق التي لم ترها أي من كاميرات الإدخال. ويدعم NVS الفيديو من منظور حر والجولات الافتراضية ومكالمات الفيديو ثلاثية الأبعاد والمحاكيات التي تعيد تشغيل القيادة المسجلة من مسارات جديدة، كما أنه اختبار معياري لنماذج الرؤية الحاسوبية ثلاثية الأبعاد، لأن الصور المحجوبة عن التدريب تبيّن مباشرة مدى صمود تمثيل المشهد من زوايا جديدة.

كيف يعمل تركيب المشاهد من مناظير جديدة؟#

يعيد أبسط الأساليب إسقاط البكسلات. فعند توفر قيمة عمق لكل بكسل، يمكن نقل كل نقطة إلى الموضع الذي ستراها فيه كاميرا جديدة؛ وتُسمى هذه التقنية التصيير المعتمد على صورة العمق. وتتحرك النقاط الأقرب إلى الكاميرا مسافة أكبر من النقاط البعيدة، بينما تترك الأسطح المخفية في صورة الإدخال والظاهرة من الموضع الجديد فجوات تُسمى مناطق انكشاف، ويجب ملؤها. ينشئ هذا المثال المنظر الأيمن لزوج صور مجسمة من مجموعة Middlebury انطلاقًا من الصورة اليسرى وخريطة التباين الخاصة بها، وهي شكل من أشكال العمق العكسي، ثم يقارن النتيجة بالصورة اليمنى الحقيقية التي لم تستخدمها عملية التحويل:

import numpy as np
from skimage import data
from skimage.metrics import peak_signal_noise_ratio as psnr

# Left view, the real right view (held out), and per-pixel disparity (inverse depth) for the left view
left, right, disp = data.stereo_motorcycle()
ys, xs = np.nonzero(np.isfinite(disp))
xt = np.round(xs - disp[ys, xs]).astype(int)  # column where the right camera, 0.19 m away, sees each pixel

# Paint far to near so the nearest surface wins where several pixels land on one spot
order = np.argsort(disp[ys, xs])
ys, xs, xt = ys[order], xs[order], xt[order]
keep = xt >= 0  # drop pixels that leave the frame
novel = np.zeros_like(left)
novel[ys[keep], xt[keep]] = left[ys[keep], xs[keep]]

# Holes are spots no left pixel reached, such as surfaces the left camera never saw
filled = novel.any(axis=2)
print(f"Holes: {1 - filled.mean():.1%} of the novel view")
print(f"PSNR, synthesized view: {psnr(right[filled], novel[filled]):.1f} dB")
print(f"PSNR, left view copied: {psnr(right[filled], left[filled]):.1f} dB")

يبلغ المنظر المُنشأ نسبة ذروة الإشارة إلى الضوضاء قدرها 26.9 dB عند قياسها على الصورة الحقيقية، مقارنةً بـ 12.9 dB عند الاكتفاء بإعادة استخدام الصورة اليسرى، بينما تبقى 17.0% من المنظر الجديد على هيئة فجوات. في صورة واحدة، يمكن أن ينشأ اختلاف المنظر عن تقدير العمق أحادي العين: تتنبأ نماذج العمق في Ultralytics YOLO26 بعمق كل بكسل بالأمتار، وتُحوَّل قيم العمق إلى اختلاف المنظر عند أي إزاحة مختارة للكاميرا. وتتبع طريقة الصور ثلاثية الأبعاد التي قدّمها Meng-Li Shih وزملاؤه في CVPR 2020 هذا النهج، وتملأ الفجوات باستخدام تقنية ترميم الصور المتعلّمة.

تتيح عمليات الالتقاط الكثيفة التحسين لكل مشهد على حدة. فعند توفر عشرات إلى مئات الصور ذات مواضع كاميرا محددة، عادةً باستخدام بنية الحركة، تلائم حقول الإشعاع العصبية، التي قدّمها Ben Mildenhall وزملاؤه عام 2020، شبكةً تُرجع اللون والكثافة عند أي نقطة ثلاثية الأبعاد، وتصيّر مناظير جديدة عبر التصيير الحجمي على طول كل شعاع كاميرا. ويستبدل التنقيط الغاوسي، الذي قدّمه Bernhard Kerbl وزملاؤه عام 2023، الشبكة بملايين الغاوسيات ثلاثية الأبعاد التي تُنقّط آنيًا بمعدل 30 إطارًا في الثانية أو أكثر بدقة 1080p. ويُدرّب كلا الأسلوبين باستخدام التصيير القابل للاشتقاق عبر مقارنة الصور المصيّرة بالصور المُدخلة.

عند توفر صورة إدخال واحدة أو بضع صور، توفر النماذج التوليدية ما لم تره الكاميرات. وتُنشئ نماذج الانتشار المشروطة بصورة إدخال وموضع كاميرا نسبي، مثل Zero-1-to-3 من جامعة كولومبيا عام 2023، مناظر معقولة للجانب البعيد من كائن، بينما تنشئ أساليب الانتشار متعددة المناظير عدة مناظر متسقة، ثم تلائم تمثيلًا ثلاثي الأبعاد بها.

تُقاس الجودة على صور محجوبة عن التدريب باستخدام PSNR ومؤشر التشابه البنيوي (SSIM) ومقياس LPIPS، وهو مقياس إدراكي متعلّم، وعلى معايير مثل مشاهد Blender الاصطناعية من ورقة NeRF والمشاهد الواقعية غير المحدودة في Mip-NeRF 360.

مفاهيم ذات صلة#

يشكّل التصيير العصبي الفئة الأوسع من تقنيات الرسوميات المبنية على الشبكات العصبية، ويشمل NVS إلى جانب إعادة الإضاءة والشخصيات الافتراضية وتحرير الصور. وتستهدف إعادة البناء ثلاثي الأبعاد هندسة قابلة للقياس مثل الشبكات متعددة الأضلاع، بينما يقتصر تقييم NVS على الصور المصيّرة؛ لذا يمكن لحقل الإشعاع أن ينتج تصييرًا مقنعًا رغم عدم دقة هندسته. وتطبّق الرؤية المجسّمة عملية التحويل في الاتجاه المعاكس، وتقيس اختلاف المنظر من منظورين حقيقيين. وينشئ استيفاء الإطارات لحظات زمنية جديدة من منظور ثابت، بينما يمزج توليد الفيديو الخاضع للتحكم بالكاميرا بين الأمرين، مع تحريك كاميرا افتراضية عبر مشهد مولَّد. وتوسّع المشاهد الديناميكية نطاق NVS ليشمل البعد الزمني باستخدام أساليب مثل التنقيط الغاوسي رباعي الأبعاد.

تطبيقات عملية#

• مكالمات الفيديو ثلاثية الأبعاد: يلتقط Google Beam، المعروف سابقًا باسم Project Starline، كل مشارك باستخدام عدة كاميرات، ويصيّره من موضع عين المشاهد على شاشة مجال ضوئي.
• الواقع الافتراضي والواقع المختلط: تتحول الغرف والمنتجات والمعالم الملتقطة إلى مشاهد قابلة للاستكشاف، يعيد جهاز الرأس تصييرها لكل موضع للرأس.
• محاكاة القيادة: تصيّر عمليات إعادة البناء العصبية للقيادة المسجلة مناظير كاميرا لمسارات لم تسلكها السيارة قط، منتجةً بيانات مستشعرات اصطناعية لاختبار الإدراك. وأنشأ باحثو Waymo وGoogle نموذج Block-NeRF من 2.8 مليون صورة لتصيير حي كامل في سان فرانسيسكو.