Neural Radiance Fields (NeRF)

يمثّل حقل الإشعاع العصبي (NeRF) مشهدًا ثلاثي الأبعاد باستخدام شبكة عصبية تحوّل أي موضع ثلاثي الأبعاد واتجاه مشاهدة إلى كثافة ولون، وتتعلّم ذلك من مجموعة صور عادية ذات مواضع كاميرا معلومة. ولإظهار منظور ما، يُرسل شعاع عبر كل بكسل، وتُستعلم الشبكة عند نقاط على طول الشعاع، ثم تُدمج النتائج باستخدام التصيير الحجمي؛ وهكذا يعرض NeRF المدرّب المشهد من مناظير لم تلتقطها أي كاميرا. قدّم بن ميلدنهال وبراتول سرينيفاسان وماثيو تانسيك وزملاؤهم في جامعة كاليفورنيا، بيركلي، وGoogle Research وجامعة كاليفورنيا، سان دييغو، هذه الطريقة في NeRF: تمثيل المشاهد كحقول إشعاع عصبي لتوليد المناظير ضمن مؤتمر ECCV 2020. تعيد نماذج NeRF إنتاج الانعكاسات والبنى الرقيقة والمواد شبه الشفافة التي لا تتعامل معها المسح التصويري القائم على الشبكات المجسمة جيدًا، وأطلقت موجة أبحاث التصيير العصبي التي أفضت إلى التنقيط الغاوسي.

آلية عمل حقول الإشعاع العصبي#

إن NeRF الأصلي هو برسيبترون متعدد الطبقات لا يحتوي على عمليات التفاف. فهو يعالج موضعًا ثلاثي الأبعاد مُرمّزًا باستخدام 8 طبقات مترابطة بالكامل، تضم كل منها 256 قناة، ويُخرج كثافة حجمية ومتجه سمات من 256 قيمة. ويمر متجه السمات، بعد دمجه مع اتجاه المشاهدة المُرمّز، عبر طبقة أخرى تضم 128 قناة وتُخرج لون RGB. تعتمد الكثافة على الموضع وحده، ما يحافظ على اتساق الهندسة بين المناظير، بينما يعتمد اللون أيضًا على الاتجاه، ما يلتقط اللمعان المرآتي والانعكاسات التي يتغير موضعها مع حركة الكاميرا:

لتصيير بكسل، يأخذ NeRF عينات من 64 نقطة على طول شعاع الكاميرا باستخدام شبكة خشنة، ثم 128 نقطة إضافية حيث عثرت المرحلة الخشنة على كثافة، ويقيّم شبكة دقيقة عند جميع هذه النقاط. تسهم كل عينة بلونها بما يتناسب مع عتامتها ومع النفاذية، أي نسبة الضوء الذي ينجو من العينات الواقعة أمامها، ويكون المجموع الموزون هو لون البكسل. يقلّل التدريب مربع الفرق بين ألوان البكسلات المصيّرة والمصوّرة عبر دفعات من 4,096 شعاعًا. تأتي أوضاع الكاميرا عادةً من برامج استعادة البنية من الحركة مثل COLMAP، واستغرق تدريب مشهد واحد من 100,000 إلى 300,000 تكرار، أي نحو يوم إلى يومين، على وحدة NVIDIA V100 GPU.

يتعلم البرسيبترون متعدد الطبقات العادي، عند تزويده بالإحداثيات الخام، دوالًا ملساء ويمحو التفاصيل الدقيقة؛ لذلك يحوّل NeRF كل إحداثية أولًا إلى جيوب وجيوب تمام بترددات تتضاعف، 10 للموضع و4 للاتجاه. يلائم هذا الرمز PyTorch الشبكة نفسها لإشارة أحادية البعد مخططة، مع الترميز الموضعي ومن دونه:

import torch
from torch import nn

torch.manual_seed(0)
# Color along one line through a scene, with fine detail such as a striped texture
x = torch.linspace(-1, 1, 512).unsqueeze(1)
target = torch.sin(12 * torch.pi * x) * torch.cos(3 * torch.pi * x)

# NeRF's positional encoding: sines and cosines of the coordinate at 10 doubling frequencies
freqs = 2.0 ** torch.arange(10) * torch.pi
encoded = torch.cat([torch.sin(x * freqs), torch.cos(x * freqs)], dim=1)

for name, inputs in (("raw coordinate", x), ("positional encoding", encoded)):
    mlp = nn.Sequential(nn.Linear(inputs.shape[1], 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, 1))
    optimizer = torch.optim.Adam(mlp.parameters(), lr=1e-3)
    for step in range(1000):
        loss = ((mlp(inputs) - target) ** 2).mean()
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f"{name}: mean squared error {loss.item():.4f}")

يطبع raw coordinate: mean squared error 0.0870 وpositional encoding: mean squared error 0.0000. يبلغ متوسط قدرة الإشارة 0.25، لذا تفوّت الشبكة التي تستخدم الإحداثيات الخام نحو ثلثها، أي الخطوط الدقيقة، بينما تعيد الشبكة المُرمّزة إنتاجها.

نماذج NeRF أسرع وأكثر متانة#

• مقاومة التعرّج والمشاهد غير المحدودة: يصيّر Mip-NeRF مخاريط بدلًا من أشعة رفيعة بلا حدود لإزالة التعرّج، ويوسّع Mip-NeRF 360 ذلك ليتعامل مع لقطات 360° غير المحدودة.
• السرعة: يستبدل Instant NGP من NVIDIA معظم الشبكة بجدول تجزئة متعدد الدقة للسمات المتعلّمة، ما يخفض مدة التدريب من أيام إلى ثوانٍ أو دقائق، ويجعل التصيير يستغرق عشرات المللي ثانية بدقة 1920×1080.
• الصور الملتقطة في ظروف واقعية: يضيف NeRF in the Wild تضمينات مظهر خاصة بكل صورة ومكوّنًا عابرًا منفصلًا؛ وبذلك يمكن إعادة بناء مجموعات الصور المنشورة على الإنترنت بوضوح، حتى مع تغيّر الإضاءة ومرور السياح.
• تحويل النص إلى ثلاثي الأبعاد: يحسّن DreamFusion نموذج NeRF إلى أن تبدو مخرجاته من كل زاوية معقولة لنموذج انتشار ثنائي الأبعاد لتحويل النص إلى صورة، لينشئ أجسامًا ثلاثية الأبعاد من المطالبات دون بيانات تدريب ثلاثية الأبعاد.

NeRF والمفاهيم ذات الصلة#

• التنقيط الغاوسي: يخزّن المشهد صراحةً على هيئة ملايين الغاوسيات ثلاثية الأبعاد ويرسمها نقطيًا، ما يتيح التصيير في الزمن الحقيقي من دون تقييم الشبكة لكل بكسل. وقد حقق جودة تضاهي Mip-NeRF 360 في عام 2023، وحلّ محل NeRF في كثير من أدوات الالتقاط، على حساب استهلاك ذاكرة أكبر.
• المسح التصويري: ينشئ شبكة مجسمة صريحة عبر مطابقة السمات بين الصور. الشبكات المجسمة مدمجة وقابلة للتحرير في برامج التصميم ثلاثي الأبعاد القياسية، لكنها تواجه صعوبة مع الأسطح اللامعة والشفافة والرقيقة جدًا.
• تقدير العمق: ينتج NeRF خريطة عمق كأثر جانبي، تمثل المسافة المتوقعة التي يتوقف عندها كل شعاع، لكن ذلك لا يحدث إلا بعد التحسين باستخدام صور كثيرة لمشهد واحد، مع أوضاع كاميرا معلومة. أما نماذج العمق أحادية العين فتتنبأ بالعمق من صورة واحدة ضمن تمريرة أمامية واحدة.
• التمثيلات العصبية الضمنية: يُعد NeRF تمثيلًا عصبيًا ضمنيًا متخصصًا في الإشعاع والكثافة، إلى جانب شبكات تخزّن الصور أو الأشكال أو الصوت على هيئة دوال مستمرة.

متطلبات الالتقاط#

يفترض NeRF ثبات المشهد والإضاءة، وأن تُلتقط الصور من مناظير متداخلة عديدة مع أوضاع كاميرا دقيقة. درّبت الورقة الأصلية كل جسم اصطناعي على 100 منظور مصيّر، وكل مشهد حقيقي موجّه نحو الأمام على 20 إلى 62 صورة. يظهر أي شيء يتحرك أثناء الالتقاط، مثل أحد المارة أو سيارة، في بعض الصور دون غيرها، ويفسّر التحسين ذلك على هيئة «أجسام عائمة» شبه شفافة. تستطيع نماذج تجزئة الكائنات من Ultralytics YOLO26 إنشاء أقنعة للأشخاص والمركبات في كل صورة، بحيث يمكن استبعاد الأشعة المارة عبر وحدات البكسل تلك من التدريب.

تطبيقات عملية#

• الإنتاج السينمائي والافتراضي: تُعاد بناء المواقع الملتقطة وتصييرها من مسارات كاميرا جديدة، لتكون خلفيات واقعية ومراجع للديكور.
• الروبوتات ومحاكاة القيادة: تُعاد بناء البيئات المسجلة كي تتمكن فرق المركبات ذاتية القيادة والروبوتات من تصيير مشاهد المستشعرات من مواضع لم تمر بها الرحلة الأصلية.
• تصور المنتجات: تتحول بضع عشرات من الصور لمنتج ما إلى عرض تفاعلي يستطيع المتسوقون تدويره بحرية.
• الخرائط: لتوفير ميزة العرض الغامر في Google Maps، أعادت Google بناء المساحات الداخلية للمطاعم والمقاهي باستخدام NeRF انطلاقًا من صور DSLR التُقطت خلال نحو ساعة في كل موقع، مستندةً إلى Mip-NeRF 360، مع تضمينات المظهر في NeRF in the Wild وتكييف التعريض في Block-NeRF، وقدّمت هذه المساحات في هيئة مقاطع فيديو تفاعلية بزاوية 360° على امتداد مسارات طيران مختارة بعناية.