Neural Rendering

التصيير العصبي هو توليد الصور ومقاطع الفيديو باستخدام الشبكات العصبية التي تستبدل أجزاء من مسار عمل الرسوم الحاسوبية التقليدية أو تعززها، مع الحفاظ على إمكانية التحكم بخصائص المشهد مثل منظور الكاميرا والإضاءة والهندسة والمظهر. يحسب التصيير التقليدي صورة انطلاقًا من نماذج ثلاثية الأبعاد ومواد ومصادر ضوء مصممة يدويًا، مستندًا إلى فيزياء انتقال الضوء. أما التصيير العصبي، فيتعلّم بعض هذه العناصر من الصور ومقاطع الفيديو، أو يتعلم إنتاج البكسلات النهائية مباشرةً. ويجمع مجال التصيير العصبي بين التعلم الآلي التوليدي والمعرفة الفيزيائية المستمدة من الرسوم الحاسوبية، غالبًا عبر إدراج التصيير القابل للاشتقاق في تدريب الشبكات. ويُستخدم التصيير العصبي في التقاطات ثلاثية الأبعاد واقعية لأماكن حقيقية، وتحسين الدقة باستخدام الذكاء الاصطناعي وتوليد الإطارات في ألعاب الفيديو، وفي المحاكاة للروبوتات والسيارات ذاتية القيادة.

آلية عمل التصيير العصبي#

يتعلم الفرع الأكثر تأثيرًا مشهدًا ثلاثي الأبعاد انطلاقًا من صور عادية. ويُصيَّر تمثيل للمشهد، مثل شبكة عصبية أو شبكة من السمات المتعلَّمة أو مجموعة من العناصر الأساسية ثلاثية الأبعاد، على هيئة صورة من موضع كاميرا إحدى صور التدريب باستخدام مُصيِّر قابل للاشتقاق. وبما أن كل خطوة في المُصيِّر قابلة للاشتقاق، يمكن إرجاع الفرق بين الصورة المصيَّرة والصورة الحقيقية عبر الانتشار العكسي إلى كل معلمة من معلمات المشهد. ويؤدي تكرار ذلك عبر مشاهدات عديدة إلى إعادة بناء المشهد بجودة كافية لتصيير زوايا رؤية لم تلتقطها أي كاميرا:

تُستخرج أوضاع الكاميرات للصور عادةً باستخدام برامج إعادة البناء من الحركة، مثل COLMAP، التي تطابق السمات عبر الصور المتداخلة لتحديد موضع التقاط كل صورة.

تمثيلات المشاهد العصبية#

تخزّن حقول الإشعاع العصبية (NeRF)، التي طُرحت عام 2020، المشهد في أوزان متعدد الطبقات من نوع perceptron، يحوّل موضعًا ثلاثي الأبعاد واتجاهًا للرؤية إلى كثافة ولون. ولتصيير بكسل، يأخذ NeRF عينات من نقاط على شعاع الكاميرا المار به، ويمزج ألوانها عبر التصيير الحجمي؛ إذ تساهم كل عينة وفقًا لعتامتها وكمية الضوء التي تنفذ من العينات الواقعة أمامها. يدرّب هذا الرمز باستخدام PyTorch حقلًا صغيرًا لإعادة إنتاج بكسل مرصود واحد على امتداد شعاع واحد:

import torch
from torch import nn

# A tiny neural field that maps a 3D point to a density and an RGB color
torch.manual_seed(0)
field = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 4))
optimizer = torch.optim.Adam(field.parameters(), lr=0.01)

# 64 points along one camera ray, and the color a training photo shows for that pixel
depths = torch.linspace(2.0, 6.0, 64)
points = torch.stack([torch.zeros(64), torch.zeros(64), depths], dim=1)
observed = torch.tensor([0.9, 0.4, 0.1])

for step in range(200):
    density, color = field(points).split([1, 3], dim=1)
    # Volume rendering: each sample's opacity times the light that reaches it through the samples in front
    alpha = 1 - torch.exp(-nn.functional.softplus(density.squeeze(1)) * (depths[1] - depths[0]))
    transmittance = torch.cumprod(torch.cat([torch.ones(1), 1 - alpha[:-1]]), dim=0)
    pixel = (transmittance * alpha) @ torch.sigmoid(color)
    loss = ((pixel - observed) ** 2).sum()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if step in (0, 199):
        print(f"step {step}: rendered {pixel.detach().numpy().round(2)}, loss {loss.item():.4f}")

يطبع step 0: rendered [0.71 0.37 0.56], loss 0.2496 وstep 199: rendered [0.9 0.4 0.1], loss 0.0000. وتصيّر الشبكة غير المدرّبة لونًا اعتباطيًا، ثم تعدّل التدرجات التي تنتقل عكسيًا عبر معادلة التصيير أوزانها حتى يطابق البكسل المصيَّر الصورة الفوتوغرافية. ويطبق NeRF حقيقي الأمر نفسه على ملايين الأشعة المستمدة من عشرات إلى مئات الصور.

استغرق تدريب NeRF الأصلي يومًا إلى يومين لكل مشهد على وحدة معالجة رسومات (GPU) من نوع NVIDIA V100، وكان تصيير كل صورة يتطلب 150 إلى 200 مليون استعلام للشبكة، أي نحو 30 ثانية لكل إطار. واستبدل Instant NGP من NVIDIA معظم الشبكة بجدول تجزئة متعدد الدقة للسمات المتعلَّمة، ما خفّض التدريب إلى ثوانٍ أو دقائق والتصيير إلى عشرات الملّي ثوانٍ بدقة 1920×1080. وذهب التنقيط الغاوسي إلى أبعد من ذلك عام 2023، إذ مثّل المشاهد بملايين التوزيعات الغاوسية ثلاثية الأبعاد الصريحة التي تُحوّل إلى صورة بتقنية الزمن الحقيقي من دون تقييم أي شبكة أثناء التصيير؛ وعادةً ما يُدرج ضمن التصيير العصبي لأنه يُحسَّن بالطريقة نفسها.

التصيير العصبي في فضاء الصورة#

يُبقي فرع ثانٍ على المُصيِّر التقليدي ويستخدم الشبكات لإكمال مخرجاته أو توسيعها. يصيّر DLSS من NVIDIA الألعاب بدقة مخفّضة، ثم يرفع دقتها باستخدام نماذج المحوّلات، ويولّد ما يصل إلى خمسة إطارات مقابل كل إطار تصيّره اللعبة على وحدات GPU من سلسلة GeForce RTX 50. وتستخدم التصييرات المعتمدة على تتبّع المسارات مزيلات تشويش متعلّمة لإنتاج صور نقية من عينات ضوئية قليلة لكل بكسل. وتولّد نماذج أخرى الصور انطلاقًا من تخطيطات المشهد: فقد حوّل GauGAN من NVIDIA خريطة دلالية للسماء والماء والأشجار إلى منظر طبيعي واقعي، كما تصيّر أنظمة الصور الرمزية العصبية وجه شخص من زوايا جديدة أو تحت إضاءة مختلفة.

التصيير العصبي ومصطلحات ذات صلة#

• التصيير القابل للاشتقاق: مُصيِّر يمكن اشتقاق مخرجاته بالنسبة إلى مدخلاته. وهو الآلية التي تتيح للتصيير العصبي التعلم من الصور، كما يُستخدم من دون أي شبكة عصبية، مثلًا لمواءمة شبكة مضلعات مع الصور.
• التصيير العكسي: استعادة الهندسة والمواد والإضاءة من الصور، غالبًا باستخدام التصيير القابل للاشتقاق، بحيث يمكن تحرير النتائج وإعادة تصييرها.
• تركيب مشاهدات جديدة: مهمة إنتاج صور من زوايا رؤية غير مرصودة، وهي ما يعالجه NeRF والتنقيط الغاوسي؛ أما التصيير العصبي فهو مجموعة التقنيات الأوسع.
• الذكاء الاصطناعي التوليدي: تنشئ نماذج توليد الصور من النصوص وتوليد الفيديو محتوى انطلاقًا من المطالبات، عادةً من دون مشهد صريح يمكن مشاهدته من موضع كاميرا مختار.

تطبيقات عملية#

• الإنتاج السينمائي والإنتاج الافتراضي: تُعاد بناء المواقع المصوّرة بوصفها حقول إشعاع أو تنقيطات، ثم تُصيّر من مسارات كاميرا جديدة لإنتاج المؤثرات البصرية والمعاينة المسبقة.
• التوائم الرقمية والتجارة الإلكترونية: تتحول لقطات الغرف والمباني والمنتجات الملتقطة بالهاتف إلى مشاهد ثلاثية الأبعاد يمكن للعملاء والمخططين استكشافها عبر المتصفح أو نظارة الواقع المعزز.
• الروبوتات والمركبات ذاتية القيادة: تُعاد بناء الرحلات المسجّلة وتصييرها من زوايا رؤية متغيرة، ما ينتج بيانات اصطناعية لاختبار أنظمة الإدراك. وتخلّف الأشخاص والسيارات التي تتحرك أثناء الالتقاط آثارًا شبه شفافة، لذا تحجبها مسارات العمل من صور التدريب، كما تولّد نماذج تقسيم المثيلات YOLO26 هذه الأقنعة تلقائيًا لكل إطار. أعاد Block-NeRF من Waymo بناء حي كامل في سان فرانسيسكو انطلاقًا من 2.8 مليون صورة، عبر جمع شبكة من نماذج NeRF المدرّبة كلٌّ على حدة.