Neural Rendering

Neurales Rendering bezeichnet die Erzeugung von Bildern und Videos mit neuronalen Netzen, die Teile der herkömmlichen Computergrafik-Pipeline ersetzen oder ergänzen und dabei die Kontrolle über Szeneneigenschaften wie Kameraperspektive, Beleuchtung, Geometrie und Erscheinungsbild bewahren. Herkömmliches Rendering berechnet mithilfe der Physik des Lichttransports ein Bild aus von Hand erstellten 3D-Modellen, Materialien und Lichtquellen. Neurales Rendering lernt dagegen einige dieser Elemente aus Fotos und Videos oder lernt, die endgültigen Pixel direkt zu erzeugen. Als Forschungsgebiet verbindet neurales Rendering generatives maschinelles Lernen mit physikalischem Wissen aus der Computergrafik, häufig indem differenzierbares Rendering in das Netztraining eingebunden wird. Neurales Rendering ermöglicht fotorealistische 3D-Aufnahmen realer Orte, KI-Upscaling und Frame-Generierung in Videospielen sowie Simulationen für Robotik und selbstfahrende Autos.

So funktioniert neurales Rendering#

Der einflussreichste Zweig lernt eine 3D-Szene aus gewöhnlichen Fotos. Eine Szenendarstellung – etwa ein neuronales Netz, ein Raster gelernter Merkmale oder eine Menge von 3D-Primitiven – wird mit einem differenzierbaren Renderer aus der Kameraposition eines Trainingsfotos in ein Bild umgewandelt. Da sich jeder Schritt des Renderers differenzieren lässt, kann die Differenz zwischen dem gerenderten Bild und dem echten Foto über Backpropagation auf jeden Parameter der Szene zurückgeführt werden. Durch die Wiederholung über viele Ansichten lässt sich die Szene so genau rekonstruieren, dass auch Blickwinkel gerendert werden können, die keine Kamera aufgenommen hat:

Die Kameraposen der Fotos stammen meist aus Structure-from-Motion-Software wie COLMAP. Diese gleicht Merkmale ab, die auf überlappenden Fotos zu sehen sind, und ermittelt so, von wo jedes Foto aufgenommen wurde.

Neuronale Szenendarstellungen#

Neurale Strahlungsfelder (NeRF), die 2020 vorgestellt wurden, speichern eine Szene in den Gewichten eines mehrschichtigen Perzeptrons. Dieses bildet eine 3D-Position und eine Blickrichtung auf eine Dichte und eine Farbe ab. Zum Rendern eines Pixels tastet NeRF Punkte entlang des Kamerastrahls ab, der durch das Pixel verläuft, und mischt ihre Farben durch Volumen-Rendering: Jeder Abtastpunkt trägt entsprechend seiner Opazität und der Lichtmenge bei, die die davorliegenden Punkte passiert. Dieser PyTorch-Code trainiert ein winziges Feld darauf, ein beobachtetes Pixel entlang eines Strahls nachzubilden:

import torch
from torch import nn

# A tiny neural field that maps a 3D point to a density and an RGB color
torch.manual_seed(0)
field = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 4))
optimizer = torch.optim.Adam(field.parameters(), lr=0.01)

# 64 points along one camera ray, and the color a training photo shows for that pixel
depths = torch.linspace(2.0, 6.0, 64)
points = torch.stack([torch.zeros(64), torch.zeros(64), depths], dim=1)
observed = torch.tensor([0.9, 0.4, 0.1])

for step in range(200):
    density, color = field(points).split([1, 3], dim=1)
    # Volume rendering: each sample's opacity times the light that reaches it through the samples in front
    alpha = 1 - torch.exp(-nn.functional.softplus(density.squeeze(1)) * (depths[1] - depths[0]))
    transmittance = torch.cumprod(torch.cat([torch.ones(1), 1 - alpha[:-1]]), dim=0)
    pixel = (transmittance * alpha) @ torch.sigmoid(color)
    loss = ((pixel - observed) ** 2).sum()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if step in (0, 199):
        print(f"step {step}: rendered {pixel.detach().numpy().round(2)}, loss {loss.item():.4f}")

Der Code gibt step 0: rendered [0.71 0.37 0.56], loss 0.2496 und step 199: rendered [0.9 0.4 0.1], loss 0.0000 aus. Das untrainierte Netz rendert eine beliebige Farbe. Über die Rendergleichung zurückfließende Gradienten passen seine Gewichte so lange an, bis das gerenderte Pixel mit dem Foto übereinstimmt. Ein echtes NeRF macht dasselbe für Millionen von Strahlen aus Dutzenden bis Hunderten von Fotos.

Das ursprüngliche NeRF benötigte auf einer NVIDIA V100 GPU ein bis zwei Tage Training pro Szene. Jedes gerenderte Bild erforderte 150 bis 200 Millionen Netzabfragen, also etwa 30 Sekunden pro Frame. NVIDIA ersetzte bei Instant NGP den Großteil des Netzes durch eine mehrskalige Hash-Tabelle mit gelernten Merkmalen. Dadurch sank die Trainingsdauer auf Sekunden oder Minuten und das Rendering bei 1920×1080 auf einige zehn Millisekunden. Gaussian Splatting ging 2023 noch weiter: Szenen werden mit Millionen expliziter 3D-Gauß-Verteilungen dargestellt, die in Echtzeit gerastert werden, ohne dass beim Rendering ein Netz ausgewertet wird. Das Verfahren wird meist dem neuralen Rendering zugerechnet, weil es auf dieselbe Weise optimiert wird.

Neurales Rendering im Bildraum#

Ein zweiter Zweig behält einen herkömmlichen Renderer bei und nutzt Netze, um dessen Ausgabe fertigzustellen oder zu erweitern. NVIDIAs DLSS rendert Spiele mit reduzierter Auflösung, skaliert sie mithilfe von Transformer-Modellen hoch und erzeugt auf GeForce-RTX-50-Series-GPUs bis zu fünf Frames für jeden vom Spiel gerenderten Frame. Für pfadverfolgte Renderings nutzen gelernte Entrauschungsmodelle wenige Lichtabtastungen pro Pixel, um saubere Bilder zu erzeugen. Andere Modelle synthetisieren Bilder aus Szenenlayouts: NVIDIAs GauGAN verwandelte eine semantische Karte mit Himmel, Wasser und Bäumen in eine fotorealistische Landschaft. Neurale Avatar-Systeme rendern das Gesicht einer Person aus neuen Blickwinkeln oder unter veränderter Beleuchtung.

Neurales Rendering und verwandte Begriffe#

• Differenzierbares Rendering: Ein Renderer, dessen Ausgabe sich nach seinen Eingaben differenzieren lässt. Das ermöglicht es neuralem Rendering, aus Bildern zu lernen. Differenzierbares Rendering wird aber auch ohne neuronale Netze eingesetzt, zum Beispiel um ein Netz an Fotos anzupassen.
• Inverses Rendering: Ermittelt Geometrie, Materialien und Beleuchtung aus Bildern, häufig mithilfe differenzierbaren Renderings, sodass sich die Ergebnisse bearbeiten und erneut rendern lassen.
• Synthese neuer Ansichten: Die Aufgabe, Bilder aus nicht beobachteten Blickwinkeln zu erzeugen, die NeRF und Gaussian Splatting angehen. Neurales Rendering umfasst ein breiteres Spektrum an Verfahren.
• Generative KI: Text-zu-Bild- und Video-Generierungsmodelle erzeugen Inhalte aus Prompts, meist ohne eine explizite Szene, die sich von einer gewählten Kameraposition aus betrachten lässt.

Anwendungen in der Praxis#

• Film und virtuelle Produktion: Aufgenommene Orte werden als Strahlungsfelder oder Splats rekonstruiert und für visuelle Effekte und Vorvisualisierungen entlang neuer Kamerapfade gerendert.
• Digitale Zwillinge und E-Commerce: Mit dem Smartphone aufgenommene Räume, Gebäude und Produkte werden in 3D-Ansichten umgewandelt, die Kundinnen und Kunden sowie Planende in einem Browser oder AR-Headset erkunden können.
• Robotik und autonome Fahrzeuge: Aufgezeichnete Fahrten werden aus verschobenen Blickwinkeln rekonstruiert und erneut gerendert. So entstehen synthetische Daten zum Testen von Wahrnehmungssystemen. Personen und Autos, die sich während der Aufnahme bewegen, hinterlassen halbtransparente Artefakte. Deshalb maskieren Pipelines sie in den Trainingsfotos. YOLO26-Modelle zur Instanzsegmentierung erzeugen diese Masken automatisch für jeden Frame. Waymos Block-NeRF rekonstruierte ein ganzes Viertel von San Francisco aus 2,8 Millionen Bildern, indem ein Raster separat trainierter NeRFs zusammengefügt wurde.