Inverse Rendering

Il rendering inverso è il processo di ricostruzione della scena fisica alla base di una o più immagini: la forma 3D degli oggetti, i materiali delle superfici, l’illuminazione e la fotocamera che ha acquisito l’immagine. Nella computer grafica, il rendering procede in avanti, trasformando una descrizione della scena in pixel. Il rendering inverso ripercorre la stessa fisica al contrario, cercando i parametri della scena che riprodurrebbero le fotografie osservate. Si colloca all’intersezione tra visione artificiale e grafica ed è chiamato anche grafica inversa. Nella sua tesi di dottorato del 1998 alla Cornell, Inverse Rendering for Computer Graphics, Stephen Marschner inquadrò la ricostruzione dell’illuminazione e della riflettanza delle superfici a partire da fotografie come problemi inversi di questo tipo.

Analisi per sintesi#

La maggior parte dei metodi di rendering inverso segue un ciclo chiamato analisi per sintesi: si parte da un’ipotesi sulla scena, la si renderizza, si confronta il risultato con la foto reale e si modifica l’ipotesi per ridurre la differenza. Il rendering differenziabile rende efficiente ogni modifica. Poiché il renderer indica come cambia ogni pixel rispetto a ogni parametro della scena, la discesa del gradiente può aggiornare migliaia di parametri alla volta, proprio come la retropropagazione addestra una rete neurale. I renderer differenziabili basati sulla fisica, come Mitsuba 3, estendono il metodo a ombre, riflessi e rimbalzi della luce tra le superfici.

Per la scena più semplice, una sfera opaca illuminata da una sola luce distante, il ciclo richiede poche righe di PyTorch. Il frammento genera una foto obiettivo usando una direzione della luce e una luminosità della superficie (albedo) che l’ottimizzatore non conosce, quindi ricostruisce entrambe dai soli pixel con l’ottimizzatore Adam:

import torch
import torch.nn.functional as F

# Unit normals of a sphere seen head-on, on a 64 x 64 pixel grid
y, x = torch.meshgrid(torch.linspace(-1, 1, 64), torch.linspace(-1, 1, 64), indexing="ij")
z = (1 - x**2 - y**2).clamp(min=0).sqrt()
normals = torch.stack([x, y, z], dim=-1)[z > 0]

# Lambertian "photo" lit from a direction the optimizer never sees, with albedo 0.8
photo = 0.8 * (normals @ F.normalize(torch.tensor([0.6, -0.4, 0.7]), dim=0)).clamp(min=0)

# Fit light direction and albedo: render, compare with the photo, follow the gradients
light = torch.tensor([0.0, 0.0, 1.0], requires_grad=True)
albedo = torch.tensor(0.3, requires_grad=True)
optimizer = torch.optim.Adam([light, albedo], lr=0.02)
for _ in range(500):
    render = albedo * (normals @ F.normalize(light, dim=0)).clamp(min=0)
    loss = (render - photo).pow(2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print(f"Light direction: {F.normalize(light.detach(), dim=0).numpy().round(3)}, albedo: {albedo.item():.3f}")

Stampa Light direction: [ 0.597 -0.398 0.697], albedo: 0.800, i valori nascosti esatti. I sistemi di produzione mantengono lo stesso ciclo, ma sostituiscono il modello di ombreggiatura di una sola riga con un modello completo di trasporto della luce; le variabili da stimare diventano mesh, mappe di texture e illuminazione ambientale.

Perché il problema è ambiguo#

Molte scene diverse producono la stessa immagine. Una macchia scura potrebbe dipendere da una vernice più scura, da un'ombra o da una superficie inclinata rispetto alla luce; allo stesso modo, un punto luminoso potrebbe essere causato da un materiale lucido o da una lampada posizionata nel modo giusto. Anche la sola luminosità è ambigua: raddoppiare la luce e dimezzare l'albedo produce pixel identici. Per questo il frammento normalizza la direzione della luce e lascia che sia l'albedo a determinare tutta la luminosità. I metodi restringono le possibilità in tre modi:

• Più osservazioni: fotografare un oggetto da molti punti di vista o sotto diverse luci note, come nella stereo fotometrica, permette di vincolare forma e materiale molto più di quanto faccia una singola foto.
• Prior appresi: Le reti addestrate su grandi raccolte di scene renderizzate prevedono normali, materiali o illuminazione probabili a partire da un’immagine, fornendo all’ottimizzatore un punto di partenza efficace.
• Geometria nota: Quando la forma deriva da un sensore di profondità o da un modello di profondità, le variabili rimanenti da stimare si riducono a materiali e illuminazione.

La stima della profondità da una singola immagine fornisce la geometria necessaria per le normali fotografie. I modelli di profondità Ultralytics YOLO26 prevedono una mappa di profondità per pixel, espressa in metri, a partire da un’unica immagine RGB; le normali di superficie calcolate dai suoi gradienti costituiscono la geometria dell’ombreggiatura data per acquisita nell’esempio della sfera.

Rendering inverso, ricostruzione e rendering neurale#

La ricostruzione 3D recupera la geometria, spesso con struttura dal movimento e stereo multi-vista, e in genere incorpora nelle tinte delle superfici l’illuminazione presente al momento dell’acquisizione. I campi di radianza neurale e il Gaussian splatting vengono adattati con lo stesso ciclo di rendering e confronto, ma modellano l’aspetto della scena da ogni direzione senza separare le superfici dalle luci, perciò le loro nuove viste mantengono l’illuminazione originale. L’obiettivo del rendering inverso è proprio questa separazione, che rende possibili la riilluminazione, la modifica dei materiali e l’inserimento realistico di oggetti virtuali. Molti metodi recenti combinano i due approcci con il deep learning, aggiungendo modelli di riflettanza e illuminazione ai campi di radianza nell’ambito più ampio del rendering neurale.

Acquisizione di asset, AR ed effetti visivi#

• Acquisizione di asset 3D: rivenditori e studi di videogiochi scansionano prodotti reali per creare asset 3D con mappe separate per colore, rugosità e normali della superficie. In questo modo, lo stesso modello viene renderizzato correttamente con qualsiasi illuminazione, su una pagina di un negozio o in un motore di gioco.
• Realtà aumentata: I framework AR, come ARCore di Google, stimano l’illuminazione di una stanza dal flusso della fotocamera, così gli oggetti virtuali ricevono ombreggiature, ombre e riflessi corrispondenti.
• Effetti visivi: I set di luci a illuminazione controllata, introdotti da Paul Debevec e dai colleghi nel 2000, fotografano il volto di un interprete da molte direzioni di illuminazione per ricostruirne la riflettanza, consentendo agli studi di riilluminare il volto digitale per adattarlo a qualsiasi ripresa.