Novel View Synthesis (NVS)

La synthèse de nouvelles vues (NVS) consiste à générer une image d'une scène depuis une position de caméra qui n'a jamais été photographiée, à partir d'une ou de plusieurs images d'entrée. Un modèle doit déduire où se trouvent les surfaces, leur apparence sous le nouvel angle et ce qui remplit les zones manquées par toutes les caméras d'entrée. La NVS alimente les vidéos à point de vue libre, les visites virtuelles, les appels vidéo 3D et les simulateurs qui rejouent des trajets enregistrés selon de nouvelles trajectoires. C'est aussi un test standard pour les modèles de vision par ordinateur 3D, car les photos mises de côté montrent directement si une représentation de scène tient la route sous de nouveaux angles.

Fonctionnement de la synthèse de nouvelles vues#

L'approche la plus simple consiste à reprojeter les pixels. Avec une valeur de profondeur pour chaque pixel, chaque point peut être déplacé à l'endroit où une nouvelle caméra le verrait : cette technique s'appelle le rendu fondé sur une image de profondeur. Les points proches de la caméra se déplacent davantage que les points éloignés, tandis que les surfaces masquées dans l'image d'entrée mais visibles depuis la nouvelle position laissent des trous, appelés disocclusions, qu'il faut combler. Cet exemple synthétise la vue de droite d'une paire stéréo de Middlebury à partir de l'image de gauche et de sa disparité, une forme de profondeur inverse, puis compare le résultat à la véritable photo de droite, que la transformation n'a jamais vue :

import numpy as np
from skimage import data
from skimage.metrics import peak_signal_noise_ratio as psnr

# Left view, the real right view (held out), and per-pixel disparity (inverse depth) for the left view
left, right, disp = data.stereo_motorcycle()
ys, xs = np.nonzero(np.isfinite(disp))
xt = np.round(xs - disp[ys, xs]).astype(int)  # column where the right camera, 0.19 m away, sees each pixel

# Paint far to near so the nearest surface wins where several pixels land on one spot
order = np.argsort(disp[ys, xs])
ys, xs, xt = ys[order], xs[order], xt[order]
keep = xt >= 0  # drop pixels that leave the frame
novel = np.zeros_like(left)
novel[ys[keep], xt[keep]] = left[ys[keep], xs[keep]]

# Holes are spots no left pixel reached, such as surfaces the left camera never saw
filled = novel.any(axis=2)
print(f"Holes: {1 - filled.mean():.1%} of the novel view")
print(f"PSNR, synthesized view: {psnr(right[filled], novel[filled]):.1f} dB")
print(f"PSNR, left view copied: {psnr(right[filled], left[filled]):.1f} dB")

La vue synthétisée atteint un rapport signal/bruit de crête de 26.9 dB, mesuré sur la vraie photo, contre 12.9 dB en réutilisant simplement l'image de gauche ; cependant, 17.0 % de la nouvelle vue reste trouée. Pour une seule photo, la disparité peut provenir de l'estimation monoculaire de la profondeur : les modèles de profondeur Ultralytics YOLO26 prédisent la profondeur de chaque pixel en mètres, ce qui permet de la convertir en disparité pour tout décalage de caméra choisi. La méthode de photographie 3D de Meng-Li Shih et de ses collègues, présentée à CVPR 2020, suit cette approche et comble les trous par remplissage d'image appris.

Les prises de vue denses permettent une optimisation par scène. À partir de dizaines à des centaines de photos accompagnées des poses de caméra, généralement obtenues par reconstruction de structure à partir du mouvement, les champs de radiance neuronaux, présentés par Ben Mildenhall et ses collègues en 2020, ajustent un réseau qui renvoie une couleur et une densité en tout point 3D, puis rendent de nouvelles vues par rendu volumique le long de chaque rayon de caméra. Le splatting gaussien, présenté par Bernhard Kerbl et ses collègues en 2023, remplace le réseau par des millions de gaussiennes 3D rastérisées en temps réel, à 30 images par seconde ou plus en 1080p. Les deux méthodes s'entraînent par rendu différentiable, en comparant leurs rendus aux photos d'entrée.

Avec une ou quelques images d'entrée, les modèles génératifs fournissent ce que les caméras n'ont jamais vu. Les modèles de diffusion conditionnés par une image d'entrée et une pose de caméra relative, comme Zero-1-to-3 de l'université Columbia en 2023, génèrent des vues plausibles de la face opposée d'un objet. Les méthodes de diffusion multi-vues génèrent plusieurs vues cohérentes, puis ajustent une représentation 3D à ces vues.

La qualité est mesurée sur des photos mises de côté avec le PSNR, l'indice de similarité structurelle (SSIM) et le LPIPS, une distance perceptuelle apprise, sur des tests de référence tels que les scènes synthétiques Blender de l'article sur NeRF et les scènes réelles sans limites de Mip-NeRF 360.

Concepts connexes#

Le rendu neuronal désigne la famille plus large de techniques graphiques fondées sur des réseaux neuronaux, qui comprend la NVS, ainsi que le rééclairage, les avatars et la retouche d'image. La reconstruction 3D vise une géométrie mesurable, comme les maillages, tandis que la NVS est évaluée uniquement à partir des images rendues ; un champ de radiance peut donc produire un rendu convaincant malgré une géométrie floue. La vision stéréoscopique effectue la transformation dans la direction opposée en mesurant la disparité entre deux vues réelles. L'interpolation d'images crée de nouveaux instants depuis un point de vue fixe, et la génération vidéo contrôlée par caméra combine les deux en faisant évoluer une caméra virtuelle dans une scène générée. Les scènes dynamiques étendent la NVS au temps grâce à des méthodes comme le splatting gaussien 4D.

Applications concrètes#

• Appels vidéo 3D : Google Beam, anciennement Project Starline, capture chaque participant avec plusieurs caméras et le restitue depuis la position des yeux de l'observateur sur un écran à champ lumineux.
• Réalité virtuelle et réalité mixte : Les pièces, les produits et les sites remarquables capturés deviennent des scènes explorables qu'un casque redessine pour chaque position de la tête.
• Simulation de conduite : Les reconstructions neuronales de trajets enregistrés rendent des vues de caméra selon des trajectoires que la voiture n'a jamais empruntées, produisant des données de capteurs synthétiques pour tester la perception. Des chercheurs de Waymo et de Google ont créé Block-NeRF à partir de 2.8 millions d'images pour rendre tout un quartier de San Francisco.