Novel View Synthesis (NVS)

La síntesis de nuevas vistas (NVS) consiste en generar una imagen de una escena desde una posición de cámara que nunca se ha fotografiado, a partir de una o varias imágenes de entrada. Un modelo debe inferir dónde están las superficies, qué aspecto tienen desde el nuevo ángulo y qué ocupa las regiones que ninguna cámara de entrada ha captado. La NVS permite crear vídeos desde puntos de vista libres, visitas virtuales, videollamadas 3D y simuladores que reproducen trayectos grabados desde nuevas rutas; además, es una prueba habitual para los modelos de visión artificial en 3D, ya que las fotos reservadas para la evaluación muestran directamente si una representación de la escena se mantiene desde nuevos ángulos.

Cómo funciona la síntesis de nuevas vistas#

El enfoque más sencillo reproyecta los píxeles. Si se conoce la profundidad de cada píxel, cada punto se puede mover hasta donde lo vería una nueva cámara; esta técnica se denomina representación basada en imágenes de profundidad. Los puntos más cercanos a la cámara se desplazan más que los lejanos, y las superficies ocultas en la entrada pero visibles desde la nueva posición dejan huecos, llamados disoclusiones, que hay que rellenar. Este ejemplo sintetiza la vista derecha de un par estéreo de Middlebury a partir de la imagen izquierda y su disparidad, una forma de profundidad inversa, y después compara el resultado con la fotografía real de la derecha que no se usó en la deformación:

import numpy as np
from skimage import data
from skimage.metrics import peak_signal_noise_ratio as psnr

# Left view, the real right view (held out), and per-pixel disparity (inverse depth) for the left view
left, right, disp = data.stereo_motorcycle()
ys, xs = np.nonzero(np.isfinite(disp))
xt = np.round(xs - disp[ys, xs]).astype(int)  # column where the right camera, 0.19 m away, sees each pixel

# Paint far to near so the nearest surface wins where several pixels land on one spot
order = np.argsort(disp[ys, xs])
ys, xs, xt = ys[order], xs[order], xt[order]
keep = xt >= 0  # drop pixels that leave the frame
novel = np.zeros_like(left)
novel[ys[keep], xt[keep]] = left[ys[keep], xs[keep]]

# Holes are spots no left pixel reached, such as surfaces the left camera never saw
filled = novel.any(axis=2)
print(f"Holes: {1 - filled.mean():.1%} of the novel view")
print(f"PSNR, synthesized view: {psnr(right[filled], novel[filled]):.1f} dB")
print(f"PSNR, left view copied: {psnr(right[filled], left[filled]):.1f} dB")

La vista sintetizada alcanza una relación señal-ruido máxima de 26.9 dB, medida en la fotografía real, frente a 12.9 dB si se reutiliza sin más la imagen izquierda, aunque el 17,0 % de la nueva vista queda en forma de huecos. En una sola fotografía, la disparidad puede obtenerse mediante la estimación monocular de profundidad: los modelos de profundidad de Ultralytics YOLO26 predicen la profundidad de cada píxel en metros, que se convierte en disparidad para cualquier desplazamiento de cámara elegido. El método de fotografía 3D de Meng-Li Shih y sus colaboradores, presentado en CVPR 2020, sigue este enfoque y rellena los huecos mediante relleno de imágenes aprendido.

Las capturas densas permiten optimizar cada escena por separado. A partir de decenas o cientos de fotografías con las poses de cámara, normalmente obtenidas mediante estructura a partir del movimiento, los campos de radiancia neuronales, presentados por Ben Mildenhall y sus colaboradores en 2020, ajustan una red que devuelve el color y la densidad en cualquier punto 3D y renderiza nuevas vistas mediante renderizado volumétrico a lo largo de cada rayo de cámara. El splatting gaussiano, presentado por Bernhard Kerbl y sus colaboradores en 2023, sustituye la red por millones de gaussianas 3D que se rasterizan en tiempo real, a 30 fotogramas por segundo o más con una resolución de 1080p. Ambos métodos se entrenan mediante renderizado diferenciable, comparando sus renderizados con las fotografías de entrada.

Con una o pocas imágenes de entrada, los modelos generativos proporcionan lo que las cámaras nunca captaron. Los modelos de difusión condicionados por una imagen de entrada y una pose relativa de cámara, como Zero-1-to-3 de la Universidad de Columbia en 2023, generan vistas plausibles de la parte oculta de un objeto; los métodos de difusión multivista generan varias vistas coherentes y luego ajustan a ellas una representación 3D.

La calidad se mide en fotografías reservadas para la evaluación con PSNR, el índice de similitud estructural (SSIM) y LPIPS, una medida perceptual aprendida, usando pruebas de referencia como las escenas sintéticas de Blender del artículo de NeRF y las escenas reales sin límites de Mip-NeRF 360.

Conceptos relacionados#

El renderizado neuronal es la familia más amplia de técnicas gráficas basadas en redes neuronales, que abarca la NVS, además de la reluminación, los avatares y la edición de imágenes. La reconstrucción 3D busca obtener geometría medible, como mallas, mientras que la NVS se evalúa únicamente a partir de las imágenes renderizadas, por lo que un campo de radiancia puede renderizarse de forma convincente aunque su geometría sea imprecisa. La visión estéreo aplica la deformación en sentido opuesto y mide la disparidad entre dos vistas reales. La interpolación de fotogramas crea nuevos instantes temporales desde un punto de vista fijo, y la generación de vídeo controlada por cámara combina ambas técnicas al mover una cámara virtual por una escena generada. Los métodos para escenas dinámicas amplían la NVS al tiempo, por ejemplo con el splatting gaussiano 4D.

Aplicaciones en el mundo real#

• Videollamadas 3D: Google Beam, antes Project Starline, capta a cada participante con varias cámaras y lo renderiza desde la posición de los ojos del espectador en una pantalla de campo de luz.
• Realidad virtual y realidad mixta: Las habitaciones, los productos y los lugares emblemáticos capturados se convierten en escenas explorables que unos auriculares vuelven a renderizar para cada posición de la cabeza.
• Simulación de conducción: Las reconstrucciones neuronales de trayectos grabados renderizan vistas de cámara desde rutas que el coche nunca recorrió y producen datos de sensores sintéticos para probar la percepción. Investigadores de Waymo y Google crearon Block-NeRF a partir de 2,8 millones de imágenes para renderizar un barrio entero de San Francisco.