3D Reconstruction
La reconstrucción 3D recupera la forma de objetos y escenas a partir de fotos, vídeos, cámaras de profundidad o LiDAR, y la representa como nubes de puntos, mallas o campos de radiancia.
La reconstrucción 3D es el proceso de recuperar la forma tridimensional de un objeto o una escena a partir de mediciones como fotografías, vídeos, fotogramas de cámaras de profundidad o escaneos LiDAR. El resultado describe la ubicación de las superficies en el espacio mediante una nube de puntos de muestras de la superficie, una malla poligonal, una cuadrícula de vóxeles o una función aprendida, como un campo de radiancia, a menudo con color o textura. La reconstrucción basada en imágenes, también llamada fotogrametría, es la operación inversa a la fotografía en la visión artificial: una cámara aplana un mundo 3D y lo convierte en píxeles 2D, y la reconstrucción utiliza varias vistas de las mismas superficies para deshacer esa proyección.
Cómo funciona la reconstrucción basada en imágenes#
La canalización clásica comienza detectando características distintivas, como puntos clave SIFT, en cada imagen y emparejándolas entre fotografías superpuestas. Solo conserva los emparejamientos compatibles con la geometría epipolar. La estructura a partir del movimiento recupera entonces la posición y la orientación de cada cámara, junto con un conjunto disperso de puntos 3D, y los refina conjuntamente mediante ajuste de haces, que minimiza el error de reproyección de cada punto en cada imagen. La estereoscopía multivista utiliza las cámaras conocidas para calcular un mapa de profundidad denso por imagen; estos mapas se fusionan en una nube de puntos, y la reconstrucción de superficies, como el mallado de Poisson, convierte los puntos en una malla cerrada que se puede texturizar a partir de las fotografías. COLMAP, de Johannes Schönberger y sus colegas, es la implementación de código abierto más utilizada de esta canalización. Las cámaras de profundidad y LiDAR se saltan la etapa de emparejamiento y alinean directamente los escaneos superpuestos, normalmente con el algoritmo de punto más cercano iterativo.
Cada punto 3D procede de una triangulación: dadas dos cámaras calibradas, es el punto cuyas proyecciones coinciden mejor con el píxel donde lo observó cada cámara. Este ejemplo triangula puntos de una pared vista por dos cámaras separadas 0,3 m, con medio píxel de ruido en cada observación:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")Imprime un error mediano de 0,8 cm para la pared situada a 2 m y de 18,4 cm a 10 m. Multiplicar la distancia por cinco produce un error unas 23 veces mayor, cerca del crecimiento cuadrático que predice la geometría de dos vistas. Por eso la fotogrametría captura superficies lejanas desde muchos puntos de vista muy separados.
La reconstrucción presupone que la escena es estática, por lo que las personas y los vehículos que se mueven durante la captura generan geometría fantasma y características que no coinciden. COLMAP omite la extracción de características en las zonas negras de una máscara por imagen, y las máscaras de personas y coches generadas por un modelo de segmentación de instancias Ultralytics YOLO26 mantienen esos objetos en movimiento fuera de una reconstrucción estática.
Representaciones y reconstrucción aprendida#
Las nubes de puntos son fáciles de generar, pero carecen de conectividad; las mallas proporcionan superficies continuas para mediciones, motores de videojuegos y gemelos digitales, y las cuadrículas de vóxeles dividen el espacio en celdas. KinectFusion, presentado por Richard Newcombe y sus colegas en 2011, fusionaba en tiempo real fotogramas de cámaras de profundidad en directo en un volumen de distancia con signo truncada, un método de fusión volumétrica que siguen implementando bibliotecas como Open3D. Las representaciones neuronales implícitas almacenan una superficie como una red que asigna coordenadas a la ocupación o a la distancia con signo, mientras que los campos de radiancia neuronales y el splatting gaussiano modelan la apariencia desde todas las direcciones para la síntesis de nuevas vistas, con una geometría menos fácil de medir directamente que la de una malla. Las redes de propagación directa ya prescinden por completo de la optimización: VGGT, del Visual Geometry Group de Oxford y Meta AI, predice poses de cámara, mapas de profundidad y puntos 3D para entre una y cientos de imágenes en un único pase, y ganó el premio al mejor artículo de CVPR 2025.
Las tareas relacionadas se diferencian por el resultado que ofrecen. La estimación de profundidad predice la distancia de cada píxel para una sola vista, es decir, una superficie parcial. La visión estereoscópica reconstruye a partir de dos cámaras sincronizadas. El SLAM visual sigue una cámara en movimiento y crea un mapa en tiempo real para la navegación, con menos completitud a cambio de velocidad. La detección de objetos 3D sitúa cajas alrededor de los objetos en lugar de recuperar sus superficies.
Aplicaciones en el mundo real#
- Realidad aumentada: ARKit de Apple genera una malla de una habitación en tiempo real con iPhones y iPads equipados con LiDAR, de modo que los objetos virtuales reposen sobre el suelo y queden ocultos tras los muebles.
- Inspección de fabricación: Los escaneos de piezas terminadas se comparan con sus modelos CAD para medir desviaciones, y los mismos escaneos mantienen actualizado un gemelo digital de una línea de producción.
- Robótica: Los robots reconstruyen los objetos que deben agarrar y los espacios por los que se desplazan a partir de las cámaras de profundidad integradas.
- Patrimonio cultural y cartografía: La fotogrametría digitaliza edificios, excavaciones y ciudades enteras. En el proyecto Building Rome in a Day de 2009 se reconstruyeron lugares emblemáticos de Roma a partir de 150.000 fotos de Flickr en 21 horas, en un clúster de 496 núcleos de procesador.










