3D Reconstruction

La reconstrucción 3D es el proceso de crear una representación digital tridimensional de un objeto o entorno a partir de mediciones visuales o de profundidad. En visión por computador, convierte observaciones como fotografías, fotogramas de vídeo, imágenes estéreo o escaneos LiDAR en geometría que describe dónde existen las superficies en el espacio 3D. El resultado puede ser un conjunto disperso de puntos de referencia, una nube de puntos densa, una malla poligonal o un modelo texturizado que se puede medir, renderizar y analizar.

Cómo funciona la reconstrucción 3D#

Un flujo de trabajo de reconstrucción típico combina geometría, procesamiento de imágenes y aprendizaje automático:

1. Captura: Las cámaras o los sensores de profundidad observan el sujeto desde uno o más puntos de vista. Varias imágenes deben solaparse para que las mismas superficies aparezcan en varios fotogramas.
2. Calibración: El sistema estima los parámetros intrínsecos de la cámara, como la distancia focal y el centro óptico, y corrige la distorsión de la lente. El tutorial oficial de calibración de cámaras de OpenCV explica estos parámetros.
3. Correspondencia: Se emparejan píxeles distintivos o características aprendidas entre las imágenes. Una correspondencia indica que dos píxeles representan el mismo punto físico.
4. Estimación de la pose de la cámara: Se recuperan la posición relativa y la orientación de cada cámara.
5. Recuperación de profundidad: Con la geometría de cámara conocida, las observaciones emparejadas se pueden triangular en coordenadas 3D. Las herramientas basadas en imágenes suelen utilizar el flujo de trabajo de estructura desde movimiento y estéreo multivisual, mientras que los sistemas RGB-D obtienen la profundidad directamente o la estiman.
6. Registro y fusión: Las nubes de puntos parciales se transforman en un sistema de coordenadas compartido. El registro de nubes de puntos de Open3D demuestra cómo se pueden alinear los escaneos que se solapan.
7. Creación de superficies: Los puntos se pueden conectar o ajustar en una malla de triángulos utilizando un proceso de reconstrucción de superficies, seguido de mapeado de texturas y limpieza. (docs.opencv.org)

Representaciones y conceptos relacionados#

Una nube de puntos almacena puntos 3D individuales, a menudo con valores de color o confianza. Una malla conecta vértices con aristas y caras triangulares, produciendo superficies continuas. Una cuadrícula de vóxeles divide el espacio en pequeñas celdas 3D, mientras que una representación implícita codifica la geometría dentro de una función aprendida.

La reconstrucción 3D se solapa con varios conceptos relacionados, pero tiene un objetivo diferente:

• La estimación de profundidad predice la distancia desde la cámara para los píxeles de la imagen. Un mapa de profundidad suele ser una entrada para la reconstrucción, pero un solo mapa no proporciona automáticamente un modelo completo de las superficies ocultas.
• La visión estéreo infiere la profundidad a partir de dos cámaras con una separación conocida. La reconstrucción puede utilizar profundidad estéreo, pero también puede utilizar muchas cámaras, vídeo o sensores activos.
• El SLAM visual estima el movimiento de la cámara mientras construye un mapa, normalmente para la navegación en tiempo real. La reconstrucción generalmente prioriza la calidad y la exhaustividad de la geometría resultante.
• Los campos de radiancia neural y el splatting gaussiano representan escenas para la renderización fotorrealista y nuevos puntos de vista. Su salida no es necesariamente una malla explícita y lista para medir.
• La detección de objetos 3D localiza y clasifica objetos dentro del espacio 3D en lugar de recrear todas las superficies visibles.

Aplicaciones en el mundo real#

• Inspección robótica y fabricación: Un robot puede reconstruir un componente a partir de imágenes RGB-D, comparar su geometría con el diseño previsto e identificar abolladuras, material faltante o un ensamblaje incorrecto. El modelo resultante también puede actualizar un gemelo digital de fabricación, apoyando la medición, la simulación, la planificación del mantenimiento y el control de calidad.

• Realidad aumentada y cartografía de interiores: Un dispositivo móvil puede reconstruir paredes, suelos, muebles y otras superficies para que el contenido virtual interactúe correctamente con la habitación física. Por ejemplo, la reconstrucción de escenas de ARKit crea mallas poligonales que admiten una oclusión realista, colisiones y colocación de objetos. A continuación, los modelos se pueden entregar en formatos como el formato de activos 3D glTF estandarizado. (nist.gov)

Estimación de profundidad con Ultralytics YOLO#

La estimación de profundidad de Ultralytics YOLO26 puede proporcionar un mapa de profundidad métrica denso a partir de una imagen RGB. Este es un componente útil para el mapeo RGB-D, la geometría de obstáculos y la generación de nubes de puntos cuando no se dispone de un sensor de profundidad dedicado.

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

Este flujo de trabajo produce una profundidad alineada con la imagen; no reconstruye de forma independiente una escena 3D completa. Un pipeline completo también necesita parámetros de cámara calibrados y, para múltiples fotogramas, poses de cámara fiables. El flujo de trabajo de imágenes RGB-D de Open3D muestra cómo el color, la profundidad y los parámetros intrínsecos de la cámara alineados pueden generar una nube de puntos. Los equipos que desarrollan componentes de visión personalizados pueden utilizar la Ultralytics Platform para anotar conjuntos de datos, entrenar modelos, implementarlos y supervisar la inferencia en producción.

Desafíos prácticos y orientación#

La calidad de la reconstrucción depende en gran medida de las condiciones de captura. Utiliza vistas con un alto solapamiento, muévete alrededor del sujeto en lugar de solo rotar la cámara y mantén una iluminación razonablemente constante. Las paredes sin textura, los objetos transparentes o reflectantes, el desenfoque de movimiento, la oclusión y la iluminación cambiante pueden romper el emparejamiento de características o producir agujeros y superficies duplicadas.

Los errores de calibración distorsionan la escala y la forma, mientras que las poses de cámara imprecisas hacen que los escaneos se desvíen. Las entradas monoculares también tienen una ambigüedad inherente de escala y superficie oculta: una imagen no puede revelar la parte posterior de un objeto sin suposiciones aprendidas. Valida las reconstrucciones utilizando dimensiones conocidas, error de reproyección, solapamiento de escaneos y tolerancias específicas de la aplicación en lugar de juzgar solo por la apariencia.