3D Reconstruction

La reconstrucción 3D consiste en crear una representación digital tridimensional de un objeto o entorno a partir de mediciones visuales o de profundidad. En visión artificial, convierte observaciones como fotografías, fotogramas de vídeo, imágenes estereoscópicas o escaneos LiDAR en una geometría que describe dónde se encuentran las superficies en el espacio 3D. El resultado puede ser un conjunto disperso de puntos de referencia, una nube de puntos densa, una malla poligonal o un modelo con texturas que se puede medir, representar y analizar.

Cómo funciona la reconstrucción 3D#

Un flujo de reconstrucción típico combina geometría, procesamiento de imágenes y aprendizaje automático:

1. Captura: Las cámaras o los sensores de profundidad observan el objeto desde uno o varios puntos de vista. Las imágenes deben solaparse para que las mismas superficies aparezcan en varios fotogramas.
2. Calibración: El sistema estima los parámetros intrínsecos de la cámara, como la distancia focal y el centro óptico, y corrige la distorsión del objetivo. El tutorial oficial de calibración de cámaras de OpenCV explica estos parámetros.
3. Correspondencia: Se emparejan píxeles distintivos o características aprendidas entre imágenes. Una correspondencia indica que dos píxeles representan el mismo punto físico.
4. Estimación de la pose de la cámara: Se recuperan la posición y la orientación relativas de cada cámara.
5. Recuperación de profundidad: Con la geometría de la cámara conocida, las observaciones emparejadas pueden triangularse para obtener coordenadas 3D. Las herramientas basadas en imágenes suelen utilizar el flujo de trabajo de estructura a partir del movimiento y estéreo multivista, mientras que los sistemas RGB-D obtienen la profundidad directamente o la estiman.
6. Registro y fusión: Las nubes de puntos parciales se transforman a un sistema de coordenadas común. El registro de nubes de puntos de Open3D muestra cómo alinear escaneos solapados.
7. Creación de superficies: Los puntos pueden conectarse o ajustarse para formar una malla triangular mediante un proceso de reconstrucción de superficies, seguido de la aplicación de texturas y el posprocesamiento. (docs.opencv.org)

Representaciones y conceptos relacionados#

Una nube de puntos almacena puntos 3D individuales, a menudo con valores de color o confianza. Una malla conecta vértices mediante aristas y caras triangulares para crear superficies continuas. Una rejilla de vóxeles divide el espacio en pequeñas celdas 3D, mientras que una representación implícita codifica la geometría dentro de una función aprendida.

La reconstrucción 3D se solapa con varios conceptos relacionados, pero tiene un objetivo distinto:

• La estimación de profundidad predice la distancia a la cámara para los píxeles de una imagen. Un mapa de profundidad suele servir como entrada para la reconstrucción, pero un único mapa no proporciona automáticamente un modelo completo de las superficies ocultas.
• La visión estereoscópica infiere la profundidad a partir de dos cámaras con una separación conocida. La reconstrucción puede utilizar la profundidad estereoscópica, pero también puede emplear muchas cámaras, vídeo o sensores activos.
• El SLAM visual estima el movimiento de la cámara mientras construye un mapa, normalmente para la navegación en tiempo real. La reconstrucción suele priorizar la calidad y la integridad de la geometría resultante.
• Los campos de radiancia neuronal y el splatting gaussiano representan escenas para generar imágenes fotorrealistas y nuevos puntos de vista. Su resultado no tiene por qué ser una malla explícita lista para realizar mediciones.
• La detección de objetos 3D localiza y clasifica objetos dentro del espacio 3D, en lugar de recrear todas las superficies visibles.

Aplicaciones en el mundo real#

• Inspección robótica y fabricación: Un robot puede reconstruir un componente a partir de imágenes RGB-D, comparar su geometría con el diseño esperado e identificar abolladuras, material faltante o un montaje incorrecto. El modelo resultante también puede actualizar un gemelo digital de fabricación para facilitar las mediciones, la simulación, la planificación del mantenimiento y el control de calidad.

• Realidad aumentada y cartografía de interiores: Un dispositivo móvil puede reconstruir paredes, suelos, muebles y otras superficies para que el contenido virtual interactúe correctamente con la estancia física. Por ejemplo, la reconstrucción de escenas de ARKit crea mallas poligonales que permiten una oclusión, unas colisiones y una colocación de objetos realistas. Después, los modelos se pueden distribuir en formatos como el formato estandarizado de recursos 3D glTF. (nist.gov)

Estimación de profundidad con Ultralytics YOLO#

La estimación de profundidad de Ultralytics YOLO26 puede generar un mapa denso de profundidad métrica a partir de una única imagen RGB. Es un componente útil para la cartografía RGB-D, la geometría de obstáculos y la generación de nubes de puntos cuando no se dispone de un sensor de profundidad específico.

from ultralytics import YOLO

# Carga un modelo de profundidad monocular preentrenado.
model = YOLO("yolo26n-depth.pt")

# Estima la profundidad de cada píxel a partir de una única imagen RGB.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Guarda la visualización de profundidad.
result.save(filename="depth_result.jpg")

Este flujo de trabajo produce una profundidad alineada con la imagen; no reconstruye por sí solo una escena 3D completa. Un flujo completo también requiere parámetros de cámara calibrados y, para varios fotogramas, poses de cámara fiables. El flujo de trabajo de imágenes RGB-D de Open3D muestra cómo generar una nube de puntos a partir de imágenes en color y profundidad alineadas, junto con los parámetros intrínsecos de la cámara. Los equipos que desarrollan componentes de visión personalizados pueden utilizar Ultralytics Platform para anotar conjuntos de datos, entrenar modelos, desplegarlos y supervisar la inferencia en producción.

Retos prácticos y recomendaciones#

La calidad de la reconstrucción depende en gran medida de las condiciones de captura. Utiliza vistas con mucho solapamiento, muévete alrededor del objeto en lugar de limitarte a girar la cámara y mantén una iluminación razonablemente uniforme. Las paredes sin textura, los objetos transparentes o reflectantes, el desenfoque por movimiento, la oclusión y los cambios de iluminación pueden dificultar la correspondencia de características o producir huecos y superficies duplicadas.

Los errores de calibración distorsionan la escala y la forma, mientras que las poses de cámara inexactas hacen que los escaneos se desvíen. Las entradas monoculares también presentan una ambigüedad inherente de escala y de superficies ocultas: una sola imagen no puede mostrar la parte trasera de un objeto sin recurrir a suposiciones aprendidas. Valida las reconstrucciones mediante dimensiones conocidas, el error de reproyección, el solapamiento de los escaneos y las tolerancias específicas de la aplicación, en lugar de juzgarlas solo por su aspecto.