Depth Estimation

La estimación de profundidad es la tarea de visión artificial que predice, para cada píxel de una imagen, la distancia entre la cámara y la superficie que muestra ese píxel. El resultado es un mapa de profundidad, una cuadrícula del tamaño de la imagen que contiene distancias y añade la tercera dimensión que le falta a una foto plana. Proporciona a robots, vehículos y dispositivos de realidad aumentada la disposición tridimensional de una escena a partir de cámaras convencionales.

Formas de obtener la profundidad#

• Visión estéreo: dos cámaras calibradas, separadas por una distancia conocida, captan cada punto en posiciones horizontales ligeramente distintas. Ese desplazamiento, llamado disparidad, permite calcular la profundidad como distancia focal × línea de base ÷ disparidad; por eso, los objetos lejanos, con disparidades pequeñas, se miden con menos precisión y resulta difícil emparejar superficies sin textura, como las paredes blancas, entre ambas imágenes.
• LiDAR y otros sensores activos: LiDAR mide el tiempo que tardan en regresar los pulsos láser y proporciona puntos precisos, pero dispersos, a larga distancia; las cámaras de tiempo de vuelo y de luz estructurada ofrecen mapas de profundidad densos a corta distancia, sobre todo en interiores. Estos sensores también generan los valores de referencia con los que se entrenan los modelos.
• Estimación monocular de profundidad: una red neuronal predice la profundidad a partir de una sola imagen, utilizando indicios como la perspectiva, el tamaño conocido de objetos familiares, los gradientes de textura y la oclusión. El problema está mal planteado, ya que un coche de juguete en primer plano y un coche real lejano pueden producir la misma imagen, así que el modelo se basa en lo que ha aprendido sobre escenas habituales.
• SLAM visual y otros métodos multivista: la estructura a partir del movimiento y el SLAM visual recuperan la profundidad triangulando puntos entre fotogramas tomados desde distintas posiciones.

Estimación monocular de profundidad con aprendizaje profundo#

Los modelos de profundidad aprendidos son de dos tipos. Los modelos de profundidad relativa predicen el orden y la forma de las superficies hasta una escala y un desplazamiento desconocidos, lo cual basta para efectos como el desenfoque del fondo y para determinar qué está más cerca. MiDaS hizo que este enfoque funcionara en escenas muy distintas al entrenar con una función de pérdida invariante a escala y desplazamiento sobre una mezcla de conjuntos de datos, incluidas películas en 3D, y Depth Anything V2 entrena modelos de entre 25 millones y 1300 millones de parámetros con etiquetas sintéticas y grandes conjuntos de imágenes reales con seud etiquetas. Los modelos de profundidad métrica predicen distancias en metros, algo necesario para robots y herramientas de medición: Depth Pro de Apple genera un mapa de profundidad métrica de 2,25 megapíxeles en 0,3 segundos en una GPU estándar, sin parámetros intrínsecos de la cámara.

Los modelos de profundidad de YOLO26 de Ultralytics predicen la profundidad métrica a partir de una imagen mediante una cabeza de profundidad logarítmica cuyo resultado abarca aproximadamente de 0,02 a 150 metros, por lo que el mismo modelo cubre tanto habitaciones de unos pocos metros de profundidad como escenas de conducción de hasta 80 metros. Cargar un modelo, hacer una predicción y guardar el resultado requiere solo unas pocas líneas:

from ultralytics import YOLO

# Load a YOLO26 monocular depth model
model = YOLO("yolo26n-depth.pt")

# Predict a depth map for one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-pixel depth in meters, at the original image's resolution
depth = result.depth.data
print(f"Nearest {depth.min():.1f} m, farthest {depth.max():.1f} m")

# Save a colorized depth map blended over the photo
result.save(filename="depth_result.jpg")

El intervalo que se muestra indica las superficies más cercanas y más lejanas que detecta el modelo en la escena de la calle, y la imagen guardada asigna a cada píxel un color según la distancia predicha.

Medición de la precisión#

Los modelos de profundidad se evalúan píxel a píxel frente a los valores de referencia de los sensores. El error relativo absoluto (AbsRel) calcula el error medio como fracción de la profundidad real; la raíz del error cuadrático medio (RMSE) lo expresa en metros; y δ₁ indica la proporción de píxeles cuya predicción se encuentra a un factor de 1,25 de la profundidad real. Los benchmarks estándar son NYU Depth V2, con escenas interiores capturadas por un sensor Kinect, y KITTI, con escenas de conducción y valores de referencia LiDAR, que normalmente se evalúan hasta los 80 metros. Antes de evaluarlas, las predicciones de profundidad relativa se alinean con los valores de referencia en escala y desplazamiento, por lo que sus cifras solo miden la forma. Las medias sobre todos los píxeles también ocultan el desbordamiento de profundidad, que se produce cuando la profundidad predicha se extiende a través de los límites de los objetos; por eso Depth Pro introdujo métricas específicas de precisión en los bordes.

Estimación de profundidad y tareas relacionadas#

• Detección de objetos 3D: predice una caja 3D con posición, tamaño y orientación para cada objeto, y a menudo utiliza la profundidad como entrada.
• Segmentación semántica: asigna una etiqueta de clase a cada píxel y, combinada con un mapa de profundidad, indica al robot qué es cada superficie y a qué distancia está.
• Reconstrucción 3D: crea una malla completa o una nube de puntos de una escena, normalmente fusionando la profundidad obtenida desde muchos puntos de vista.

Aplicaciones en el mundo real#

• Asistencia a la conducción y conducción autónoma: la profundidad basada en cámaras añade estimaciones de distancia a los coches y peatones detectados, junto con LiDAR o en su lugar.
• Robótica: para agarrar objetos y navegar es necesario conocer la distancia a cada superficie, y obtener la profundidad con una sola cámara RGB evita añadir sensores a robots pequeños.
• Realidad aumentada: los mapas de profundidad permiten ocultar correctamente los objetos virtuales detrás de los reales y colocarlos sobre superficies reales.
• Fotografía: los modos retrato de los teléfonos desenfocan el fondo utilizando la profundidad obtenida con cámaras duales, sensores de doble píxel o un modelo monocular; la intensidad del desenfoque depende de la distancia estimada para cada píxel.