Depth Estimation

A estimativa de profundidade é a tarefa de visão computacional que prevê, para cada pixel de uma imagem, a distância entre a câmera e a superfície representada por esse pixel. O resultado é um mapa de profundidade, uma grade de distâncias do tamanho da imagem que acrescenta a terceira dimensão que falta em uma foto plana. Ele fornece a robôs, veículos e dispositivos de realidade aumentada a disposição 3D de uma cena capturada por câmeras comuns.

Formas de obter profundidade#

• Visão estéreo: duas câmeras calibradas e separadas por uma distância de base conhecida veem cada ponto em posições horizontais ligeiramente diferentes. Esse deslocamento, chamado disparidade, fornece a profundidade como distância focal × distância de base ÷ disparidade; assim, objetos distantes com pequenas disparidades são medidos com menos precisão, e superfícies sem textura, como paredes brancas, são difíceis de corresponder entre as duas imagens.
• LiDAR e outros sensores ativos: o LiDAR mede o tempo de retorno dos pulsos de laser e fornece pontos esparsos, mas precisos, a longas distâncias; câmeras de tempo de voo e de luz estruturada fornecem profundidade densa a curtas distâncias, principalmente em ambientes internos. Esses sensores também produzem os dados de referência usados para treinar modelos de aprendizado.
• Estimativa monocular de profundidade: uma rede neural prevê a profundidade a partir de uma única imagem, usando pistas como perspectiva, o tamanho conhecido de objetos familiares, gradientes de textura e oclusão. O problema é mal posto, pois um carrinho de brinquedo em primeiro plano e um carro real distante podem produzir a mesma imagem; por isso, o modelo depende do que aprendeu sobre cenas típicas.
• SLAM visual e outros métodos multivista: a estrutura a partir do movimento e o SLAM visual recuperam a profundidade por triangulação de pontos em quadros capturados de posições diferentes.

Estimativa monocular de profundidade com aprendizado profundo#

Os modelos de profundidade baseados em aprendizado se dividem em dois tipos. Modelos de profundidade relativa preveem a ordem e a forma das superfícies até uma escala e um deslocamento desconhecidos, o que basta para efeitos como desfocar o fundo e determinar o que está mais próximo. O MiDaS tornou essa abordagem eficaz em cenas muito diferentes ao treinar com uma função de perda invariante a escala e deslocamento em uma mistura de conjuntos de dados, incluindo filmes 3D; o Depth Anything V2 treina modelos com 25 milhões a 1,3 bilhão de parâmetros usando rótulos sintéticos e grandes conjuntos de imagens reais com pseudorrótulos. Modelos de profundidade métrica preveem distâncias em metros, necessárias para robôs e ferramentas de medição: o Depth Pro da Apple produz um mapa de profundidade métrica de 2,25 megapixels em 0,3 segundo em uma GPU padrão, sem parâmetros intrínsecos da câmera.

Os modelos de profundidade do Ultralytics YOLO26 preveem profundidade métrica a partir de uma imagem, usando uma camada de profundidade logarítmica cuja saída abrange cerca de 0,02 a 150 metros; assim, o mesmo modelo cobre salas com alguns metros de profundidade e cenas de direção que chegam a 80 metros. Carregar um modelo, fazer uma previsão e salvar o resultado exige apenas algumas linhas:

from ultralytics import YOLO

# Load a YOLO26 monocular depth model
model = YOLO("yolo26n-depth.pt")

# Predict a depth map for one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-pixel depth in meters, at the original image's resolution
depth = result.depth.data
print(f"Nearest {depth.min():.1f} m, farthest {depth.max():.1f} m")

# Save a colorized depth map blended over the photo
result.save(filename="depth_result.jpg")

O intervalo exibido mostra as superfícies mais próximas e mais distantes que o modelo detecta na cena da rua, e a imagem salva colore cada pixel de acordo com a distância prevista.

Medição da acurácia#

Os modelos de profundidade são avaliados por pixel em relação aos dados de referência dos sensores. O erro relativo absoluto (AbsRel) calcula a média do erro como fração da profundidade verdadeira, o erro quadrático médio (RMSE) o expressa em metros, e δ₁ é a proporção de pixels cuja previsão está dentro de um fator de 1,25 do valor verdadeiro. Os benchmarks padrão são o NYU Depth V2, com cenas internas capturadas por um sensor Kinect, e o KITTI, com cenas de direção e dados de referência LiDAR, normalmente avaliados até 80 metros. Antes da avaliação, as previsões de profundidade relativa são alinhadas aos dados de referência em escala e deslocamento, então seus valores medem apenas a forma. As médias de todos os pixels também ocultam o vazamento de profundidade, em que a profundidade prevista se espalha pelas bordas dos objetos; por isso, o Depth Pro introduziu métricas específicas de precisão nas bordas.

Estimativa de profundidade versus tarefas relacionadas#

• Detecção de objetos 3D: prevê uma caixa 3D com posição, tamanho e orientação para cada objeto, muitas vezes usando a profundidade como entrada.
• Segmentação semântica: atribui um rótulo de classe a cada pixel e, combinada com um mapa de profundidade, informa ao robô o que é cada superfície e a que distância está.
• Reconstrução 3D: cria uma malha completa ou uma nuvem de pontos de uma cena, geralmente combinando profundidades de vários pontos de vista.

Aplicações no mundo real#

• Assistência ao motorista e direção autônoma: a profundidade baseada em câmera acrescenta estimativas de distância a carros e pedestres detectados, junto com o LiDAR ou em seu lugar.
• Robótica: a preensão e a navegação exigem saber a distância até cada superfície, e a profundidade de uma única câmera RGB evita sensores extras em robôs pequenos.
• Realidade aumentada: os mapas de profundidade permitem ocultar objetos virtuais corretamente atrás de objetos reais e posicioná-los em superfícies reais.
• Fotografia: os modos retrato dos celulares desfocam o fundo usando a profundidade obtida com câmeras duplas, sensores de pixel duplo ou um modelo monocular, e a intensidade do desfoque é definida pela distância estimada de cada pixel.