Depth Bleeding

O vazamento de profundidade é um artefacto de mapa de profundidade no qual uma distância estimada se espalha incorretamente através do limite entre duas superfícies. Por exemplo, os píxeis pertencentes a uma pessoa próxima podem receber a profundidade de uma parede distante, ou a profundidade da pessoa pode estender-se ao fundo. Isto é importante na estimativa de profundidade, em que cada píxel deve descrever a distância entre a câmara e a superfície visível correspondente.

O artefacto é mais percetível em descontinuidades de profundidade—locais onde um objeto oclui outro objeto a uma distância substancialmente diferente. Em vez de preservar uma transição nítida, o mapa de profundidade produz uma aresta deslocada, uma faixa de valores misturados ou uma forma em primeiro plano que parece mais larga ou mais estreita do que realmente é.

Como ocorre o vazamento de profundidade#

O vazamento de profundidade pode afetar mapas de profundidade produzidos por redes neuronais, visão estéreo, câmaras de luz estruturada, sensores de tempo de voo e sistemas baseados em LiDAR. As causas comuns incluem:

• Predição de profundidade de baixa resolução seguida de interpolação comum
• Suavização espacial que remove estruturas finas e arestas nítidas
• Funções de perda de treino dominadas por regiões grandes e uniformes em vez de limites estreitos
• Correspondência estéreo ambígua em torno de oclusões ou superfícies sem textura
• Desalinhamento entre imagens RGB e rótulos de profundidade de referência
• Medições do sensor que combinam retornos do primeiro plano e do fundo

Nos sistemas estéreo, as janelas de correspondência podem abranger píxeis em ambos os lados do limite de um objeto. O guia de pós-filtragem de disparidade do OpenCV explica que os erros se concentram normalmente perto de descontinuidades de profundidade e regiões parcialmente ocluídas.

A sobreamostragem pode introduzir um problema semelhante. Um píxel de profundidade de baixa resolução pode representar várias superfícies, enquanto a interpolação bilinear simples mistura o seu valor com os píxeis vizinhos. A filtragem orientada por arestas ou guiada pode reduzir este efeito, embora as arestas de cor nem sempre sejam verdadeiras arestas de profundidade. O fluxo de trabalho de nuvem de pontos do ARKit da Apple demonstra o aumento guiado de um mapa de profundidade da cena com resolução inferior.

Termos relacionados e principais diferenças#

O vazamento de profundidade sobrepõe-se a vários outros problemas de qualidade da profundidade, mas cada um descreve um padrão de falha diferente:

• Desfoque do limite: Uma transição nítida torna-se gradual. O vazamento de profundidade significa especificamente que um valor incorreto atravessa para outra superfície; um limite desfocado pode ou não alterar visivelmente a forma aparente de um objeto.
• Píxeis voadores: Pontos 3D isolados e instáveis aparecem em torno das silhuetas, muitas vezes porque uma medição do sensor mistura duas superfícies. O vazamento normalmente forma uma região ou faixa mais contínua.
• Confusão de profundidade: Os valores de profundidade de objetos separados sobrepõem-se ou tornam-se difíceis de distinguir, enquanto o vazamento enfatiza a propagação do valor de uma superfície para outra.
• Cópia de textura: A textura RGB é reproduzida incorretamente como detalhe geométrico quando o refinamento da profundidade orientado pela cor trata cada aresta da imagem como uma aresta de profundidade.
• Fuga de dados: Um problema não relacionado de aprendizagem automática no qual o treino utiliza incorretamente informações que não estão disponíveis durante a inferência no mundo real.

O vazamento de profundidade também pode afetar mapas de disparidade. A documentação da Apple sobre profundidade e disparidade explica como a correspondência estéreo e a paralaxe são utilizadas para inferir a distância relativa.

Impacto no mundo real#

• Manipulação robótica: Um robô de armazém pode utilizar a profundidade para localizar a aresta de uma caixa e selecionar um ponto de preensão. Se a profundidade da prateleira ao fundo se propagar para a caixa, a forma reconstruída pode parecer côncava ou demasiado estreita, levando a um posicionamento inadequado da preensão. Isto é especialmente importante para a visão computacional em robótica, em que pequenos erros geométricos podem afetar ações físicas.

• Condução autónoma: O vazamento em torno de um peão, ciclista ou veículo pode distorcer a distância ao obstáculo e a forma de uma nuvem de pontos gerada. A deteção de objetos 3D subsequente pode então estimar uma extensão ou localização imprecisa. O benchmark de visão KITTI fornece cenas de condução reais com dados de sensores relacionados com câmaras e profundidade para avaliar esses sistemas.

O vazamento de profundidade também é relevante em realidade aumentada. Limites incorretos podem fazer com que um objeto virtual pareça estar à frente de mobiliário real quando deveria estar ocluído atrás dele. A confiança do sensor é, portanto, útil: o mapa de confiança da profundidade do ARKit da Apple atribui informações de confiança às medições de profundidade, especialmente em torno de superfícies refletoras ou absorventes de luz difíceis.

Inspeção das predições de profundidade#

A tarefa de estimativa de profundidade do Ultralytics YOLO produz um mapa de profundidade denso alinhado com uma imagem de entrada. Um fluxo de trabalho de predição curto facilita a inspeção visual dos limites entre primeiro plano e fundo:

from ultralytics import YOLO

# Load a pretrained Ultralytics YOLO26 depth model
model = YOLO("yolo26n-depth.pt")

# Predict, select the first result, and save its visualization
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

result.save(filename="depth_result.jpg")

Este fluxo de trabalho do YOLO26 guarda um resultado visual que pode ser analisado para identificar halos, silhuetas inchadas, lacunas em falta e arestas suavizadas. Para testes mais abrangentes, o guia de conjuntos de dados de profundidade da Ultralytics explica o formato RGB emparelhado com profundidade por píxel, enquanto a avaliação de profundidade iBims-1 se concentra especificamente em transições nítidas e superfícies planares. O benchmark oficial iBims-1 é particularmente útil porque o erro médio de toda a imagem pode ocultar defeitos estreitos, mas operacionalmente importantes, nos limites.

Deteção e mitigação#

Uma mitigação eficaz começa com rótulos de profundidade de alta resolução cuidadosamente alinhados. As práticas úteis incluem funções de perda orientadas por arestas, funcionalidades multiescala, refinamento guiado por segmentação, filtragem por confiança e validação em objetos finos e transições fortes entre primeiro plano e fundo. Quando a confiança do sensor está disponível, os píxeis de limite com baixa confiança podem ser rejeitados ou tratados separadamente, em vez de serem suavizados cegamente. No entanto, a filtragem deve ser avaliada cuidadosamente, porque as orientações da Apple sobre dados de profundidade filtrados observam que a suavização e o preenchimento de lacunas alteram as medições originais.

As equipas devem comparar as arestas RGB com as descontinuidades de profundidade, inspecionar as nuvens de pontos reconstruídas e monitorizar cenas de produção com muitos limites, em vez de dependerem apenas de métricas médias por píxel. O fluxo de trabalho de validação da Ultralytics permite uma avaliação sistemática dos modelos, enquanto a Ultralytics Platform fornece ferramentas para gerir conjuntos de dados, treinar modelos, implementar fluxos de trabalho e monitorizar sistemas de visão computacional.