Depth Bleeding

Il bleeding della profondità è un artefatto nelle mappe di profondità in cui i valori di profondità si propagano oltre il confine tra un oggetto in primo piano e lo sfondo, per cui i pixel lungo il bordo assumono la profondità dell'altra superficie o una combinazione delle due. Si manifesta in corrispondenza delle discontinuità di profondità, i confini di occlusione in cui una superficie termina e ne inizia un'altra molto più lontana, e interessa ogni fonte di profondità: visione stereo, sensori time-of-flight e LiDAR e la stima della profondità appresa. L'importanza dei bordi è molto maggiore di quanto suggerisca il loro numero di pixel. Quando vengono retroproiettati in una nuvola di punti 3D, i pixel affetti da bleeding diventano pixel volanti, cioè punti sospesi nello spazio vuoto tra un oggetto e la parete alle sue spalle. Nella realtà aumentata fanno sì che gli oggetti virtuali attraversino i bordi reali o vi galleggino davanti; nella sintesi di nuove viste allungano i bordi come fogli di gomma; per la robotica e i veicoli autonomi fanno sembrare gli oggetti più larghi di quanto siano, spostando la presa del robot e deformando i riquadri della rilevazione 3D degli oggetti.

Origine del bleeding della profondità#

Nel matching stereo, la corrispondenza di ogni pixel viene determinata confrontando una finestra di pixel vicini, che in prossimità di un bordo copre entrambe le superfici. I pixel in primo piano nella finestra possono dominare il costo di matching, facendo propagare la profondità del primo piano ai pixel di sfondo adiacenti: un effetto che nella letteratura sulla visione stereo è chiamato ispessimento del primo piano. I pixel visibili a una sola delle due fotocamere non hanno una corrispondenza corretta e assumono la profondità di un pixel vicino.

Le reti neurali per la stima monoculare della profondità producono bleeding in due modi. I loro encoder riducono l'immagine in mappe di caratteristiche grossolane, quindi molti decoder predicono la profondità a una frazione della risoluzione di input e poi la interpolano verso l'alto, sfumando le due superfici lungo ogni bordo. Inoltre, quando un pixel sul confine può appartenere a entrambe le superfici, una funzione di perdita basata sull'errore quadratico si minimizza predicendo la media delle due profondità, un valore che non appartiene a nessuna delle superfici. I modelli di profondità Ultralytics YOLO26 predicono la profondità logaritmica a un quarto della risoluzione di input e il predittore ridimensiona la mappa bilinearmente alla dimensione originale dell'immagine, per cui un salto tra due superfici nell'output diventa un gradiente largo alcuni pixel.

I sensori producono bleeding a livello fisico. Un pixel time-of-flight o un raggio LiDAR la cui impronta attraversa un bordo riceve luce da entrambe le superfici e restituisce una profondità intermedia, la fonte classica dei pixel volanti nelle nuvole di punti delle fotocamere di profondità. Le fotocamere RGB-D aggiungono un problema di disallineamento, perché la profondità viene misurata da una posizione leggermente diversa rispetto al colore e i bordi si spostano quando un'immagine viene riproiettata sull'altra.

Questo esempio ridimensiona una mappa di profondità a un quarto della risoluzione, relativa a una persona in piedi a 1.5 m davanti a una parete distante 4 m, come avviene in molte reti di profondità per raggiungere la risoluzione completa, e conta i pixel la cui profondità non appartiene a nessuna delle due superfici:

import torch
import torch.nn.functional as F

# A depth map predicted at 1/4 resolution: a person 1.5 m away in front of a wall 4 m away
low = torch.full((1, 1, 120, 160), 4.0)
low[..., 30:, 60:100] = 1.5

for mode in ["bilinear", "nearest"]:
    # Upsample 4x to the 480 x 640 image
    depth = F.interpolate(low, size=(480, 640), mode=mode)[0, 0]

    # Bleeding pixels hold depths that belong to neither surface
    bleeding = (depth > 1.6) & (depth < 3.9)
    print(f"{mode}: {bleeding.sum().item()} bleeding pixels, row 300 across the edge: {depth[300, 394:404].tolist()}")

Il ridimensionamento bilineare crea 3.518 pixel con bleeding, una transizione graduale di 1.81, 2.44, 3.06 e 3.69 m lungo ogni bordo della sagoma: nella nuvola di punti, ognuno di questi pixel sembrerebbe fluttuare a mezz'aria. Il ridimensionamento con il vicino più prossimo non ne crea nessuno, perché non inventa mai nuovi valori; nelle immagini reali, però, il bordo effettivo cade all'interno di un pixel grossolano, quindi l'output con il vicino più prossimo può spostare i bordi fino a due pixel e trasformare i bordi diagonali in scalini.

Ridurre e misurare il bleeding della profondità#

Il ridimensionamento consapevole dei bordi, una forma di super-risoluzione guidata della profondità, usa come guida l'immagine a colori a piena risoluzione. Il ridimensionamento bilaterale congiunto, introdotto da Johannes Kopf e dai suoi colleghi nel 2007, e il filtro guidato ponderano ogni pixel vicino in base alla somiglianza cromatica, così la profondità si arresta in corrispondenza dei bordi dell'immagine. Il problema opposto, la copia delle texture, si verifica quando i bordi del colore privi di variazioni di profondità, come la stampa su una scatola, vengono riprodotti nella mappa di profondità. Le reti riducono il bleeding con output a risoluzione maggiore, funzioni di perdita consapevoli dei bordi e raffinamento guidato dalla segmentazione delle immagini; Depth Pro di Apple è stato progettato e valutato specificamente per ottenere bordi netti. Per lo stereo, un controllo di coerenza sinistra-destra individua i pixel le cui corrispondenze divergono tra le due direzioni; indipendentemente dalla fonte, è possibile eliminare i pixel volanti scartando i punti in cui la profondità varia bruscamente tra pixel vicini o in cui la superficie è quasi parallela al raggio visivo.

Le metriche standard rilevano a malapena il bleeding, perché i pixel dei bordi rappresentano una piccola parte dell'immagine e gli errori medi, come l'errore relativo assoluto, cambiano appena. Il benchmark iBims-1, pubblicato da Tobias Koch e colleghi dell'Università tecnica di Monaco nel 2018, valuta direttamente i bordi di profondità tramite errori sui contorni di profondità: l'accuratezza misura la distanza tra i bordi predetti e quelli annotati manualmente, mentre la completezza misura quanti bordi reali non vengono individuati dalla previsione.