Depth Estimation

La stima della profondità è il compito di visione artificiale che consiste nel prevedere, per ogni pixel di un'immagine, la distanza tra la fotocamera e la superficie rappresentata dal pixel. L'output è una mappa di profondità, una griglia di distanze grande quanto l'immagine, che aggiunge la terza dimensione assente in una foto piatta. Fornisce a robot, veicoli e dispositivi di realtà aumentata la disposizione 3D di una scena ripresa con fotocamere comuni.

Metodi per ottenere la profondità#

• Visione stereo: due fotocamere calibrate e separate da una distanza di base nota osservano ogni punto in posizioni orizzontali leggermente diverse. Questo spostamento, detto disparità, consente di ricavare la profondità come lunghezza focale × distanza di base ÷ disparità, quindi gli oggetti lontani, con disparità ridotte, vengono misurati con minore precisione; inoltre, è difficile trovare corrispondenze tra le due immagini per superfici prive di texture, come le pareti bianche.
• LiDAR e altri sensori attivi: il LiDAR misura il tempo di ritorno degli impulsi laser e fornisce punti accurati ma radi a lunga distanza; le fotocamere a tempo di volo e a luce strutturata producono mappe di profondità dense a breve distanza, perlopiù in ambienti interni. Questi sensori forniscono anche i valori di riferimento con cui vengono addestrati i modelli appresi.
• Stima monoculare della profondità: una rete neurale prevede la profondità da una singola immagine, usando indizi come la prospettiva, le dimensioni note degli oggetti familiari, i gradienti di texture e l'occlusione. Il problema è mal posto, perché un modellino d'auto in primo piano e un'auto vera lontana possono produrre la stessa immagine, quindi il modello si affida a ciò che ha appreso sulle scene tipiche.
• SLAM visivo e altri metodi multi-vista: la struttura da movimento e lo SLAM visivo ricostruiscono la profondità triangolando punti tra fotogrammi acquisiti da posizioni diverse.

Stima monoculare della profondità con il deep learning#

I modelli di profondità appresi sono di due tipi. I modelli di profondità relativa prevedono l'ordine e la forma delle superfici fino a una scala e a uno scostamento sconosciuti, sufficienti per effetti come la sfocatura dello sfondo e per stabilire quale elemento è più vicino. MiDaS ha reso efficace questo approccio in scene molto diverse, grazie all'addestramento con una funzione di perdita invariante a scala e scostamento su una combinazione di dataset, inclusi film 3D; Depth Anything V2 addestra modelli da 25 milioni a 1,3 miliardi di parametri su etichette sintetiche e grandi insiemi di immagini reali con pseudo-etichette. I modelli di profondità metrica prevedono distanze in metri, necessarie a robot e strumenti di misurazione: Depth Pro di Apple produce una mappa di profondità metrica da 2,25 megapixel in 0,3 secondi su una GPU standard, senza parametri intrinseci della fotocamera.

I modelli di profondità Ultralytics YOLO26 prevedono la profondità metrica da una singola immagine tramite una testa logaritmica che copre un intervallo di circa 0,02–150 metri, quindi lo stesso modello gestisce sia stanze profonde pochi metri sia scene di guida fino a 80 metri. Bastano poche righe per caricare un modello, eseguire una previsione e salvare il risultato:

from ultralytics import YOLO

# Load a YOLO26 monocular depth model
model = YOLO("yolo26n-depth.pt")

# Predict a depth map for one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-pixel depth in meters, at the original image's resolution
depth = result.depth.data
print(f"Nearest {depth.min():.1f} m, farthest {depth.max():.1f} m")

# Save a colorized depth map blended over the photo
result.save(filename="depth_result.jpg")

L'intervallo stampato mostra le superfici più vicine e più lontane visibili al modello nella scena stradale, mentre l'immagine salvata colora ogni pixel in base alla distanza prevista.

Misurare l'accuratezza#

I modelli di profondità vengono valutati pixel per pixel rispetto ai valori di riferimento dei sensori. L'errore relativo assoluto (AbsRel) calcola la media dell'errore come frazione della profondità reale, l'errore quadratico medio (RMSE) lo esprime in metri e δ₁ è la percentuale di pixel la cui previsione rientra in un fattore di 1,25 rispetto al valore reale. I benchmark standard sono NYU Depth V2, con scene interne acquisite con un sensore Kinect, e KITTI, con scene di guida e valori di riferimento LiDAR, di solito valutati fino a 80 metri. Prima della valutazione, le previsioni di profondità relativa vengono allineate ai valori di riferimento per scala e scostamento, quindi i risultati misurano solo la forma. Le medie su tutti i pixel nascondono anche la dispersione della profondità, per cui la profondità prevista si estende oltre i contorni degli oggetti; per questo Depth Pro ha introdotto metriche dedicate alla precisione dei contorni.

Stima della profondità e attività correlate#

• Rilevamento di oggetti 3D: prevede per ogni oggetto un riquadro 3D con posizione, dimensioni e orientamento, spesso usando la profondità come input.
• Segmentazione semantica: assegna a ogni pixel un'etichetta di classe e, combinata con una mappa di profondità, indica a un robot sia che cosa rappresenta ogni superficie sia quanto è distante.
• Ricostruzione 3D: crea una mesh completa o una nuvola di punti della scena, in genere fondendo le informazioni di profondità raccolte da molti punti di vista.

Applicazioni nel mondo reale#

• Assistenza alla guida e guida autonoma: la profondità basata su fotocamera aggiunge stime della distanza alle auto e ai pedoni rilevati, affiancando il LiDAR o sostituendolo.
• Robotica: la presa di oggetti e la navigazione richiedono la distanza da ogni superficie; la profondità ricavata da una sola fotocamera RGB evita di aggiungere sensori ai robot di piccole dimensioni.
• Realtà aumentata: le mappe di profondità consentono di nascondere correttamente gli oggetti virtuali dietro quelli reali e di posizionarli sulle superfici reali.
• Fotografia: le modalità ritratto dei telefoni sfocano lo sfondo usando la profondità ricavata da fotocamere doppie, sensori dual-pixel o un modello monoculare; l'intensità della sfocatura dipende dalla distanza stimata per ogni pixel.