Che cos'è la stima della profondità monoculare? Una panoramica

Le auto a guida autonoma sono progettate per comprendere ciò che accade intorno a loro, così da poter guidare in sicurezza. Questo significa andare oltre il semplice riconoscimento di oggetti come pedoni o altri veicoli.

Devono anche sapere quanto sono lontani questi oggetti per poter reagire correttamente. Tuttavia, fornire alle macchine questa percezione della distanza non è semplice. A differenza degli esseri umani, non percepiscono naturalmente la profondità dalle immagini e devono essere istruite esplicitamente a farlo.

Una delle ragioni è che la maggior parte delle fotocamere cattura il mondo come immagini piatte e bidimensionali. Trasformare queste immagini in qualcosa che rifletta la profondità e la struttura 3D del mondo reale è complesso, soprattutto quando i sistemi devono funzionare in modo affidabile nelle condizioni quotidiane.

È interessante notare che la computer vision, una branca dell'AI che si concentra sull'interpretazione e la comprensione dei dati visivi, consente alle macchine di comprendere meglio il mondo a partire dalle immagini. Per esempio, la stima della profondità monoculare è una tecnica di computer vision che stima la distanza degli oggetti usando l'immagine acquisita da una sola fotocamera.

Imparando a riconoscere indizi visivi come le dimensioni degli oggetti, la prospettiva, la texture e le ombreggiature, questi modelli possono prevedere la profondità senza affidarsi a sensori aggiuntivi come LiDAR (rilevamento e misurazione mediante luce) o fotocamere stereo. In questo articolo vedremo cos'è la stima della profondità monoculare, come funziona e alcune delle sue applicazioni nel mondo reale. Iniziamo!

Una breve introduzione alla stima della profondità monoculare#

La stima della profondità monoculare consente a una macchina di comprendere quanto sono lontani gli oggetti usando una sola immagine. Poiché si basa su una sola fotocamera, questo approccio offre diversi vantaggi, tra cui costi inferiori e requisiti hardware più semplici.

Per esempio, può essere utilizzata in robot domestici economici che funzionano con una sola fotocamera. Anche a partire da una singola immagine, il sistema robotico può identificare quali pareti sono più vicine e quali porte sono più lontane, oltre a dedurre la profondità complessiva dello spazio.

Spesso una singola immagine non contiene informazioni alla scala corretta, quindi la stima della profondità monoculare si concentra generalmente sulla profondità relativa. In altre parole, può determinare quali oggetti sono più vicini e quali più lontani, anche se le distanze esatte non sono note.

Quando un modello viene addestrato su dati contenenti distanze di riferimento o profondità assoluta, come le misurazioni della profondità ottenute da sensori quali LiDAR, può imparare a prevedere le distanze in unità del mondo reale, come i metri. Senza questo tipo di dati di riferimento, il modello può comunque dedurre la profondità relativa, ma non può stimare in modo affidabile le distanze assolute.

L'output della stima della profondità monoculare è in genere una mappa di profondità, ovvero un'immagine in cui ogni pixel rappresenta quanto è vicina o lontana quella parte della scena. Una mappa di profondità fornisce ai sistemi di visione una comprensione di base della struttura 3D dell'ambiente.

Fig. 1. Esempio di mappa di profondità prevista creata usando la stima della profondità monoculare (Fonte)

Dai sensori alle immagini: stimare la profondità#

La stima della profondità può essere affrontata in diversi modi, a seconda dei sensori disponibili, dei vincoli hardware e dei requisiti di accuratezza. I metodi tradizionali spesso si basano su più punti di vista o su sensori specializzati per misurare direttamente la distanza.

Un approccio comune è la visione stereo, che stima la profondità confrontando due immagini sincronizzate acquisite da punti di vista leggermente diversi. Misurando la differenza tra i punti corrispondenti nelle due immagini, il sistema può dedurre quanto sono lontani gli oggetti dalla fotocamera.

Un altro approccio è costituito dai sistemi RGB-D (rosso, verde, blu e profondità), che usano sensori di profondità attivi per misurare direttamente la distanza di ogni pixel. Questi sistemi possono fornire informazioni accurate sulla profondità in ambienti controllati, ma richiedono hardware aggiuntivo.

I metodi basati su LiDAR, invece, usano impulsi laser per generare rappresentazioni tridimensionali precise di una scena. Sebbene siano molto accurati, i sensori LiDAR sono spesso costosi e aggiungono una notevole complessità hardware.

Al contrario, la stima della profondità monoculare deduce la profondità usando una sola immagine RGB. Poiché non dipende da più fotocamere o da sensori specializzati, è più facile da implementare su larga scala ed è una buona opzione quando i costi e le risorse hardware sono limitati.

Imparare la profondità da una singola immagine#

Quando stimano la profondità da una singola immagine, i modelli monoculari imparano a riconoscere gli indizi visivi che gli esseri umani usano istintivamente per giudicare la distanza. Questi indizi includono le linee prospettiche, le dimensioni degli oggetti, la densità della texture, la sovrapposizione degli oggetti e le ombreggiature, che forniscono indicazioni sulla distanza degli oggetti dalla fotocamera.

Questi indizi collaborano per creare una percezione della profondità. Gli oggetti che appaiono più piccoli o parzialmente occlusi sono spesso più lontani, mentre dettagli più nitidi e un aspetto visivo più grande suggeriscono generalmente che qualcosa è più vicino.

Per imparare questi schemi, i modelli di profondità monoculare vengono addestrati su dataset di immagini su larga scala, spesso associati a informazioni sulla profondità ottenute da altre fonti, come LiDAR o sistemi stereo. Durante l'addestramento, i modelli imparano come gli indizi visivi siano correlati alla profondità, riuscendo così a dedurre la distanza da una singola immagine al momento dell'inferenza.

Con dati di addestramento diversificati, i moderni modelli di visione possono generalizzare questa comprensione appresa a un'ampia gamma di ambienti, comprese scene interne ed esterne, e gestire punti di vista non familiari.

Uno sguardo alle varie tecniche di stima della profondità monoculare#

Ora esamineremo i principali approcci usati per stimare la profondità da una singola immagine e come questi metodi si siano evoluti nel tempo.

Approcci classici e basati sulla geometria#

I primi metodi di stima della profondità si basavano su semplici regole visive legate alla geometria della fotocamera. Indizi come la prospettiva, le dimensioni degli oggetti e il fatto che un oggetto ne ostruisse un altro venivano usati per stimare la distanza.

Per esempio, quando due oggetti simili apparivano di dimensioni diverse, si presumeva che quello più piccolo fosse più lontano. Questi approcci funzionavano abbastanza bene in ambienti controllati, dove fattori come l'illuminazione, la posizione della fotocamera e la disposizione della scena rimanevano costanti.

Tuttavia, nelle scene del mondo reale queste ipotesi spesso non sono valide. Variazioni nell'illuminazione, cambiamenti del punto di vista e una maggiore complessità della scena possono portare a stime della profondità inaffidabili, limitando l'efficacia dei metodi classici in contesti non controllati.

I primi approcci di machine learning#

I primi metodi di machine learning introdussero maggiore flessibilità nella stima della profondità, imparando gli schemi direttamente dai dati. Invece di affidarsi soltanto a regole geometriche fisse, questi modelli cercavano di imparare la relazione tra informazioni visive e distanza, trattando la previsione della profondità come un problema di regressione basato su indizi quali bordi, texture e variazioni di colore.

La selezione di queste caratteristiche era una parte fondamentale del processo. Gli ingegneri dovevano decidere quali segnali visivi estrarre e come rappresentarli, e le prestazioni del modello dipendevano fortemente da queste scelte.

Sebbene questo approccio funzionasse meglio dei metodi precedenti, presentava ancora dei limiti. Se le caratteristiche selezionate non contenevano un contesto importante, le previsioni della profondità erano meno accurate. Con l'aumento della complessità e della varietà delle scene, questi modelli spesso faticavano a produrre risultati affidabili.

Algoritmi di deep learning#

La maggior parte dei moderni sistemi di stima della profondità monoculare usa il deep learning, ovvero reti neurali con molti strati capaci di imparare schemi complessi dai dati. Questi modelli imparano a prevedere direttamente la profondità dalle immagini e producono mappe di profondità.

Molti approcci sono costruiti usando reti neurali convoluzionali (CNN), un tipo di rete neurale progettato per elaborare immagini rilevando schemi come bordi e forme. Questi modelli usano spesso una struttura encoder-decoder: l'encoder estrae le caratteristiche visive dall'immagine e il decoder converte tali caratteristiche in una mappa di profondità. Elaborare l'immagine a più scale aiuta il modello a catturare la disposizione complessiva della scena, mantenendo al contempo chiari i contorni degli oggetti.

I modelli più recenti si concentrano sulla comprensione delle relazioni tra diverse parti di un'immagine. I modelli basati su Transformer e i Vision Transformer (ViT) usano meccanismi di attenzione, che consentono al modello di identificare le regioni più rilevanti di un'immagine e di mettere in relazione aree distanti tra loro. Questo aiuta il modello a costruire una comprensione più coerente della profondità nell'intera scena.

Alcuni sistemi combinano entrambe le idee. I modelli ibridi CNN-Transformer usano le CNN per catturare i dettagli locali più fini e i Transformer per modellare il contesto globale della scena. Sebbene ciò migliori spesso l'accuratezza, in genere richiede maggiori risorse computazionali, come memoria e potenza di elaborazione aggiuntive.

Perché la comprensione della profondità è importante per i sistemi di AI per la visione#

Mentre impari a conoscere la stima della profondità monoculare, potresti chiederti perché la comprensione della profondità sia una parte così importante dei sistemi di AI basati sulla visione.

Quando un sistema può stimare quanto sono lontani gli oggetti e le superfici, comprende meglio la disposizione della scena e il modo in cui i diversi elementi sono correlati tra loro. Questo tipo di consapevolezza spaziale è essenziale per prendere decisioni affidabili, soprattutto in applicazioni del mondo reale come la guida autonoma.

Le informazioni sulla profondità aggiungono inoltre un contesto prezioso ad altre attività di computer vision. Per esempio, il rilevamento degli oggetti, supportato da modelli come Ultralytics YOLO26, può dire a un sistema cosa è presente in una scena, mentre la profondità aiuta a determinare dove si trovano questi oggetti rispetto alla fotocamera e tra loro.

Insieme, queste capacità abilitano un'ampia gamma di applicazioni di AI per la visione, come la costruzione di mappe 3D, la navigazione in ambienti complessi e la comprensione della scena nel suo insieme.

I robot e i veicoli autonomi dipendono da queste informazioni per muoversi in sicurezza, evitare gli ostacoli e reagire ai cambiamenti in tempo reale. Per esempio, l'approccio di guida basata esclusivamente sulla visione di Tesla si basa su immagini delle fotocamere combinate con la stima della profondità, anziché su LiDAR, per comprendere quanto sono lontani gli oggetti e come sono posizionati sulla strada.

Come funzionano i modelli di stima della profondità monoculare#

Sebbene le architetture dei modelli varino, la maggior parte dei modelli di stima della profondità monoculare segue un processo simile per convertire una singola immagine in una mappa di profondità. Ecco una breve panoramica dei passaggi principali:

• Input e preprocessing: Il flusso di lavoro inizia con un'immagine di input. Prima di essere passata al modello, l'immagine originale viene generalmente ridimensionata, normalizzata e convertita in un tensore, ovvero un formato che le reti neurali usano per elaborare in modo efficiente i dati delle immagini.
• Estrazione delle caratteristiche: Una rete encoder analizza l'immagine per estrarre caratteristiche visive significative. Queste caratteristiche catturano informazioni come texture, contorni degli oggetti e disposizione complessiva della scena. La maggior parte dei modelli opera a più scale, così da comprendere sia i dettagli fini sia la struttura globale.
• Inferenza sulla profondità: Usando le caratteristiche estratte, il modello combina i dettagli locali con il contesto globale per ragionare sulle relazioni spaziali nella scena. In questa fase impara quali regioni dell'immagine sono più vicine alla fotocamera e quali sono più lontane.
• Generazione della mappa di profondità: Un decoder converte quindi queste informazioni in una mappa di profondità densa. A ogni pixel dell'immagine viene assegnato un valore di profondità, spesso combinando previsioni provenienti da scale diverse per migliorare accuratezza e coerenza.

Come vengono addestrati i modelli di stima della profondità monoculare#

Il processo appena descritto presuppone che disponiamo già di un modello addestrato o pre-addestrato. Ma come funziona effettivamente l'addestramento di un modello di stima della profondità monoculare?

L'addestramento inizia preparando i dati delle immagini affinché possano essere elaborati in modo efficiente dalla rete. Le immagini di input vengono ridimensionate e normalizzate a una scala coerente, quindi passate attraverso il modello per generare una mappa di profondità prevista che stima la distanza di ogni pixel.

La mappa di profondità prevista viene quindi confrontata con i dati di profondità di riferimento usando una funzione di perdita, che misura quanto la previsione del modello si discosta dalla profondità reale di riferimento. Questo valore di perdita rappresenta l'errore attuale del modello e fornisce un segnale per migliorarlo.

Un ottimizzatore usa questo segnale per aggiornare il modello regolando i suoi pesi interni. A tale scopo, l'ottimizzatore calcola il gradiente, che descrive come cambia la perdita rispetto a ciascun parametro del modello, e applica ripetutamente questi aggiornamenti nell'arco di più epoche, ovvero passaggi completi attraverso il dataset di addestramento.

Questo processo iterativo di addestramento supervisionato è guidato da iperparametri come il learning rate, che controlla l'ampiezza di ogni passaggio di aggiornamento, e la dimensione del batch, che determina quante immagini vengono elaborate contemporaneamente. Poiché l'addestramento comporta un gran numero di operazioni matematiche, viene generalmente accelerato usando un'unità di elaborazione grafica (GPU), particolarmente adatta ai calcoli paralleli.

Una volta completato l'addestramento, il modello viene valutato usando metriche di valutazione standard su un set di validazione, costituito da immagini non utilizzate durante l'addestramento. Questa valutazione aiuta a misurare quanto bene il modello generalizzi a nuovi dati.

Il modello addestrato può quindi essere riutilizzato o sottoposto a fine-tuning per nuovi scenari. Nel complesso, questo processo di addestramento consente ai modelli di stima della profondità monoculare di produrre stime coerenti della profondità, essenziali per attività successive come la ricostruzione 3D e l'implementazione nel mondo reale.

Esplorazione dei modelli all'avanguardia e delle tendenze della ricerca#

La stima della profondità monoculare è migliorata rapidamente, man mano che i modelli sono diventati più capaci di comprendere scene intere anziché soltanto piccoli dettagli visivi. Gli approcci precedenti producevano spesso mappe di profondità irregolari, soprattutto in ambienti complessi.

I modelli più recenti, come si osserva nelle ricerche pubblicate di recente su arXiv, si concentrano maggiormente sul contesto globale, producendo previsioni della profondità dall'aspetto più stabile e realistico. Modelli noti come MiDaS e DPT hanno contribuito a promuovere questo cambiamento imparando la profondità da dataset diversificati e ad alta risoluzione, e generalizzando bene su molte scene.

I modelli più recenti, tra cui ZoeDepth e Depth Anything V2, si basano su questo lavoro migliorando la coerenza della scala e mantenendo prestazioni elevate in un'ampia gamma di contesti. Questo tipo di progresso viene spesso misurato usando dataset di benchmark comuni come KITTI e NYU, che comprendono scene sia esterne sia interne.

Un'altra tendenza evidente consiste nel bilanciare accuratezza e praticità. I modelli più piccoli sono ottimizzati per la velocità e possono funzionare in tempo reale su dispositivi edge o mobili, mentre i modelli più grandi privilegiano una risoluzione maggiore e l'accuratezza della profondità a lungo raggio.

Applicazioni della stima della profondità monoculare#

Ora vediamo alcuni esempi del mondo reale che mostrano come la stima della profondità monoculare venga usata per dedurre la struttura 3D di una scena da una singola immagine.

In tutti questi casi, è importante ricordare che le informazioni sulla profondità sono una stima dedotta dagli indizi visivi, non una misurazione precisa. Questo rende la stima della profondità monoculare utile per comprendere la disposizione relativa e le relazioni spaziali, ma non sostitutiva di sensori progettati per misurare accuratamente la distanza, come LiDAR o i sistemi stereo.

Mappatura e navigazione del terreno basate sui droni#

I droni operano spesso in ambienti in cui i segnali GPS sono inaffidabili, come foreste, cantieri, zone colpite da disastri o aree urbane densamente popolate. Per volare in sicurezza in queste condizioni, devono comprendere il terreno circostante e sapere quanto sono lontani gli ostacoli. In passato, ciò richiedeva generalmente l'aggiunta di sensori come LiDAR o fotocamere stereo, che aumentano peso, consumo energetico e costi complessivi.

La stima della profondità monoculare è un'alternativa più semplice. Usando una sola fotocamera RGB, i droni possono stimare la profondità dalle immagini e costruire una comprensione 3D di base dell'ambiente circostante. Questo consente loro di rilevare ostacoli come edifici e alberi o cambiamenti improvvisi del terreno, e di modificare la traiettoria di volo in tempo reale.

Queste stime della profondità supportano attività di navigazione fondamentali, tra cui l'evitamento degli ostacoli, il controllo dell'altitudine e l'atterraggio sicuro. Di conseguenza, i droni leggeri possono svolgere attività di mappatura, ispezione e navigazione senza affidarsi a sensori di profondità specializzati.

Fig. 2. La stima della profondità monoculare può essere usata per analizzare immagini acquisite da droni (Fonte)

Colmare i punti ciechi dei veicoli da corsa autonomi#

I veicoli autonomi si affidano generalmente molto ai sensori LiDAR, che usano impulsi laser per misurare la distanza e costruire una visuale 3D della strada. Sebbene sia molto accurato, LiDAR può avere difficoltà in presenza di dossi stradali pronunciati, pendenze ripide, occlusioni o improvvise variazioni dell'inclinazione del veicolo, restituendo talvolta dati sulla profondità radi o assenti.

La stima della profondità monoculare può contribuire a colmare queste lacune fornendo informazioni dense sulla profondità da una singola immagine RGB, anche quando i dati LiDAR sono incompleti. Considera lo scenario in cui una self-driving car si avvicina velocemente alla sommità di una collina. I fasci LiDAR possono oltrepassare la strada al di là della sommità, lasciando incerto ciò che si trova più avanti.

La stima della profondità basata sulla fotocamera, invece, può comunque dedurre la forma della strada da indizi visivi come prospettiva e texture, aiutando il veicolo a mantenere una percezione affidabile finché i dati LiDAR non si stabilizzano. Insieme, LiDAR e la stima della profondità monoculare consentono una percezione più stabile e un controllo più sicuro in condizioni di guida difficili.

Fig. 3. Visualizzazione dell'uso della stima della profondità monoculare per le corse autonome (Fonte)

Navigazione robotica ed evitamento degli ostacoli#

I robot vengono spesso utilizzati in luoghi in cui non sono disponibili mappe dettagliate e le condizioni cambiano continuamente. Per muoversi in sicurezza, devono avere una percezione affidabile dello spazio che li circonda e della posizione degli ostacoli.

La stima della profondità monoculare può fornire questa consapevolezza spaziale usando una sola fotocamera RGB, senza affidarsi a hardware pesante o costoso. Imparando indizi visivi come scala e prospettiva, i modelli di stima della profondità possono generare mappe di profondità dense dell'ambiente circostante. Questo offre ai robot una visione chiara della distanza da superfici e oggetti.

In particolare, quando le informazioni sulla profondità vengono combinate con attività di computer vision come il rilevamento degli oggetti e la segmentazione semantica, i robot possono ottenere una visione più completa dell'ambiente. Possono identificare gli oggetti, comprenderne la distanza e decidere dove sia sicuro muoversi. Questo supporta l'evitamento degli ostacoli, il rilevamento dello spazio libero e la pianificazione del percorso in tempo reale.

Fig. 4. Rilevamento degli oggetti usando la stima della profondità monoculare e il rilevamento degli oggetti (Fonte)

Vantaggi e svantaggi della stima della profondità monoculare#

Ecco alcuni dei principali vantaggi dell'uso della stima della profondità monoculare:

• Leggera ed efficiente dal punto di vista energetico: L'uso di una sola fotocamera riduce il peso del sistema e il consumo energetico, aspetto particolarmente importante per robot mobili, droni e sistemi embedded.
• Adatta alla fusione dei sensori: La profondità monoculare può integrare altri sensori, come LiDAR o radar, colmando le lacune o fornendo ridondanza.
• Funziona in molti ambienti: Lo stesso approccio basato sulla fotocamera può essere usato in ambienti interni, esterni e su piattaforme diverse senza richiedere modifiche hardware.

Sebbene la stima della profondità monoculare offra vantaggi evidenti, ecco alcune limitazioni da considerare:

• Accuratezza inferiore rispetto ai sensori attivi: Sebbene stia migliorando rapidamente, la stima della profondità monoculare in genere non può raggiungere l'accuratezza assoluta di LiDAR o dei sensori a luce strutturata in condizioni controllate.
• Sensibilità alle condizioni di illuminazione: Le prestazioni possono peggiorare in ambienti scarsamente illuminati, in presenza di ombre intense, riverberi o scene con texture poco definite.
• Difficoltà di generalizzazione: Un modello addestrato in un ambiente potrebbe non trasferirsi sempre in modo affidabile a domini non osservati senza adattamento o fine-tuning.

Quando non affidarsi alla stima della profondità monoculare#

Sebbene la stima della profondità monoculare sia un'interessante area di ricerca, è importante capire dove possa essere utilizzata concretamente e dove invece non sia adatta. Le distanze che produce sono stime basate su ciò che il modello vede in un'immagine, non misurazioni esatte effettuate nel mondo reale.

Per questo motivo, la qualità dei risultati può cambiare a seconda di fattori come l'illuminazione, la complessità della scena e la somiglianza della scena con i dati su cui il modello è stato addestrato. La stima della profondità monoculare è generalmente efficace nel determinare cosa sia più vicino e cosa più lontano, ma non è affidabile quando servono distanze esatte.

Nelle situazioni in cui la precisione è davvero importante, come i sistemi critici per la sicurezza, l'ispezione industriale o i robot che devono interagire con gli oggetti con grande precisione, la profondità deve essere misurata direttamente. Sensori come LiDAR, radar, fotocamere stereo o sistemi a luce strutturata sono progettati per questo scopo e forniscono informazioni sulla distanza molto più affidabili.

La stima della profondità monoculare può inoltre incontrare difficoltà in condizioni visivamente complesse. Illuminazione insufficiente, ombre intense, superfici riflettenti o trasparenti, nebbia, fumo o scene con pochissima texture visiva possono rendere meno affidabili le stime della profondità. La stima della profondità a lunghe distanze è un altro caso in cui i sensori dedicati generalmente funzionano meglio.

Quando si tratta di soluzioni per il mondo reale, la stima della profondità monoculare funziona meglio come strumento di supporto anziché come soluzione autonoma. Può aggiungere un utile contesto spaziale, contribuire a colmare le lacune quando gli altri sensori sono limitati e migliorare la comprensione complessiva della scena. Tuttavia, non dovrebbe essere l’unica fonte di informazioni sulla profondità quando accuratezza, sicurezza o requisiti di affidabilità rigorosi sono importanti.

Punti chiave#

La stima della profondità monoculare è una tecnica di computer vision che consente alle macchine di stimare la distanza dagli oggetti utilizzando solo l’immagine di una singola fotocamera. Apprendendo indizi visivi come prospettiva, dimensioni degli oggetti, texture e ombreggiatura, questi modelli di intelligenza artificiale possono dedurre la struttura 3D di una scena senza affidarsi a sensori come LiDAR o fotocamere stereo. Questo rende la stima della profondità monoculare un approccio conveniente e scalabile per applicazioni come la guida autonoma, la robotica e la comprensione delle scene 3D.

Per approfondire la vision AI, visita il nostro repository GitHub e unisciti alla nostra community. Dai un’occhiata alle nostre pagine sulle soluzioni per scoprire di più sull’AI nella robotica e sulla computer vision nella produzione. Scopri le nostre opzioni di licenza per iniziare oggi stesso a usare la computer vision!