3D Reconstruction

La ricostruzione 3D è il processo di creazione di una rappresentazione digitale tridimensionale di un oggetto o di un ambiente a partire da misurazioni visive o di profondità. Nella visione artificiale, converte osservazioni come fotografie, fotogrammi video, immagini stereo o scansioni LiDAR in geometria che descrive la posizione delle superfici nello spazio 3D. Il risultato può essere un insieme sparso di punti di riferimento, una nuvola di punti densa, una mesh poligonale o un modello texturizzato, che può essere misurato, renderizzato e analizzato.

Come funziona la ricostruzione 3D#

Una tipica pipeline di ricostruzione combina geometria, elaborazione delle immagini e apprendimento automatico:

1. Acquisizione: le fotocamere o i sensori di profondità osservano il soggetto da uno o più punti di vista. Le immagini devono sovrapporsi in misura sufficiente affinché le stesse superfici compaiano in più fotogrammi.
2. Calibrazione: il sistema stima i parametri intrinseci della fotocamera, come la lunghezza focale e il centro ottico, e corregge la distorsione dell’obiettivo. Il tutorial ufficiale di calibrazione della fotocamera di OpenCV illustra questi parametri.
3. Corrispondenze: pixel distintivi o caratteristiche apprese vengono abbinati tra le immagini. Una corrispondenza indica che due pixel rappresentano lo stesso punto fisico.
4. Stima della posa della fotocamera: si ricavano la posizione e l’orientamento relativi di ciascuna fotocamera.
5. Recupero della profondità: con la geometria della fotocamera nota, le osservazioni abbinate possono essere triangolate in coordinate 3D. Gli strumenti basati sulle immagini usano comunemente il flusso di lavoro di struttura dal movimento e stereo multi-vista, mentre i sistemi RGB-D acquisiscono direttamente la profondità o la stimano.
6. Registrazione e fusione: le nuvole di punti parziali vengono trasformate in un sistema di coordinate condiviso. La registrazione di nuvole di punti in Open3D mostra come allineare scansioni sovrapposte.
7. Creazione della superficie: i punti possono essere collegati o adattati a una mesh triangolare mediante un processo di ricostruzione della superficie, seguito dalla mappatura delle texture e dalla pulizia. (docs.opencv.org)

Rappresentazioni e concetti correlati#

Una nuvola di punti memorizza singoli punti 3D, spesso con valori di colore o confidenza. Una mesh collega i vertici con spigoli e facce triangolari, creando superfici continue. Una griglia di voxel suddivide lo spazio in piccole celle 3D, mentre una rappresentazione implicita codifica la geometria all’interno di una funzione appresa.

La ricostruzione 3D si sovrappone a diversi concetti correlati, ma ha un obiettivo diverso:

• La stima della profondità prevede la distanza dalla fotocamera per i pixel dell’immagine. Una mappa di profondità è spesso un input per la ricostruzione, ma una singola mappa non fornisce automaticamente un modello completo delle superfici nascoste.
• La visione stereo deduce la profondità da due fotocamere poste a una distanza nota. La ricostruzione può usare la profondità stereo, ma anche più fotocamere, video o sensori attivi.
• La SLAM visiva stima il movimento della fotocamera mentre costruisce una mappa, di solito per la navigazione in tempo reale. La ricostruzione dà generalmente priorità alla qualità e alla completezza della geometria ottenuta.
• I campi di radianza neurale e il Gaussian splatting rappresentano le scene per ottenere rendering fotorealistici e punti di vista inediti. Il loro output non è necessariamente una mesh esplicita pronta per le misurazioni.
• Il rilevamento di oggetti 3D individua e classifica gli oggetti nello spazio 3D, anziché ricreare tutte le superfici visibili.

Applicazioni nel mondo reale#

• Ispezione robotica e produzione: un robot può ricostruire un componente a partire da immagini RGB-D, confrontarne la geometria con il progetto previsto e individuare ammaccature, materiale mancante o assemblaggi errati. Il modello risultante può anche aggiornare un gemello digitale di produzione, supportando misurazioni, simulazioni, pianificazione della manutenzione e controllo qualità.

• Realtà aumentata e mappatura degli interni: un dispositivo mobile può ricostruire pareti, pavimenti, mobili e altre superfici, in modo che i contenuti virtuali interagiscano correttamente con l’ambiente fisico. Per esempio, la ricostruzione delle scene di ARKit crea mesh poligonali che consentono occlusioni, collisioni e posizionamento degli oggetti realistici. I modelli possono quindi essere distribuiti in formati come il formato standardizzato di risorse 3D glTF. (nist.gov)

Stima della profondità con Ultralytics YOLO#

La stima della profondità di Ultralytics YOLO26 può fornire una mappa di profondità metrica densa a partire da una singola immagine RGB. È un componente utile per la mappatura RGB-D, la geometria degli ostacoli e la generazione di nuvole di punti quando non è disponibile un sensore di profondità dedicato.

from ultralytics import YOLO

# Carica un modello preaddestrato per la stima monoculare della profondità.
model = YOLO("yolo26n-depth.pt")

# Stima la profondità di ogni pixel a partire da una singola immagine RGB.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Salva la visualizzazione della profondità.
result.save(filename="depth_result.jpg")

Questo flusso di lavoro produce una mappa di profondità allineata all’immagine; non ricostruisce autonomamente una scena 3D completa. Una pipeline completa richiede anche parametri della fotocamera calibrati e, per più fotogrammi, pose affidabili della fotocamera. Il flusso di lavoro per immagini RGB-D di Open3D mostra come generare una nuvola di punti a partire da colore, profondità e parametri intrinseci della fotocamera allineati. I team che sviluppano componenti di visione personalizzati possono usare Ultralytics Platform per annotare i dataset, addestrare i modelli, distribuirli e monitorare l’inferenza in produzione.

Sfide pratiche e indicazioni#

La qualità della ricostruzione dipende in larga misura dalle condizioni di acquisizione. Usa viste con un’ampia sovrapposizione, muoviti intorno al soggetto anziché limitarti a ruotare la fotocamera e mantieni un’illuminazione ragionevolmente costante. Pareti prive di texture, oggetti trasparenti o riflettenti, mosso, occlusioni e variazioni dell’illuminazione possono compromettere l’abbinamento delle caratteristiche o generare buchi e superfici duplicate.

Gli errori di calibrazione distorcono scala e forma, mentre pose imprecise della fotocamera fanno divergere le scansioni. Gli input monoculari presentano inoltre ambiguità intrinseche di scala e sulle superfici nascoste: senza ipotesi apprese, una singola immagine non può rivelare il retro di un oggetto. Convalida le ricostruzioni usando dimensioni note, errore di riproiezione, sovrapposizione delle scansioni e tolleranze specifiche dell’applicazione, anziché basarti solo sull’aspetto.