Comprendere il rilevamento di oggetti 3D e le sue applicazioni

Nel corso degli anni, il rilevamento degli oggetti è diventato sempre più avanzato. Si è evoluto dal riconoscimento di oggetti in semplici immagini bidimensionali (2D) all'identificazione di oggetti nel complesso mondo tridimensionale (3D) che ci circonda. Le prime tecniche, come il confronto di modelli, che consisteva nell'individuare gli oggetti confrontando parti di un'immagine con immagini di riferimento archiviate, furono sviluppate negli anni '70 e costituirono la base per il rilevamento degli oggetti 2D. Negli anni '90, l'introduzione di tecnologie come LiDAR (rilevamento e misurazione della distanza tramite luce) rese più semplice per i sistemi acquisire informazioni sulla profondità e sullo spazio. Oggi, i metodi di fusione multimodale, che combinano immagini 2D con dati 3D, hanno aperto la strada a sistemi di rilevamento degli oggetti 3D altamente accurati.

Fig. 1. Un esempio di rilevamento 3D degli oggetti.

In questo articolo vedremo che cos’è il rilevamento di oggetti 3D, come funziona e in cosa differisce dal rilevamento di oggetti 2D. Parleremo anche di alcune applicazioni del rilevamento di oggetti 3D.

Panoramica sul rilevamento 2D degli oggetti#

Prima di esaminare il rilevamento di oggetti 3D, vediamo come funziona il rilevamento di oggetti 2D. Il rilevamento di oggetti 2D è una tecnica di visione artificiale che consente ai computer di riconoscere e individuare oggetti all’interno di immagini piatte e bidimensionali. Funziona analizzando la posizione orizzontale (X) e verticale (Y) di un oggetto in un’immagine. Per esempio, se fornisci a un modello di rilevamento di oggetti 2D come Ultralytics YOLOv8 un’immagine con giocatori su un campo da calcio, il modello può analizzarla e disegnare riquadri di delimitazione intorno a ogni oggetto (in questo caso, i giocatori), identificandone con precisione la posizione.

Fig. 2. Rilevamento 2D degli oggetti con YOLOv8 per individuare i giocatori su un campo da calcio.

Tuttavia, il rilevamento di oggetti 2D ha dei limiti. Poiché considera solo due dimensioni, non comprende la profondità. Questo può rendere difficile valutare quanto sia distante o grande un oggetto. Per esempio, un oggetto grande e lontano potrebbe apparire delle stesse dimensioni di un oggetto più piccolo e vicino, creando confusione. La mancanza di informazioni sulla profondità può causare imprecisioni in applicazioni come la robotica o la realtà aumentata, in cui è necessario conoscere le dimensioni e la distanza effettive degli oggetti. È qui che entra in gioco il rilevamento di oggetti 3D.

Acquisire consapevolezza spaziale con il rilevamento 3D degli oggetti#

Il rilevamento di oggetti 3D è una tecnica avanzata di visione artificiale che consente ai computer di identificare gli oggetti nello spazio tridimensionale, offrendo una comprensione molto più approfondita del mondo circostante. A differenza del rilevamento di oggetti 2D, il rilevamento di oggetti 3D considera anche i dati relativi alla profondità. Le informazioni sulla profondità forniscono ulteriori dettagli, per esempio dove si trova un oggetto, quanto è grande, quanto è distante e come è posizionato nel mondo reale tridimensionale. È interessante notare che il rilevamento 3D gestisce meglio anche le situazioni in cui un oggetto ne nasconde parzialmente un altro (occlusioni) e resta affidabile anche quando cambia la prospettiva. È uno strumento potente per i casi d’uso che richiedono una consapevolezza spaziale precisa.

Il rilevamento 3D degli oggetti è fondamentale per applicazioni come le auto a guida autonoma, la robotica e i sistemi di realtà aumentata. Si avvale di sensori come LiDAR o telecamere stereo. Questi sensori creano mappe 3D dettagliate dell'ambiente, note come nuvole di punti o mappe di profondità. Le mappe vengono quindi analizzate per rilevare gli oggetti in un ambiente 3D.

Fig. 3. Rilevamento 3D di un'auto.

Esistono molti modelli avanzati di visione artificiale progettati specificamente per gestire dati 3D, come le nuvole di punti. Per esempio, VoteNet è un modello che usa un metodo chiamato voto di Hough per prevedere dove si trova il centro di un oggetto in una nuvola di punti, facilitando il rilevamento e la classificazione accurati degli oggetti. Analogamente, VoxelNet è un modello che converte le nuvole di punti in una griglia di piccoli cubi, chiamati voxel, per semplificare l’analisi dei dati.

Differenze principali tra il rilevamento 2D e 3D degli oggetti#

Ora che abbiamo visto come funzionano il rilevamento 2D e 3D degli oggetti, esaminiamone le differenze principali. Il rilevamento 3D degli oggetti è più complesso di quello 2D perché utilizza nuvole di punti. L'analisi di dati 3D, come le nuvole di punti generate da LiDAR, richiede molta più memoria e potenza di calcolo. Un'altra differenza riguarda la complessità degli algoritmi impiegati. I modelli di rilevamento 3D degli oggetti devono essere più complessi per poter gestire la stima della profondità, l'analisi delle forme 3D e l'analisi dell'orientamento degli oggetti.

Fig. 4. Rilevamento di oggetti 2D e 3D a confronto.

I modelli di rilevamento di oggetti 3D richiedono calcoli matematici e computazionali più onerosi rispetto ai modelli di rilevamento di oggetti 2D. Elaborare dati 3D in tempo reale può essere difficile senza hardware avanzato e ottimizzazioni. Tuttavia, queste differenze rendono il rilevamento di oggetti 3D più adatto alle applicazioni che richiedono una migliore comprensione spaziale. D’altra parte, il rilevamento di oggetti 2D è spesso usato per applicazioni più semplici, come i sistemi di sicurezza che richiedono il riconoscimento di immagini o l’analisi video.

Pro e contro del rilevamento 3D degli oggetti#

Il rilevamento di oggetti 3D offre diversi vantaggi che lo distinguono dai metodi tradizionali di rilevamento di oggetti 2D. Acquisendo tutte e tre le dimensioni di un oggetto, fornisce dettagli precisi sulla sua posizione, dimensione e orientamento rispetto al mondo reale. Questa precisione è fondamentale per applicazioni come le auto a guida autonoma, in cui conoscere la posizione esatta degli ostacoli è essenziale per la sicurezza. Un altro vantaggio del rilevamento di oggetti 3D è che può aiutarti a comprendere molto meglio le relazioni tra i diversi oggetti nello spazio 3D.

Fig. 5 Risoluzione delle occlusioni con il rilevamento di oggetti 3D.

Nonostante i numerosi vantaggi, il rilevamento 3D degli oggetti presenta anche dei limiti. Ecco alcune delle principali sfide da tenere presenti:

• Costi computazionali più elevati: L'elaborazione di dati 3D richiede risorse hardware più potenti e i costi possono aumentare rapidamente.
• Requisiti dei dati più complessi: il rilevamento di oggetti 3D si basa spesso su sensori avanzati come LiDAR, che possono essere costosi e non necessariamente disponibili in tutti gli ambienti.
• Raccolta ed elaborazione dei dati: I complessi requisiti dei dati per il rilevamento 3D degli oggetti rendono la raccolta, la preparazione e l'elaborazione dei grandi dataset necessari per addestrare i modelli un'attività che richiede molto tempo e risorse.
• Maggiore complessità del modello: I modelli utilizzati per il rilevamento 3D degli oggetti sono in genere più complessi e hanno più livelli e parametri rispetto a quelli impiegati per il rilevamento 2D.

Applicazioni del rilevamento 3D degli oggetti#

Dopo aver esaminato i vantaggi e gli svantaggi del rilevamento 3D degli oggetti, analizziamo più da vicino alcuni dei suoi casi d'uso.

Veicoli autonomi#

Nelle auto a guida autonoma, il rilevamento di oggetti 3D è fondamentale per percepire ciò che circonda l’auto. Consente ai veicoli di rilevare pedoni, altre auto e ostacoli. Fornisce inoltre informazioni precise sulla loro posizione, dimensione e orientamento nel mondo reale. I dati dettagliati ottenuti dai sistemi di rilevamento di oggetti 3D contribuiscono a rendere molto più sicura l’esperienza di guida autonoma per i passeggeri a bordo.

Fig. 6. Uso del rilevamento di oggetti 3D nei veicoli autonomi. (fonte: towardsdatascience.com)

Robotica#

I sistemi robotici utilizzano il rilevamento 3D degli oggetti per diverse applicazioni. Se ne servono per spostarsi in ambienti diversi, prelevare e posizionare oggetti e interagire con ciò che li circonda. Questi casi d'uso sono particolarmente importanti in contesti dinamici come i magazzini o gli stabilimenti di produzione, dove i robot devono comprendere gli spazi tridimensionali per funzionare in modo efficace.

Fig. 7. Un robot mobile che usa il rilevamento di oggetti 3D.

Realtà aumentata e virtuale (AR/VR)#

Un altro interessante caso d’uso del rilevamento di oggetti 3D riguarda le applicazioni di realtà aumentata e virtuale. Il rilevamento di oggetti 3D viene usato per posizionare con precisione oggetti virtuali in un ambiente VR o AR realistico. Questo migliora l’esperienza complessiva degli utenti di queste tecnologie. Consente inoltre ai sistemi VR/AR di riconoscere e tracciare gli oggetti fisici, creando ambienti immersivi in cui gli elementi digitali e fisici interagiscono in modo naturale. Per esempio, i videogiocatori che usano visori AR/VR possono vivere un’esperienza molto più immersiva grazie al rilevamento di oggetti 3D. Questo rende molto più coinvolgenti le interazioni con gli oggetti virtuali negli spazi 3D.

Fig. 8. Un esempio di utilizzo del riconoscimento 3D degli oggetti in un'applicazione AR.

Considerazioni finali sul rilevamento 3D degli oggetti#

Il rilevamento 3D degli oggetti consente ai sistemi di comprendere la profondità e lo spazio in modo più efficace rispetto ai metodi di rilevamento 2D. Svolge un ruolo fondamentale in applicazioni come le auto a guida autonoma, i robot e l'AR/VR, in cui è importante conoscere le dimensioni, la distanza e la posizione degli oggetti. Sebbene il rilevamento 3D degli oggetti richieda maggiore potenza di calcolo e dati complessi, la sua capacità di fornire informazioni accurate e dettagliate lo rende uno strumento prezioso in molti settori. Con il progresso della tecnologia, è probabile che l'efficienza e l'accessibilità del rilevamento 3D degli oggetti migliorino, favorendone una diffusione ancora più ampia e l'innovazione in diversi settori.

Resta in contatto con la nostra community per seguire le ultime novità sull’AI! Visita il nostro repository GitHub per scoprire come usiamo l’AI per creare soluzioni in settori come la manifattura e la sanità.