Stereo Vision

La visione stereo, nota anche come visione stereoscopica, è una tecnica di computer vision utilizzata per estrarre informazioni sulla profondità 3D da immagini digitali. Confrontando due o più immagini 2D della stessa scena riprese da angolazioni leggermente diverse—mimando la visione binoculare umana—i sistemi di AI possono calcolare con precisione la distanza dagli oggetti. Questa capacità è fondamentale per la spatial intelligence, consentendo alle macchine di navigare nei propri ambienti e interagire con oggetti fisici in sicurezza.

Link to this sectionCome funziona la visione stereo#

Il processo si basa sul trovare le differenze tra le visuali della telecamera sinistra e destra. La sfida principale qui è il correspondence problem, che comporta l'identificazione degli stessi identici pixel o caratteristiche in entrambe le immagini. Una volta trovati i punti corrispondenti, il sistema calcola lo spostamento orizzontale, creando una mappa di disparità.

In una disparity map, spostamenti maggiori indicano oggetti più vicini, mentre spostamenti minori significano che l'oggetto è più lontano. Usando la triangolazione, questa mappa viene poi convertita in una densa nuvola di punti 3D. Mentre gli algoritmi matematici tradizionali hanno storicamente guidato questi calcoli, gli approcci moderni si basano sempre più su convolutional neural networks (CNNs) e deep learning per migliorare la precisione della corrispondenza delle caratteristiche in aree con illuminazione complessa o prive di texture, come descritto nelle recenti IEEE computer vision research.

Link to this sectionVisione stereo vs. stima della profondità monoculare#

È importante distinguere la visione stereo dalle tecniche di depth estimation che utilizzano una sola telecamera. La stima della profondità monoculare utilizza modelli di deep learning per prevedere strutture 3D da una singola immagine 2D basandosi su segnali visivi come la prospettiva e l'ombreggiatura. Al contrario, i sistemi stereo misurano direttamente la profondità utilizzando la relazione geometrica tra due lenti della telecamera. Sebbene i metodi monoculari siano computazionalmente più leggeri, la visione stereo fornisce solitamente misurazioni della profondità più precise e in tempo reale, essenziali per i sistemi di sicurezza critici.

Link to this sectionApplicazioni AI nel Mondo Reale#

I sistemi stereo sono vitali in vari settori che richiedono 3D object detection nel mondo reale e consapevolezza spaziale.

• Navigazione per la guida autonoma: Le tecnologie di guida autonoma sviluppate da aziende come Waymo utilizzano telecamere stereo per valutare accuratamente la distanza da pedoni, altri veicoli e ostacoli in tempo reale, fornendo questi dati di profondità precisi ai sistemi di predictive modeling per pianificare percorsi sicuri.
• Automazione della robotica industriale: I robot manifatturieri utilizzano la visione stereo per complesse attività di prelievo da contenitori (bin-picking). Calcolando l'esatta profondità e orientamento di parti sparse su un nastro trasportatore, i sistemi robotici possono allineare perfettamente le proprie pinze, migliorando l'efficienza nei smart manufacturing pipelines.
• Advanced Medical Imaging: I robot chirurgici e i sistemi diagnostici utilizzano telecamere stereoscopiche per fornire ai chirurghi una vista 3D altamente accurata dell'anatomia del paziente durante procedure mininvasive, una tendenza spesso evidenziata in recent arXiv preprints on medical AI.

Link to this sectionIntegrazione dell'AI con i dati stereo#

Spesso, gli sviluppatori utilizzano la visione stereo insieme al rilevamento degli oggetti per trovare sia il cosa che il quanto lontano. Il OpenCV framework è comunemente utilizzato per generare mappe di disparità, spesso integrate all'interno di pipeline più ampie di PyTorch o TensorFlow, mentre i modelli di AI gestiscono la percezione. Di seguito è riportato un esempio concettuale di rilevamento di oggetti utilizzando Ultralytics YOLO26 e il recupero dei relativi bounding box, che potrebbero poi essere utilizzati per estrarre valori di distanza media da una mappa di disparità OpenCV associata.

import cv2
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Read the left camera frame (typically used as the primary frame for detection)
left_frame = cv2.imread("left_camera_frame.jpg")

# Run inference to detect objects in the scene
results = model(left_frame)

# Extract bounding boxes to later combine with a stereo disparity map
for result in results:
    for box in result.boxes.xyxy:
        x1, y1, x2, y2 = map(int, box[:4])
        print(f"Detected object bounding box: [{x1}, {y1}, {x2}, {y2}]")
        # Depth values can now be extracted from the disparity map within this specific region

Link to this sectionProgressi e tendenze future#

L'addestramento e il deployment di modelli di percezione avanzati sono diventati molto semplificati. Utilizzando strumenti come Ultralytics Platform, i team possono annotare in modo sicuro coppie stereo, addestrare modelli robusti ed esportarli in formati ottimizzati come TensorRT per un'inferenza a bassa latenza su edge AI devices.

Recenti progressi da organizzazioni come il Stanford Vision and Learning Lab mostrano una tendenza crescente nell'unire la visione stereo con i Vision Transformers (ViT) e modelli fondazionali di Google DeepMind per risolvere il problema della corrispondenza più velocemente. Inoltre, man mano che i modelli di AI multimodale di leader come Anthropic e OpenAI si evolvono, l'integrazione di dati spaziali 3D robusti continuerà a spingere i confini di ciò che gli agenti di AI incorporata possono percepire e comprendere.