Visual SLAM (Simultaneous Localization and Mapping)
Lo SLAM visivo crea una mappa di uno spazio sconosciuto e, al contempo, traccia la posa della telecamera a partire dalle immagini. Panoramica di tracking, chiusura del loop, scala e deep SLAM.
Lo SLAM visivo (localizzazione e mappatura simultanee) consiste nel costruire una mappa di un ambiente sconosciuto tracciando al contempo la posizione e l'orientamento della fotocamera, usando le immagini come sensore principale. Le due componenti dipendono l'una dall'altra: per localizzare la fotocamera serve una mappa e per costruire la mappa bisogna sapere dove si trovava la fotocamera. I sistemi di SLAM visivo usano una singola fotocamera (monoculare), una coppia stereo o una fotocamera RGB-D che misura anche la profondità; molti integrano anche un'unità di misura inerziale (IMU), nel qual caso si parla di SLAM visivo-inerziale o, senza una mappa persistente, di odometria visivo-inerziale. Telefoni e visori lo usano per ancorare i contenuti di realtà aumentata, come fa ARKit di Apple fondendo le caratteristiche della fotocamera con i dati dei sensori di movimento; robot e droni lo usano per navigare dove il GPS non è disponibile.
Come funziona lo SLAM visivo#
Un sistema tipico esegue il tracciamento, la mappatura e la chiusura dei loop come processi paralleli. PTAM, un sistema di realtà aumentata del 2007, ha separato in questo modo il tracciamento dalla mappatura; ORB-SLAM3 e la maggior parte dei successivi sistemi basati su caratteristiche seguono lo stesso schema:
- Tracciamento: Per ogni fotogramma, il front-end rileva caratteristiche come gli angoli ORB, le confronta con la mappa o il fotogramma precedente e stima la posa della fotocamera con sei gradi di libertà. Da sola, questa stima da un fotogramma all'altro è odometria visiva. I metodi diretti come DSO ignorano le caratteristiche e allineano invece le intensità dei pixel.
- Mappatura locale: I fotogrammi chiave selezionati aggiungono nuovi punti 3D tramite triangolazione delle caratteristiche corrispondenti, mentre la regolazione a fascio rifinisce congiuntamente le pose delle fotocamere vicine e i punti per minimizzare l'errore di riproiezione.
- Chiusura dei loop: Piccoli errori si accumulano e generano deriva. Quando il sistema riconosce un luogo già visto, di solito confrontando descrittori compatti dell'aspetto dei fotogrammi chiave, aggiunge un vincolo tra le due visite e ottimizza l'intera traiettoria per riallineare la mappa.
Il movimento da due viste e il problema della scala#
Il fulcro della fase di tracciamento è la geometria a due viste basata sulla geometria epipolare: a partire dalle caratteristiche corrispondenti tra due fotogrammi, la matrice essenziale codifica la rotazione della fotocamera e la direzione della sua traslazione. Questo esempio OpenCV proietta punti di riferimento 3D sintetici in due fotogrammi con rumore e ricostruisce il movimento tra loro:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")Ricostruisce una rotazione di 5,72 gradi rispetto ai 5,00 effettivi e una direzione di traslazione pari a [-1.0, -0.09, 0.02] rispetto a [-1, 0, 0], ma la traslazione ha sempre lunghezza 1. Una singola fotocamera non può distinguere uno spostamento di 0,3 m davanti a oggetti vicini da uno di 3 m davanti a oggetti dieci volte più lontani; perciò lo SLAM monoculare fissa arbitrariamente la scala all'avvio, che poi deriva nel tempo. Una base stereo, un sensore di profondità o un'IMU fornisce la scala metrica.
Scene dinamiche e SLAM semantico#
La maggior parte delle pipeline SLAM presuppone un mondo statico, quindi le caratteristiche rilevate su persone che camminano e auto in transito deviano la stima della posa. I sistemi di SLAM semantico usano la segmentazione per individuare gli oggetti mobili e ignorarne le caratteristiche; nel 2018 DynaSLAM ha aggiunto a ORB-SLAM2 maschere Mask R-CNN per questo scopo. Un modello di segmentazione Ultralytics YOLO26 svolge lo stesso compito a frequenze di fotogrammi in tempo reale, producendo una maschera che limita l'estrazione delle caratteristiche alla scena statica:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))Il conteggio stampato indica la percentuale di caratteristiche che altrimenti proverrebbero da oggetti in movimento, mentre static_features.jpg mostra le caratteristiche rimaste per il tracciamento. Le maschere etichettate consentono anche alla mappatura semantica di associare le classi degli oggetti alla mappa stessa.
SLAM visivo e tecniche correlate#
- SLAM LiDAR: Misura direttamente le distanze tramite impulsi laser, perciò dispone di una scala metrica e funziona al buio, ma comporta costi e consumi più elevati per il sensore. Lo SLAM visivo usa fotocamere economiche e acquisisce l'aspetto della scena, facilitando il riconoscimento dei luoghi già visitati, ma ha difficoltà in condizioni di scarsa illuminazione, con sfocatura da movimento e in scene prive di texture, come le pareti lisce.
- Odometria visiva: Il solo front-end di tracciamento, che stima il movimento ma non mantiene una mappa globale e non può correggere la deriva tramite la chiusura dei loop.
- Ricostruzione della struttura dal movimento (SfM): Ricostruisce offline una scena a partire da una raccolta non ordinata di foto, mentre lo SLAM elabora i fotogrammi nell'ordine in cui arrivano.
- Tracciamento degli oggetti: Segue oggetti specifici tra i fotogrammi di un video. Lo SLAM traccia la fotocamera stessa rispetto al mondo statico.
Approcci classici e appresi#
I sistemi basati su caratteristiche come ORB-SLAM3, che supporta configurazioni monoculari, stereo, RGB-D e visivo-inerziali, sono ancora molto usati perché sono veloci e accurati nelle scene ricche di texture. I sistemi appresi sostituiscono le componenti progettate a mano con reti neurali: DROID-SLAM (2021) itera aggiornamenti densi del flusso ottico attraverso un livello differenziabile di regolazione a fascio. Altri sistemi recenti memorizzano la mappa come splat gaussiani o campi di radianza neurale, producendo mappe fotorealistiche che possono essere renderizzate da nuovi punti di vista. MASt3R-SLAM, tra i punti salienti di CVPR 2025, si basa su MASt3R, un modello appreso per la ricostruzione 3D da due viste, e permette di eseguire SLAM monoculare denso a 15 FPS senza presupporre un modello parametrico fisso della fotocamera.










