Visual SLAM (Simultaneous Localization and Mapping)
Le SLAM visuel construit une carte d’un espace inconnu tout en suivant la pose de la caméra à partir d’images. Présentation du suivi, de la fermeture de boucle, de l’échelle et du SLAM profond.
Le SLAM visuel (localisation et cartographie simultanées) consiste à construire une carte d'un environnement inconnu tout en suivant la position et l'orientation de la caméra, à partir d'images comme capteur principal. Ses deux composantes sont interdépendantes : localiser la caméra nécessite une carte et construire la carte nécessite de savoir où se trouvait la caméra. Les systèmes de SLAM visuel utilisent une caméra unique (monoculaire), une paire stéréo ou une caméra RGB-D qui mesure aussi la profondeur ; beaucoup intègrent également une centrale inertielle (IMU), ce qu'on appelle le SLAM visuel-inertiel ou, en l'absence de carte persistante, l'odométrie visuelle-inertielle. Les téléphones et les casques s'en servent pour ancrer le contenu de réalité augmentée, comme le fait ARKit d'Apple en fusionnant les caractéristiques de la caméra avec les données des capteurs de mouvement, tandis que les robots et les drones l'utilisent pour naviguer là où le GPS n'est pas disponible.
Fonctionnement du SLAM visuel#
Un système typique exécute en parallèle le suivi, la cartographie et la fermeture de boucle. PTAM, un système de réalité augmentée de 2007, séparait ainsi le suivi de la cartographie ; ORB-SLAM3 et la plupart des systèmes ultérieurs fondés sur des caractéristiques reprennent la même conception :
- Suivi : À chaque trame, le module frontal détecte des caractéristiques, comme les coins ORB, les met en correspondance avec la carte ou la trame précédente, puis estime la pose de la caméra à six degrés de liberté. À lui seul, cet estimateur de trame en trame constitue l'odométrie visuelle. Les méthodes directes, comme DSO, ignorent les caractéristiques et alignent plutôt les intensités des pixels.
- Cartographie locale : Les images clés sélectionnées ajoutent de nouveaux points 3D en triangulant les caractéristiques mises en correspondance, puis l'ajustement de faisceaux affine conjointement les poses des caméras voisines et les points afin de minimiser l'erreur de reprojection.
- Fermeture de boucle : Les petites erreurs s'accumulent et créent une dérive. Lorsque le système reconnaît un lieu déjà vu, généralement en comparant des descripteurs d'apparence compacts des images clés, il ajoute une contrainte entre les deux passages et optimise toute la trajectoire pour réaligner la carte.
Mouvement à partir de deux vues et problème d'échelle#
L'étape de suivi repose principalement sur la géométrie à deux vues issue de la géométrie épipolaire : à partir des caractéristiques mises en correspondance entre deux trames, la matrice essentielle encode la rotation de la caméra et la direction de sa translation. Cet exemple OpenCV projette des repères 3D synthétiques dans deux trames avec du bruit, puis reconstitue le mouvement entre celles-ci :
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")Il reconstitue une rotation de 5,72 degrés contre une valeur réelle de 5,00, ainsi qu'une direction de translation [-1.0, -0.09, 0.02] contre la valeur réelle [-1, 0, 0], mais la translation a toujours une longueur de 1. Une seule caméra ne peut pas distinguer un déplacement de 0,3 m devant des objets proches d'un déplacement de 3 m devant des objets dix fois plus éloignés. Le SLAM monoculaire fixe donc arbitrairement l'échelle au démarrage, qui dérive ensuite au fil du temps. Une base stéréo, un capteur de profondeur ou une IMU fournit une échelle métrique.
Scènes dynamiques et SLAM sémantique#
La plupart des pipelines SLAM supposent que le monde est statique ; les caractéristiques sur les piétons et les voitures en mouvement faussent donc l'estimation de la pose. Les systèmes de SLAM sémantique utilisent la segmentation pour repérer les objets mobiles et ignorer les caractéristiques qui s'y trouvent ; en 2018, DynaSLAM a ajouté des masques Mask R-CNN à ORB-SLAM2 pour y parvenir. Un modèle de segmentation Ultralytics YOLO26 accomplit la même tâche à des fréquences d'images en temps réel, en produisant un masque qui limite l'extraction des caractéristiques à la scène statique :
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))Le nombre affiché représente la proportion de caractéristiques qui proviendraient autrement d'objets en mouvement, et static_features.jpg montre les caractéristiques restantes pour le suivi. Les masques étiquetés permettent également à la cartographie sémantique d'associer des classes d'objets à la carte elle-même.
SLAM visuel et techniques associées#
- SLAM LiDAR : Mesure directement les distances à l'aide d'impulsions laser ; il dispose donc d'une échelle métrique et fonctionne dans l'obscurité, au prix de capteurs plus coûteux et plus énergivores. Le SLAM visuel utilise des caméras bon marché et capture l'apparence, ce qui facilite la reconnaissance des lieux déjà visités, mais il éprouve des difficultés en faible luminosité, en présence de flou de mouvement et dans les scènes sans texture, comme les murs vierges.
- Odométrie visuelle : Le module frontal de suivi à lui seul, qui estime le mouvement sans conserver de carte globale ni corriger la dérive au moyen de la fermeture de boucle.
- Structure à partir du mouvement (SfM) : Reconstruit une scène hors ligne à partir d'un ensemble désordonné de photos, tandis que le SLAM traite les trames dans leur ordre d'arrivée.
- Suivi d'objets : Suit des objets spécifiques au fil des trames vidéo. Le SLAM suit la caméra elle-même par rapport au monde statique.
Approches classiques et apprises#
Les systèmes fondés sur des caractéristiques, comme ORB-SLAM3, qui prend en charge les configurations monoculaires, stéréo, RGB-D et visuelles-inertielles, restent très utilisés en raison de leur rapidité et de leur précision dans les scènes texturées. Les systèmes appris remplacent les éléments conçus à la main par des réseaux de neurones : DROID-SLAM (2021) itère des mises à jour d'écoulement optique dense au moyen d'une couche d'ajustement de faisceaux différentiable. D'autres systèmes récents stockent la carte sous forme de nuages de points gaussiens ou de champs de radiance neuronaux, produisant des cartes photoréalistes qui peuvent être rendues depuis de nouveaux points de vue. MASt3R-SLAM, mis en avant à CVPR 2025, s'appuie sur MASt3R, un modèle appris de reconstruction 3D à deux vues, pour effectuer un SLAM monoculaire dense à 15 FPS sans supposer de modèle paramétrique de caméra fixe.










