Licence YOLO
Retour au glossaire Ultralytics

Visual SLAM (Simultaneous Localization and Mapping)

Le SLAM visuel construit une carte d’un espace inconnu tout en suivant la pose de la caméra à partir d’images. Présentation du suivi, de la fermeture de boucle, de l’échelle et du SLAM profond.

Le SLAM visuel (localisation et cartographie simultanées) consiste à construire une carte d'un environnement inconnu tout en suivant la position et l'orientation de la caméra, à partir d'images comme capteur principal. Ses deux composantes sont interdépendantes : localiser la caméra nécessite une carte et construire la carte nécessite de savoir où se trouvait la caméra. Les systèmes de SLAM visuel utilisent une caméra unique (monoculaire), une paire stéréo ou une caméra RGB-D qui mesure aussi la profondeur ; beaucoup intègrent également une centrale inertielle (IMU), ce qu'on appelle le SLAM visuel-inertiel ou, en l'absence de carte persistante, l'odométrie visuelle-inertielle. Les téléphones et les casques s'en servent pour ancrer le contenu de réalité augmentée, comme le fait ARKit d'Apple en fusionnant les caractéristiques de la caméra avec les données des capteurs de mouvement, tandis que les robots et les drones l'utilisent pour naviguer là où le GPS n'est pas disponible.

Fonctionnement du SLAM visuel#

Un système typique exécute en parallèle le suivi, la cartographie et la fermeture de boucle. PTAM, un système de réalité augmentée de 2007, séparait ainsi le suivi de la cartographie ; ORB-SLAM3 et la plupart des systèmes ultérieurs fondés sur des caractéristiques reprennent la même conception :

  • Suivi : À chaque trame, le module frontal détecte des caractéristiques, comme les coins ORB, les met en correspondance avec la carte ou la trame précédente, puis estime la pose de la caméra à six degrés de liberté. À lui seul, cet estimateur de trame en trame constitue l'odométrie visuelle. Les méthodes directes, comme DSO, ignorent les caractéristiques et alignent plutôt les intensités des pixels.
  • Cartographie locale : Les images clés sélectionnées ajoutent de nouveaux points 3D en triangulant les caractéristiques mises en correspondance, puis l'ajustement de faisceaux affine conjointement les poses des caméras voisines et les points afin de minimiser l'erreur de reprojection.
  • Fermeture de boucle : Les petites erreurs s'accumulent et créent une dérive. Lorsque le système reconnaît un lieu déjà vu, généralement en comparant des descripteurs d'apparence compacts des images clés, il ajoute une contrainte entre les deux passages et optimise toute la trajectoire pour réaligner la carte.

Mouvement à partir de deux vues et problème d'échelle#

L'étape de suivi repose principalement sur la géométrie à deux vues issue de la géométrie épipolaire : à partir des caractéristiques mises en correspondance entre deux trames, la matrice essentielle encode la rotation de la caméra et la direction de sa translation. Cet exemple OpenCV projette des repères 3D synthétiques dans deux trames avec du bruit, puis reconstitue le mouvement entre celles-ci :

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]])  # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3))  # static 3D landmarks 3-6 m ahead

# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])


def project(X, R, t):
    """Project 3D points to pixels and add 0.5 px of feature-detection noise."""
    x = (K @ (X @ R.T + t).T).T
    return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))


pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)

# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")

Il reconstitue une rotation de 5,72 degrés contre une valeur réelle de 5,00, ainsi qu'une direction de translation [-1.0, -0.09, 0.02] contre la valeur réelle [-1, 0, 0], mais la translation a toujours une longueur de 1. Une seule caméra ne peut pas distinguer un déplacement de 0,3 m devant des objets proches d'un déplacement de 3 m devant des objets dix fois plus éloignés. Le SLAM monoculaire fixe donc arbitrairement l'échelle au démarrage, qui dérive ensuite au fil du temps. Une base stéréo, un capteur de profondeur ou une IMU fournit une échelle métrique.

Scènes dynamiques et SLAM sémantique#

La plupart des pipelines SLAM supposent que le monde est statique ; les caractéristiques sur les piétons et les voitures en mouvement faussent donc l'estimation de la pose. Les systèmes de SLAM sémantique utilisent la segmentation pour repérer les objets mobiles et ignorer les caractéristiques qui s'y trouvent ; en 2018, DynaSLAM a ajouté des masques Mask R-CNN à ORB-SLAM2 pour y parvenir. Un modèle de segmentation Ultralytics YOLO26 accomplit la même tâche à des fréquences d'images en temps réel, en produisant un masque qui limite l'extraction des caractéristiques à la scène statique :

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7])  # people and vehicles
result = results[0]

# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
    cv2.fillPoly(static, [polygon.astype(np.int32)], 0)

orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")

# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))

Le nombre affiché représente la proportion de caractéristiques qui proviendraient autrement d'objets en mouvement, et static_features.jpg montre les caractéristiques restantes pour le suivi. Les masques étiquetés permettent également à la cartographie sémantique d'associer des classes d'objets à la carte elle-même.

  • SLAM LiDAR : Mesure directement les distances à l'aide d'impulsions laser ; il dispose donc d'une échelle métrique et fonctionne dans l'obscurité, au prix de capteurs plus coûteux et plus énergivores. Le SLAM visuel utilise des caméras bon marché et capture l'apparence, ce qui facilite la reconnaissance des lieux déjà visités, mais il éprouve des difficultés en faible luminosité, en présence de flou de mouvement et dans les scènes sans texture, comme les murs vierges.
  • Odométrie visuelle : Le module frontal de suivi à lui seul, qui estime le mouvement sans conserver de carte globale ni corriger la dérive au moyen de la fermeture de boucle.
  • Structure à partir du mouvement (SfM) : Reconstruit une scène hors ligne à partir d'un ensemble désordonné de photos, tandis que le SLAM traite les trames dans leur ordre d'arrivée.
  • Suivi d'objets : Suit des objets spécifiques au fil des trames vidéo. Le SLAM suit la caméra elle-même par rapport au monde statique.

Approches classiques et apprises#

Les systèmes fondés sur des caractéristiques, comme ORB-SLAM3, qui prend en charge les configurations monoculaires, stéréo, RGB-D et visuelles-inertielles, restent très utilisés en raison de leur rapidité et de leur précision dans les scènes texturées. Les systèmes appris remplacent les éléments conçus à la main par des réseaux de neurones : DROID-SLAM (2021) itère des mises à jour d'écoulement optique dense au moyen d'une couche d'ajustement de faisceaux différentiable. D'autres systèmes récents stockent la carte sous forme de nuages de points gaussiens ou de champs de radiance neuronaux, produisant des cartes photoréalistes qui peuvent être rendues depuis de nouveaux points de vue. MASt3R-SLAM, mis en avant à CVPR 2025, s'appuie sur MASt3R, un modèle appris de reconstruction 3D à deux vues, pour effectuer un SLAM monoculaire dense à 15 FPS sans supposer de modèle paramétrique de caméra fixe.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique