Visual SLAM (Simultaneous Localization and Mapping)
El SLAM visual crea un mapa de un espacio desconocido mientras sigue la pose de la cámara en él a partir de imágenes. Explica el seguimiento, el cierre de bucles, la escala y el SLAM profundo.
El SLAM visual (localización y mapeo simultáneos) consiste en crear un mapa de un entorno desconocido mientras se sigue la posición y la orientación de la propia cámara, usando imágenes como sensor principal. Ambas partes dependen entre sí: para localizar la cámara se necesita un mapa y, para crear el mapa, hay que saber dónde estaba la cámara. Los sistemas de SLAM visual usan una cámara única (monocular), un par estéreo o una cámara RGB-D que también mide la profundidad; muchos combinan además una unidad de medición inercial (IMU), lo que se denomina SLAM visual-inercial o, si no se conserva un mapa, odometría visual-inercial. Los teléfonos y los visores lo usan para fijar contenido de realidad aumentada, como hace ARKit de Apple al combinar características de la cámara con datos de los sensores de movimiento, y los robots y los drones lo usan para navegar cuando no hay GPS.
Cómo funciona el SLAM visual#
Un sistema típico ejecuta en paralelo el seguimiento, el mapeo y el cierre de bucles. PTAM, un sistema de realidad aumentada de 2007, separó así el seguimiento del mapeo, y ORB-SLAM3 y la mayoría de los sistemas posteriores basados en características siguen el mismo diseño:
- Seguimiento: En cada fotograma, el front-end detecta características, como esquinas ORB, las compara con el mapa o con el fotograma anterior y estima la pose de la cámara con seis grados de libertad. Esta estimación entre fotogramas, por sí sola, es odometría visual. Los métodos directos, como DSO, omiten las características y alinean en su lugar las intensidades de los píxeles.
- Mapeo local: Los fotogramas clave seleccionados añaden nuevos puntos 3D mediante la triangulación de características coincidentes, y el ajuste de haces refina conjuntamente las poses de las cámaras cercanas y los puntos para minimizar el error de reproyección.
- Cierre de bucles: Los errores pequeños se acumulan y generan deriva. Cuando el sistema reconoce un lugar que ya ha visto, normalmente comparando descriptores de apariencia compactos de los fotogramas clave, añade una restricción entre ambas visitas y optimiza toda la trayectoria para volver a alinear el mapa.
Movimiento entre dos vistas y problema de escala#
El núcleo del seguimiento es la geometría entre dos vistas basada en la geometría epipolar: a partir de características coincidentes entre dos fotogramas, la matriz esencial codifica la rotación de la cámara y la dirección de su traslación. Este ejemplo de OpenCV proyecta puntos de referencia 3D sintéticos en dos fotogramas con ruido y recupera el movimiento entre ellos:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")Recupera una rotación de 5,72 grados frente a los 5,00 reales y una dirección de traslación de [-1.0, -0.09, 0.02] frente a la dirección real [-1, 0, 0], pero la traslación siempre tiene una longitud de 1. Una cámara única no puede distinguir un desplazamiento de 0,3 m junto a objetos cercanos de uno de 3 m junto a objetos diez veces más lejanos, así que el SLAM monocular fija arbitrariamente la escala al inicio y esta deriva con el tiempo. Una base estéreo, un sensor de profundidad o una IMU proporciona la escala métrica.
Escenas dinámicas y SLAM semántico#
La mayoría de los flujos de SLAM dan por supuesto que el entorno es estático, por lo que las características de las personas que caminan y los coches que pasan desvían la estimación de la pose. Los sistemas de SLAM semántico usan la segmentación para detectar objetos móviles e ignorar sus características; en 2018, DynaSLAM añadió máscaras de Mask R-CNN a ORB-SLAM2 para hacerlo. Un modelo de segmentación de Ultralytics YOLO26 realiza la misma tarea a frecuencias de fotogramas en tiempo real y genera una máscara que limita la extracción de características a la escena estática:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))El recuento que se muestra es la proporción de características que, de otro modo, procederían de objetos en movimiento, y static_features.jpg muestra las características que quedan para el seguimiento. Las máscaras etiquetadas también permiten que el mapeo semántico asigne clases de objeto al propio mapa.
SLAM visual y técnicas relacionadas#
- SLAM con LiDAR: Mide distancias directamente con pulsos láser, así que ofrece escala métrica y funciona en la oscuridad, pero el coste y el consumo del sensor son mayores. El SLAM visual utiliza cámaras baratas y capta la apariencia, lo que ayuda a reconocer lugares visitados anteriormente, pero tiene dificultades con poca luz, el desenfoque por movimiento y las escenas sin textura, como las paredes en blanco.
- Odometría visual: Solo incluye el front-end de seguimiento, que estima el movimiento, pero no mantiene un mapa global ni puede corregir la deriva mediante el cierre de bucles.
- Reconstrucción de estructura a partir del movimiento (SfM): Reconstruye una escena sin conexión a partir de una colección de fotos desordenada, mientras que SLAM procesa los fotogramas en el orden en que llegan.
- Seguimiento de objetos: Sigue objetos concretos a lo largo de los fotogramas de vídeo. SLAM sigue la propia cámara con respecto al entorno estático.
Enfoques clásicos y basados en aprendizaje#
Los sistemas basados en características, como ORB-SLAM3, que admite configuraciones monoculares, estéreo, RGB-D y visual-inerciales, siguen utilizándose ampliamente porque son rápidos y precisos en escenas con textura. Los sistemas basados en aprendizaje sustituyen los componentes diseñados a mano por redes neuronales: DROID-SLAM (2021) itera actualizaciones densas de flujo óptico mediante una capa diferenciable de ajuste de haces. Otros sistemas recientes representan el mapa con splatting gaussiano o campos de radiancia neuronales, lo que produce mapas fotorrealistas que se pueden renderizar desde nuevos puntos de vista. MASt3R-SLAM, destacado en CVPR 2025, se basa en MASt3R, un modelo aprendido de reconstrucción 3D entre dos vistas, para ejecutar SLAM monocular denso a 15 FPS sin presuponer un modelo paramétrico de cámara fijo.










