Visual SLAM (Simultaneous Localization and Mapping)
O SLAM visual cria um mapa de um espaço desconhecido enquanto acompanha a pose da câmara nesse espaço a partir de imagens. Abrange o rastreamento, o fecho de ciclo, a escala e o SLAM profundo.
O SLAM visual (localização e mapeamento simultâneos) consiste em criar um mapa de um ambiente desconhecido enquanto se acompanha a posição e a orientação da própria câmara, usando imagens como sensor principal. As duas partes dependem uma da outra: localizar a câmara requer um mapa, e criar o mapa requer saber onde estava a câmara. Os sistemas de SLAM visual usam uma única câmara (monocular), um par estéreo ou uma câmara RGB-D que também mede a profundidade, e muitos integram ainda uma unidade de medição inercial (IMU), o que se chama SLAM visual-inercial ou, sem um mapa persistente, odometria visual-inercial. Os telemóveis e os headsets usam-no para ancorar conteúdos de realidade aumentada, como faz o ARKit da Apple ao combinar características da câmara com dados dos sensores de movimento, e robôs e drones usam-no para navegar onde o GPS não está disponível.
Como funciona o SLAM visual#
Um sistema típico executa o rastreamento, o mapeamento e o fecho de ciclo como processos paralelos. O PTAM, um sistema de realidade aumentada de 2007, separou o rastreamento do mapeamento desta forma, e o ORB-SLAM3 e a maioria dos sistemas posteriores baseados em características seguem o mesmo projeto:
- Rastreamento: Em cada fotograma, o sistema frontal deteta características, como cantos ORB, associa-as ao mapa ou ao fotograma anterior e estima a pose da câmara com seis graus de liberdade. Esta estimativa isolada, de um fotograma para o seguinte, é odometria visual. Métodos diretos, como o DSO, ignoram as características e alinham as intensidades dos píxeis.
- Mapeamento local: Os fotogramas-chave selecionados acrescentam novos pontos 3D por triangulação das características associadas, e a otimização de feixe refina em conjunto as poses das câmaras e os pontos próximos para minimizar o erro de reprojeção.
- Fecho de ciclo: Pequenos erros acumulam-se e tornam-se deriva. Quando o sistema reconhece um local que já viu, geralmente comparando descritores compactos da aparência dos fotogramas-chave, acrescenta uma restrição entre as duas visitas e otimiza toda a trajetória para voltar a alinhar o mapa.
Movimento entre duas vistas e o problema da escala#
A base da etapa de rastreamento é a geometria entre duas vistas, baseada na geometria epipolar: a partir de características associadas entre dois fotogramas, a matriz essencial codifica a rotação da câmara e a direção da sua translação. Este exemplo de OpenCV projeta pontos de referência 3D sintéticos em dois fotogramas com ruído e recupera o movimento entre eles:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")Recupera uma rotação de 5,72 graus, face aos 5,00 reais, e uma direção de translação de [-1.0, -0.09, 0.02], face a [-1, 0, 0], mas a translação tem sempre comprimento 1. Uma única câmara não consegue distinguir um movimento de 0,3 m junto a objetos próximos de um movimento de 3 m junto a objetos dez vezes mais distantes, por isso o SLAM monocular fixa arbitrariamente a escala no arranque, e esta deriva com o tempo. Uma base estéreo, um sensor de profundidade ou uma IMU fornece a escala métrica.
Cenas dinâmicas e SLAM semântico#
A maioria dos pipelines de SLAM pressupõe um mundo estático, pelo que as características de pessoas a caminhar e carros em movimento desviam a estimativa da pose. Os sistemas de SLAM semântico usam segmentação para encontrar objetos móveis e ignoram as características neles; em 2018, o DynaSLAM acrescentou máscaras do Mask R-CNN ao ORB-SLAM2 para esse fim. Um modelo de segmentação Ultralytics YOLO26 faz o mesmo a taxas de fotogramas em tempo real, produzindo uma máscara que limita a extração de características à cena estática:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))A contagem apresentada corresponde à proporção de características que, de outra forma, viriam de objetos em movimento, e static_features.jpg mostra as características restantes para o rastreamento. As máscaras etiquetadas também permitem à cartografia semântica associar classes de objetos ao próprio mapa.
SLAM visual e técnicas relacionadas#
- SLAM LiDAR: Mede distâncias diretamente com impulsos laser, pelo que fornece escala métrica e funciona no escuro, mas tem custos e consumo energético mais elevados. O SLAM visual usa câmaras baratas e capta a aparência, o que ajuda a reconhecer locais visitados novamente, mas tem dificuldades com pouca luz, desfoque de movimento e cenas sem textura, como paredes lisas.
- Odometria visual: Apenas a parte frontal de rastreamento, que estima o movimento, mas não mantém um mapa global nem consegue corrigir a deriva através do fecho de ciclo.
- Reconstrução da estrutura a partir do movimento (SfM): Reconstrói uma cena offline a partir de uma coleção de fotografias sem ordem, enquanto o SLAM processa os fotogramas sequencialmente, à medida que chegam.
- Rastreamento de objetos: Acompanha objetos específicos ao longo dos fotogramas de um vídeo. O SLAM acompanha a própria câmara em relação ao mundo estático.
Abordagens clássicas e aprendidas#
Os sistemas baseados em características, como o ORB-SLAM3, que é compatível com configurações monoculares, estéreo, RGB-D e visual-inerciais, continuam a ser amplamente utilizados por serem rápidos e precisos em cenas com textura. Os sistemas aprendidos substituem componentes criados manualmente por redes neurais: o DROID-SLAM (2021) itera atualizações densas de fluxo ótico através de uma camada diferenciável de otimização de feixe. Outros sistemas recentes armazenam o mapa como Gaussian splats ou campos de radiância neural, produzindo mapas fotorrealistas que podem ser renderizados a partir de novos pontos de vista. O MASt3R-SLAM, destaque da CVPR 2025, baseia-se no MASt3R, um modelo aprendido de reconstrução 3D entre duas vistas, para executar SLAM monocular denso a 15 FPS sem pressupor um modelo de câmara paramétrico fixo.










