Licenciar o YOLO
Voltar ao glossário da Ultralytics

Visual SLAM (Simultaneous Localization and Mapping)

O SLAM visual cria um mapa de um espaço desconhecido enquanto acompanha a pose da câmara nesse espaço a partir de imagens. Abrange o rastreamento, o fecho de ciclo, a escala e o SLAM profundo.

O SLAM visual (localização e mapeamento simultâneos) consiste em criar um mapa de um ambiente desconhecido enquanto se acompanha a posição e a orientação da própria câmara, usando imagens como sensor principal. As duas partes dependem uma da outra: localizar a câmara requer um mapa, e criar o mapa requer saber onde estava a câmara. Os sistemas de SLAM visual usam uma única câmara (monocular), um par estéreo ou uma câmara RGB-D que também mede a profundidade, e muitos integram ainda uma unidade de medição inercial (IMU), o que se chama SLAM visual-inercial ou, sem um mapa persistente, odometria visual-inercial. Os telemóveis e os headsets usam-no para ancorar conteúdos de realidade aumentada, como faz o ARKit da Apple ao combinar características da câmara com dados dos sensores de movimento, e robôs e drones usam-no para navegar onde o GPS não está disponível.

Como funciona o SLAM visual#

Um sistema típico executa o rastreamento, o mapeamento e o fecho de ciclo como processos paralelos. O PTAM, um sistema de realidade aumentada de 2007, separou o rastreamento do mapeamento desta forma, e o ORB-SLAM3 e a maioria dos sistemas posteriores baseados em características seguem o mesmo projeto:

  • Rastreamento: Em cada fotograma, o sistema frontal deteta características, como cantos ORB, associa-as ao mapa ou ao fotograma anterior e estima a pose da câmara com seis graus de liberdade. Esta estimativa isolada, de um fotograma para o seguinte, é odometria visual. Métodos diretos, como o DSO, ignoram as características e alinham as intensidades dos píxeis.
  • Mapeamento local: Os fotogramas-chave selecionados acrescentam novos pontos 3D por triangulação das características associadas, e a otimização de feixe refina em conjunto as poses das câmaras e os pontos próximos para minimizar o erro de reprojeção.
  • Fecho de ciclo: Pequenos erros acumulam-se e tornam-se deriva. Quando o sistema reconhece um local que já viu, geralmente comparando descritores compactos da aparência dos fotogramas-chave, acrescenta uma restrição entre as duas visitas e otimiza toda a trajetória para voltar a alinhar o mapa.

Movimento entre duas vistas e o problema da escala#

A base da etapa de rastreamento é a geometria entre duas vistas, baseada na geometria epipolar: a partir de características associadas entre dois fotogramas, a matriz essencial codifica a rotação da câmara e a direção da sua translação. Este exemplo de OpenCV projeta pontos de referência 3D sintéticos em dois fotogramas com ruído e recupera o movimento entre eles:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]])  # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3))  # static 3D landmarks 3-6 m ahead

# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])


def project(X, R, t):
    """Project 3D points to pixels and add 0.5 px of feature-detection noise."""
    x = (K @ (X @ R.T + t).T).T
    return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))


pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)

# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")

Recupera uma rotação de 5,72 graus, face aos 5,00 reais, e uma direção de translação de [-1.0, -0.09, 0.02], face a [-1, 0, 0], mas a translação tem sempre comprimento 1. Uma única câmara não consegue distinguir um movimento de 0,3 m junto a objetos próximos de um movimento de 3 m junto a objetos dez vezes mais distantes, por isso o SLAM monocular fixa arbitrariamente a escala no arranque, e esta deriva com o tempo. Uma base estéreo, um sensor de profundidade ou uma IMU fornece a escala métrica.

Cenas dinâmicas e SLAM semântico#

A maioria dos pipelines de SLAM pressupõe um mundo estático, pelo que as características de pessoas a caminhar e carros em movimento desviam a estimativa da pose. Os sistemas de SLAM semântico usam segmentação para encontrar objetos móveis e ignoram as características neles; em 2018, o DynaSLAM acrescentou máscaras do Mask R-CNN ao ORB-SLAM2 para esse fim. Um modelo de segmentação Ultralytics YOLO26 faz o mesmo a taxas de fotogramas em tempo real, produzindo uma máscara que limita a extração de características à cena estática:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7])  # people and vehicles
result = results[0]

# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
    cv2.fillPoly(static, [polygon.astype(np.int32)], 0)

orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")

# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))

A contagem apresentada corresponde à proporção de características que, de outra forma, viriam de objetos em movimento, e static_features.jpg mostra as características restantes para o rastreamento. As máscaras etiquetadas também permitem à cartografia semântica associar classes de objetos ao próprio mapa.

  • SLAM LiDAR: Mede distâncias diretamente com impulsos laser, pelo que fornece escala métrica e funciona no escuro, mas tem custos e consumo energético mais elevados. O SLAM visual usa câmaras baratas e capta a aparência, o que ajuda a reconhecer locais visitados novamente, mas tem dificuldades com pouca luz, desfoque de movimento e cenas sem textura, como paredes lisas.
  • Odometria visual: Apenas a parte frontal de rastreamento, que estima o movimento, mas não mantém um mapa global nem consegue corrigir a deriva através do fecho de ciclo.
  • Reconstrução da estrutura a partir do movimento (SfM): Reconstrói uma cena offline a partir de uma coleção de fotografias sem ordem, enquanto o SLAM processa os fotogramas sequencialmente, à medida que chegam.
  • Rastreamento de objetos: Acompanha objetos específicos ao longo dos fotogramas de um vídeo. O SLAM acompanha a própria câmara em relação ao mundo estático.

Abordagens clássicas e aprendidas#

Os sistemas baseados em características, como o ORB-SLAM3, que é compatível com configurações monoculares, estéreo, RGB-D e visual-inerciais, continuam a ser amplamente utilizados por serem rápidos e precisos em cenas com textura. Os sistemas aprendidos substituem componentes criados manualmente por redes neurais: o DROID-SLAM (2021) itera atualizações densas de fluxo ótico através de uma camada diferenciável de otimização de feixe. Outros sistemas recentes armazenam o mapa como Gaussian splats ou campos de radiância neural, produzindo mapas fotorrealistas que podem ser renderizados a partir de novos pontos de vista. O MASt3R-SLAM, destaque da CVPR 2025, baseia-se no MASt3R, um modelo aprendido de reconstrução 3D entre duas vistas, para executar SLAM monocular denso a 15 FPS sem pressupor um modelo de câmara paramétrico fixo.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina