Visual SLAM (Simultaneous Localization and Mapping)
시각 SLAM은 이미지에서 카메라의 포즈를 추적하는 동시에 미지의 공간 지도를 작성합니다. 추적, 루프 클로저, 스케일 및 딥 SLAM을 다룹니다.
시각 SLAM(동시적 위치 추정 및 지도 작성)은 이미지를 주요 센서로 사용해 알 수 없는 환경의 지도를 작성하면서 카메라의 위치와 방향을 추적하는 문제입니다. 두 작업은 서로 의존합니다. 카메라 위치를 찾으려면 지도가 필요하고, 지도를 만들려면 카메라의 위치를 알아야 합니다. 시각 SLAM 시스템은 단일(모노큘러) 카메라, 스테레오 카메라 쌍, 또는 깊이도 측정하는 RGB-D 카메라를 사용합니다. 많은 시스템은 관성 측정 장치(IMU)도 결합하는데, 이를 시각-관성 SLAM이라고 하며 지속적인 지도가 없는 경우에는 시각-관성 오도메트리라고 합니다. 휴대전화와 헤드셋은 이를 사용해 증강 현실 콘텐츠를 고정합니다. Apple의 ARKit는 카메라 특징과 모션 센서 데이터를 융합합니다. 로봇과 드론은 GPS를 사용할 수 없는 곳에서 이를 이용해 탐색합니다.
Visual SLAM 작동 방식#
일반적인 시스템은 추적, 매핑, 루프 클로저를 병렬 프로세스로 실행합니다. 2007년 증강 현실 시스템 PTAM은 이 방식을 통해 추적과 매핑을 분리했으며, ORB-SLAM3과 이후의 대부분의 특징 기반 시스템도 같은 설계를 따릅니다.
- 추적: 각 프레임에서 프런트엔드가 ORB 코너와 같은 특징점을 감지하고 지도 또는 이전 프레임과 매칭한 뒤 카메라의 6자유도 포즈를 추정합니다. 이 프레임 간 추정만 수행하는 경우 이를 시각 오도메트리라고 합니다. DSO와 같은 직접 방식은 특징점을 건너뛰고 픽셀 강도를 대신 정렬합니다.
- 로컬 매핑: 선택된 키프레임은 매칭된 특징점을 삼각 측량해 새로운 3D 포인트를 추가하며, 번들 조정은 주변 카메라 포즈와 포인트를 함께 개선해 재투영 오차를 최소화합니다.
- 루프 클로저: 작은 오차는 누적되어 드리프트가 됩니다. 시스템이 이전에 본 장소를 인식하면(보통 키프레임의 간결한 외관 디스크립터를 비교함) 두 방문 간 제약 조건을 추가하고 전체 궤적을 최적화해 지도를 다시 정렬합니다.
두 시점에서의 움직임과 스케일 문제#
추적 단계의 핵심은 에피폴라 기하학에 기반한 두 시점 기하학입니다. 두 프레임에서 매칭된 특징점으로부터 에센셜 행렬은 카메라의 회전과 이동 방향을 인코딩합니다. 다음 OpenCV 예제는 합성 3D 랜드마크를 노이즈를 추가해 두 프레임에 투영하고, 두 프레임 사이의 움직임을 복원합니다.
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")이 방법은 실제 회전 5.00도에 비해 5.72도의 회전을 복원하고, 실제 [-1, 0, 0]에 비해 [-1.0, -0.09, 0.02]의 이동 방향을 복원하지만, 이동 거리의 길이는 항상 1입니다. 단일 카메라로는 가까운 물체 옆을 0.3m 이동하는 것과 열 배 더 먼 물체 옆을 3m 이동하는 것을 구분할 수 없습니다. 따라서 모노큘러 SLAM은 시작 시 스케일을 임의로 고정하고, 스케일은 시간이 지나면서 드리프트합니다. 스테레오 베이스라인, 깊이 센서 또는 IMU는 미터법 스케일을 제공합니다.
동적 장면과 시맨틱 SLAM#
대부분의 SLAM 파이프라인은 정적인 세계를 가정하므로 걷는 사람이나 지나가는 차의 특징점은 포즈 추정을 빗나가게 합니다. 시맨틱 SLAM 시스템은 세그멘테이션으로 움직일 수 있는 객체를 찾고 해당 객체의 특징점을 무시합니다. DynaSLAM은 2018년 ORB-SLAM2에 Mask R-CNN 마스크를 추가했습니다. Ultralytics YOLO26 세그멘테이션 모델도 같은 작업을 실시간 프레임 속도로 수행하며, 특징 추출을 정적 장면으로 제한하는 마스크를 생성합니다.
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))출력되는 수치는 움직이는 객체에서 비롯되었을 특징점의 비율이며, static_features.jpg은 추적에 사용할 수 있는 나머지 특징점을 보여줍니다. 레이블이 지정된 마스크를 사용하면 시맨틱 매핑으로 지도 자체에 객체 클래스를 부여할 수도 있습니다.
시각 SLAM과 관련 기법 비교#
- LiDAR SLAM: 레이저 펄스로 거리를 직접 측정하므로 미터법 스케일을 제공하고 어두운 곳에서도 작동하지만, 센서 비용과 전력 소비가 더 높습니다. 시각 SLAM은 저렴한 카메라를 사용하고 외관을 포착하므로 다시 방문한 장소를 인식하는 데 유리하지만, 저조도, 모션 블러, 빈 벽과 같은 질감이 없는 장면에서는 어려움을 겪습니다.
- 시각 오도메트리: 움직임을 추정하지만 전역 지도를 유지하지 않고 루프 클로저로 드리프트를 보정할 수 없는 추적 프런트엔드만을 가리킵니다.
- 구조 복원(SfM): 순서가 정해지지 않은 사진 모음에서 오프라인으로 장면을 재구성하는 반면, SLAM은 프레임이 도착하는 순서대로 처리합니다.
- 객체 추적: 비디오 프레임 전반에서 특정 객체를 추적합니다. SLAM은 정적인 세계를 기준으로 카메라 자체를 추적합니다.
전통적 접근법과 학습 기반 접근법#
모노큘러, 스테레오, RGB-D, 시각-관성 구성을 지원하는 ORB-SLAM3과 같은 특징 기반 시스템은 질감이 있는 장면에서 빠르고 정확하기 때문에 널리 사용됩니다. 학습 기반 시스템은 직접 설계한 구성 요소를 신경망으로 대체합니다. DROID-SLAM(2021)은 미분 가능한 번들 조정 레이어를 통해 조밀한 광학 흐름 업데이트를 반복합니다. 최근에는 지도를 가우시안 스플랫이나 신경 방사 필드로 저장해 사실적인 지도를 만들고 새로운 시점에서 렌더링하는 시스템도 있습니다. CVPR 2025의 주요 발표인 MASt3R-SLAM은 학습 기반 2시점 3D 재구성 모델 MASt3R을 기반으로 고정된 매개변수 카메라 모델을 가정하지 않고 15 FPS로 조밀한 모노큘러 SLAM을 실행합니다.










