Visual SLAM (Simultaneous Localization and Mapping)
Visual SLAM xây dựng bản đồ không gian chưa biết, đồng thời theo dõi tư thế camera trong không gian đó từ hình ảnh. Bài viết trình bày theo dõi, đóng vòng lặp, tỷ lệ và deep SLAM.
SLAM thị giác (định vị và lập bản đồ đồng thời) là bài toán xây dựng bản đồ của một môi trường chưa biết đồng thời theo dõi vị trí và hướng của camera trong môi trường đó, chủ yếu sử dụng hình ảnh làm cảm biến. Hai phần phụ thuộc lẫn nhau: định vị camera cần có bản đồ, còn xây dựng bản đồ cần biết vị trí của camera. Hệ thống SLAM thị giác dùng một camera đơn (đơn mắt), một cặp stereo hoặc camera RGB-D có đo độ sâu; nhiều hệ thống cũng kết hợp đơn vị đo quán tính (IMU), được gọi là SLAM thị giác-quán tính hoặc, nếu không có bản đồ duy trì lâu dài, là odometry thị giác-quán tính. Điện thoại và kính thực tế tăng cường dùng công nghệ này để neo nội dung thực tế tăng cường, như ARKit của Apple thực hiện bằng cách kết hợp đặc trưng camera với dữ liệu cảm biến chuyển động; robot và drone dùng công nghệ này để điều hướng ở nơi không có GPS.
Visual SLAM hoạt động như thế nào#
Một hệ thống điển hình chạy song song các quy trình tracking, mapping và đóng vòng lặp. PTAM, hệ thống thực tế tăng cường năm 2007, đã tách tracking khỏi mapping theo cách này; ORB-SLAM3 và hầu hết hệ thống dựa trên đặc trưng ra đời sau đều theo cùng thiết kế:
- Tracking: Với mỗi frame, front-end phát hiện đặc trưng như góc ORB, đối sánh chúng với bản đồ hoặc frame trước đó, rồi ước tính tư thế camera với sáu bậc tự do. Chỉ riêng bước ước tính giữa các frame này được gọi là odometry thị giác. Các phương pháp trực tiếp như DSO bỏ qua đặc trưng và thay vào đó căn chỉnh cường độ pixel.
- Mapping cục bộ: Các keyframe được chọn bổ sung điểm 3D mới bằng cách tam giác hóa các đặc trưng đã đối sánh; điều chỉnh chùm tia cùng lúc tinh chỉnh tư thế camera và các điểm lân cận để giảm thiểu sai số chiếu lại.
- Đóng vòng lặp: Các sai số nhỏ tích tụ thành độ trôi. Khi hệ thống nhận diện một địa điểm đã từng thấy, thường bằng cách so sánh các descriptor biểu diễn gọn của keyframe, hệ thống thêm một ràng buộc giữa hai lần ghé thăm và tối ưu hóa toàn bộ quỹ đạo để bản đồ khớp lại.
Chuyển động từ hai góc nhìn và vấn đề tỷ lệ#
Cốt lõi của bước tracking là hình học hai góc nhìn dựa trên hình học epipolar: từ các đặc trưng được đối sánh giữa hai frame, ma trận thiết yếu mã hóa phép quay và hướng tịnh tiến của camera. Ví dụ OpenCV này chiếu các mốc 3D tổng hợp vào hai frame có nhiễu và khôi phục chuyển động giữa chúng:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")Phương pháp khôi phục được phép quay 5.72 độ so với giá trị thật 5.00 và hướng tịnh tiến là [-1.0, -0.09, 0.02] so với giá trị thật [-1, 0, 0], nhưng độ dài tịnh tiến luôn bằng 1. Một camera đơn không thể phân biệt chuyển động 0.3 m đi qua các vật thể gần với chuyển động 3 m đi qua các vật thể ở xa gấp mười lần, vì vậy SLAM đơn mắt tùy ý cố định tỷ lệ lúc khởi động và tỷ lệ sẽ trôi theo thời gian. Khoảng cách stereo, cảm biến độ sâu hoặc IMU cung cấp tỷ lệ theo đơn vị thực.
Cảnh động và SLAM ngữ nghĩa#
Hầu hết quy trình SLAM giả định thế giới tĩnh, vì vậy đặc trưng trên người đang đi bộ và xe đang chạy ngang sẽ làm sai lệch ước tính tư thế. Hệ thống SLAM ngữ nghĩa dùng phân đoạn để tìm các vật thể có thể di chuyển và bỏ qua đặc trưng trên chúng; năm 2018, DynaSLAM bổ sung mask Mask R-CNN cho ORB-SLAM2 để thực hiện việc này. Một model phân đoạn Ultralytics YOLO26 thực hiện cùng tác vụ ở tốc độ khung hình thời gian thực, tạo mask giới hạn việc trích xuất đặc trưng trong cảnh tĩnh:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))Số lượng được in ra là tỷ lệ đặc trưng vốn sẽ đến từ các vật thể đang di chuyển, còn static_features.jpg hiển thị các đặc trưng còn lại để tracking. Mask có nhãn cũng cho phép lập bản đồ ngữ nghĩa gắn lớp đối tượng trực tiếp vào bản đồ.
SLAM thị giác và các kỹ thuật liên quan#
- SLAM LiDAR: Đo trực tiếp khoảng cách bằng xung laser, nhờ đó có tỷ lệ theo đơn vị thực và hoạt động được trong bóng tối, nhưng chi phí và mức tiêu thụ điện của cảm biến cao hơn. SLAM thị giác dùng camera giá rẻ và ghi nhận diện mạo, giúp nhận ra địa điểm đã ghé thăm, nhưng gặp khó khăn trong điều kiện thiếu sáng, nhòe chuyển động và cảnh thiếu kết cấu như tường trơn.
- Odometry thị giác: Chỉ gồm front-end tracking, ước tính chuyển động nhưng không duy trì bản đồ toàn cục và không thể sửa độ trôi thông qua đóng vòng lặp.
- Tái tạo cấu trúc từ chuyển động (SfM): Tái tạo cảnh ngoại tuyến từ tập ảnh không có thứ tự, trong khi SLAM xử lý các frame theo thứ tự chúng được tiếp nhận.
- Tracking đối tượng: Theo dõi các đối tượng cụ thể qua các frame video. SLAM theo dõi chính camera so với thế giới tĩnh.
Các phương pháp cổ điển và học được#
Các hệ thống dựa trên đặc trưng như ORB-SLAM3, hỗ trợ cấu hình đơn mắt, stereo, RGB-D và thị giác-quán tính, vẫn được sử dụng rộng rãi vì nhanh và chính xác trong cảnh có kết cấu. Hệ thống học được thay các thành phần được thiết kế thủ công bằng mạng nơ-ron: DROID-SLAM (2021) lặp cập nhật luồng quang học dày đặc thông qua một lớp điều chỉnh chùm tia khả vi. Các hệ thống gần đây khác lưu bản đồ dưới dạng đám Gaussian hoặc trường bức xạ nơ-ron, tạo ra bản đồ chân thực như ảnh có thể kết xuất từ góc nhìn mới. MASt3R-SLAM, một điểm nhấn tại CVPR 2025, dựa trên MASt3R, model tái tạo 3D hai góc nhìn học được, để chạy SLAM đơn mắt dày đặc ở 15 FPS mà không giả định model camera tham số cố định.










