Visual SLAM (Simultaneous Localization and Mapping)
Визуальная SLAM строит карту неизвестного пространства, одновременно отслеживая положение и ориентацию камеры по изображениям. Рассматриваются трекинг, замыкание циклов, масштаб и глубокая SLAM.
Визуальная SLAM (одновременная локализация и построение карты) — задача построения карты неизвестной среды с одновременным отслеживанием положения и ориентации камеры, в которой основным источником данных служат изображения. Эти две части зависят друг от друга: для определения положения камеры нужна карта, а для построения карты нужно знать, где находилась камера. В системах визуальной SLAM используют одну (монокулярную) камеру, стереопару или RGB-D-камеру, которая также измеряет глубину. Многие системы объединяют эти данные с инерциальным измерительным блоком (IMU). Такой подход называется визуально-инерциальной SLAM, а если постоянная карта не строится — визуально-инерциальной одометрией. Телефоны и гарнитуры используют эту технологию для привязки контента дополненной реальности. Например, ARKit от Apple объединяет признаки камеры с данными датчиков движения, а роботы и дроны используют визуальную SLAM для навигации там, где недоступен GPS.
Как работает визуальная SLAM#
В типичной системе процессы отслеживания, построения карты и замыкания цикла выполняются параллельно. В системе дополненной реальности PTAM, созданной в 2007 году, отслеживание было отделено от построения карты именно таким образом. Той же схемы придерживаются ORB-SLAM3 и большинство более поздних систем на основе признаков:
- Отслеживание: Для каждого кадра фронтенд обнаруживает признаки, например углы ORB, сопоставляет их с картой или предыдущим кадром и оценивает положение и ориентацию камеры по шести степеням свободы. Такая оценка перемещения от кадра к кадру сама по себе называется визуальной одометрией. Прямые методы, например DSO, не используют признаки, а вместо этого совмещают интенсивность пикселей.
- Локальное построение карты: Выбранные ключевые кадры дополняют карту новыми 3D-точками, триангулируя сопоставленные признаки. Затем пакетная оптимизация совместно уточняет положение и ориентацию соседних камер и точки, минимизируя ошибку репроекции.
- Замыкание цикла: Небольшие ошибки накапливаются и приводят к дрейфу. Когда система распознает уже встречавшееся место, обычно сравнивая компактные дескрипторы внешнего вида ключевых кадров, она добавляет ограничение между двумя посещениями и оптимизирует всю траекторию, чтобы снова согласовать карту.
Движение между двумя ракурсами и проблема масштаба#
В основе этапа отслеживания лежит геометрия двух ракурсов, основанная на эпиполярной геометрии: по признакам, сопоставленным между двумя кадрами, эссенциальная матрица кодирует поворот камеры и направление ее перемещения. В этом примере с OpenCV синтетические 3D-ориентиры с шумом проецируются на два кадра, после чего по ним восстанавливается перемещение между кадрами:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")Программа восстанавливает поворот на 5,72 градуса при фактическом значении 5,00 градуса, а направление перемещения — [-1.0, -0.09, 0.02] при фактическом [-1, 0, 0], но длина вектора перемещения всегда равна 1. Одна камера не может определить, проехала ли она 0,3 м мимо близких объектов или 3 м мимо объектов, расположенных в десять раз дальше. Поэтому в монокулярной SLAM масштаб произвольно задается при запуске и со временем дрейфует. Масштаб в физических единицах задают стереобаза, датчик глубины или IMU.
Динамические сцены и семантическая SLAM#
Большинство конвейеров SLAM предполагают, что мир неподвижен, поэтому признаки на идущих людях и проезжающих автомобилях сбивают оценку положения. Системы семантической SLAM используют сегментацию, чтобы находить движущиеся объекты и игнорировать признаки на них. В 2018 году в DynaSLAM для этой цели добавили маски Mask R-CNN в ORB-SLAM2. Модель сегментации Ultralytics YOLO26 выполняет ту же задачу с частотой кадров в реальном времени, создавая маску, которая ограничивает извлечение признаков неподвижными объектами сцены:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))Выведенное число показывает долю признаков, которые иначе соответствовали бы движущимся объектам, а static_features.jpg отображает признаки, оставшиеся для отслеживания. Маски с метками также позволяют семантическому картографированию добавлять классы объектов непосредственно на карту.
Визуальная SLAM и смежные технологии#
- SLAM с LiDAR: Измеряет расстояния напрямую с помощью лазерных импульсов, поэтому обеспечивает масштаб в физических единицах и работает в темноте, но требует более дорогих датчиков и потребляет больше энергии. Визуальная SLAM использует недорогие камеры и фиксирует внешний вид, что помогает распознавать уже посещенные места, однако она плохо работает при низкой освещенности, размытии из-за движения и в сценах без текстуры, например у пустых стен.
- Визуальная одометрия: Только фронтенд отслеживания. Он оценивает перемещение, но не поддерживает глобальную карту и не может корректировать дрейф с помощью замыкания цикла.
- Восстановление структуры по движению (SfM): Восстанавливает сцену офлайн по неупорядоченной коллекции фотографий, тогда как SLAM обрабатывает кадры последовательно, по мере их поступления.
- Отслеживание объектов: Следит за конкретными объектами между кадрами видео. SLAM отслеживает саму камеру относительно неподвижного мира.
Классические и обучаемые подходы#
Системы на основе признаков, например ORB-SLAM3, поддерживающая монокулярные, стереоскопические, RGB-D и визуально-инерциальные конфигурации, широко используются благодаря высокой скорости и точности в сценах с текстурой. Обучаемые системы заменяют компоненты, созданные вручную, на нейронные сети: DROID-SLAM (2021) итеративно обновляет плотный оптический поток через дифференцируемый слой пакетной оптимизации. Другие современные системы хранят карту в виде гауссовых сплатов или полей нейронного излучения, создавая фотореалистичные карты, которые можно визуализировать с новых ракурсов. MASt3R-SLAM, отмеченная на CVPR 2025 работа, использует MASt3R — обучаемую модель восстановления 3D-сцены по двум ракурсам — для плотной монокулярной SLAM со скоростью 15 FPS без предположения о фиксированной параметрической модели камеры.










