Лицензия YOLO
Назад к глоссарию Ultralytics

Visual SLAM (Simultaneous Localization and Mapping)

Визуальная SLAM строит карту неизвестного пространства, одновременно отслеживая положение и ориентацию камеры по изображениям. Рассматриваются трекинг, замыкание циклов, масштаб и глубокая SLAM.

Визуальная SLAM (одновременная локализация и построение карты) — задача построения карты неизвестной среды с одновременным отслеживанием положения и ориентации камеры, в которой основным источником данных служат изображения. Эти две части зависят друг от друга: для определения положения камеры нужна карта, а для построения карты нужно знать, где находилась камера. В системах визуальной SLAM используют одну (монокулярную) камеру, стереопару или RGB-D-камеру, которая также измеряет глубину. Многие системы объединяют эти данные с инерциальным измерительным блоком (IMU). Такой подход называется визуально-инерциальной SLAM, а если постоянная карта не строится — визуально-инерциальной одометрией. Телефоны и гарнитуры используют эту технологию для привязки контента дополненной реальности. Например, ARKit от Apple объединяет признаки камеры с данными датчиков движения, а роботы и дроны используют визуальную SLAM для навигации там, где недоступен GPS.

Как работает визуальная SLAM#

В типичной системе процессы отслеживания, построения карты и замыкания цикла выполняются параллельно. В системе дополненной реальности PTAM, созданной в 2007 году, отслеживание было отделено от построения карты именно таким образом. Той же схемы придерживаются ORB-SLAM3 и большинство более поздних систем на основе признаков:

  • Отслеживание: Для каждого кадра фронтенд обнаруживает признаки, например углы ORB, сопоставляет их с картой или предыдущим кадром и оценивает положение и ориентацию камеры по шести степеням свободы. Такая оценка перемещения от кадра к кадру сама по себе называется визуальной одометрией. Прямые методы, например DSO, не используют признаки, а вместо этого совмещают интенсивность пикселей.
  • Локальное построение карты: Выбранные ключевые кадры дополняют карту новыми 3D-точками, триангулируя сопоставленные признаки. Затем пакетная оптимизация совместно уточняет положение и ориентацию соседних камер и точки, минимизируя ошибку репроекции.
  • Замыкание цикла: Небольшие ошибки накапливаются и приводят к дрейфу. Когда система распознает уже встречавшееся место, обычно сравнивая компактные дескрипторы внешнего вида ключевых кадров, она добавляет ограничение между двумя посещениями и оптимизирует всю траекторию, чтобы снова согласовать карту.

Движение между двумя ракурсами и проблема масштаба#

В основе этапа отслеживания лежит геометрия двух ракурсов, основанная на эпиполярной геометрии: по признакам, сопоставленным между двумя кадрами, эссенциальная матрица кодирует поворот камеры и направление ее перемещения. В этом примере с OpenCV синтетические 3D-ориентиры с шумом проецируются на два кадра, после чего по ним восстанавливается перемещение между кадрами:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]])  # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3))  # static 3D landmarks 3-6 m ahead

# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])


def project(X, R, t):
    """Project 3D points to pixels and add 0.5 px of feature-detection noise."""
    x = (K @ (X @ R.T + t).T).T
    return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))


pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)

# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")

Программа восстанавливает поворот на 5,72 градуса при фактическом значении 5,00 градуса, а направление перемещения — [-1.0, -0.09, 0.02] при фактическом [-1, 0, 0], но длина вектора перемещения всегда равна 1. Одна камера не может определить, проехала ли она 0,3 м мимо близких объектов или 3 м мимо объектов, расположенных в десять раз дальше. Поэтому в монокулярной SLAM масштаб произвольно задается при запуске и со временем дрейфует. Масштаб в физических единицах задают стереобаза, датчик глубины или IMU.

Динамические сцены и семантическая SLAM#

Большинство конвейеров SLAM предполагают, что мир неподвижен, поэтому признаки на идущих людях и проезжающих автомобилях сбивают оценку положения. Системы семантической SLAM используют сегментацию, чтобы находить движущиеся объекты и игнорировать признаки на них. В 2018 году в DynaSLAM для этой цели добавили маски Mask R-CNN в ORB-SLAM2. Модель сегментации Ultralytics YOLO26 выполняет ту же задачу с частотой кадров в реальном времени, создавая маску, которая ограничивает извлечение признаков неподвижными объектами сцены:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7])  # people and vehicles
result = results[0]

# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
    cv2.fillPoly(static, [polygon.astype(np.int32)], 0)

orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")

# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))

Выведенное число показывает долю признаков, которые иначе соответствовали бы движущимся объектам, а static_features.jpg отображает признаки, оставшиеся для отслеживания. Маски с метками также позволяют семантическому картографированию добавлять классы объектов непосредственно на карту.

  • SLAM с LiDAR: Измеряет расстояния напрямую с помощью лазерных импульсов, поэтому обеспечивает масштаб в физических единицах и работает в темноте, но требует более дорогих датчиков и потребляет больше энергии. Визуальная SLAM использует недорогие камеры и фиксирует внешний вид, что помогает распознавать уже посещенные места, однако она плохо работает при низкой освещенности, размытии из-за движения и в сценах без текстуры, например у пустых стен.
  • Визуальная одометрия: Только фронтенд отслеживания. Он оценивает перемещение, но не поддерживает глобальную карту и не может корректировать дрейф с помощью замыкания цикла.
  • Восстановление структуры по движению (SfM): Восстанавливает сцену офлайн по неупорядоченной коллекции фотографий, тогда как SLAM обрабатывает кадры последовательно, по мере их поступления.
  • Отслеживание объектов: Следит за конкретными объектами между кадрами видео. SLAM отслеживает саму камеру относительно неподвижного мира.

Классические и обучаемые подходы#

Системы на основе признаков, например ORB-SLAM3, поддерживающая монокулярные, стереоскопические, RGB-D и визуально-инерциальные конфигурации, широко используются благодаря высокой скорости и точности в сценах с текстурой. Обучаемые системы заменяют компоненты, созданные вручную, на нейронные сети: DROID-SLAM (2021) итеративно обновляет плотный оптический поток через дифференцируемый слой пакетной оптимизации. Другие современные системы хранят карту в виде гауссовых сплатов или полей нейронного излучения, создавая фотореалистичные карты, которые можно визуализировать с новых ракурсов. MASt3R-SLAM, отмеченная на CVPR 2025 работа, использует MASt3R — обучаемую модель восстановления 3D-сцены по двум ракурсам — для плотной монокулярной SLAM со скоростью 15 FPS без предположения о фиксированной параметрической модели камеры.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения