Visual SLAM (Simultaneous Localization and Mapping)

Визуальная SLAM (одновременная локализация и построение карты) — это ключевой метод компьютерного зрения, который позволяет агенту, например роботу или мобильному устройству, одновременно составлять карту неизвестного окружения и определять собственное положение в нём, используя только изображение с камеры. В отличие от традиционных систем SLAM, использующих дорогие лазерные датчики, визуальная SLAM работает со стандартными монокулярными, стереоскопическими камерами или камерами RGB-D. Извлекая и отслеживая визуальные признаки на последовательных кадрах, система вычисляет траекторию камеры и постепенно строит 3D-облако точек или плотную карту окружения. Эта технология лежит в основе автономной навигации и пространственного восприятия машин.

Как работает визуальная SLAM#

Типичный конвейер визуальной SLAM состоит из двух основных компонентов: фронтенда и бэкенда. Фронтенд обрабатывает данные датчиков: извлекает визуальные признаки (находит характерные углы или границы) и сопоставляет их между кадрами, чтобы оценить движение камеры во времени. Бэкенд использует данные одометрии и выполняет алгоритмы оптимизации, например пакетную оптимизацию, чтобы скорректировать дрейф и уточнить как карту окружения, так и оценку положения камеры.

Последние прорывы 2024 и 2025 годов изменили подход: традиционные рукотворные признаки, применявшиеся в устаревших фреймворках, например ORB-SLAM3, уступают место методам глубокого обучения. Современные системы используют нейронные сети для плотного оптического потока и сопоставления признаков, что делает их устойчивыми к размытию из-за движения и условиям с низкой текстурированностью. Кроме того, новые методы рендеринга на основе 3D Gaussian Splatting и нейронных полей излучения (NeRF) обеспечивают плотное картографирование в реальном времени с фотореалистичной передачей мельчайших геометрических деталей, значительно превосходя в этом стандартные облака точек.

Визуальная SLAM, SLAM на основе LiDAR и отслеживание объектов#

Чтобы выбрать подходящее решение, важно понимать различия между технологиями картографирования и отслеживания:

• Визуальная SLAM и SLAM на основе LiDAR: визуальная SLAM использует недорогие камеры для восприятия насыщенных визуальных текстур, а SLAM на основе LiDAR — лазерные лучи для точного измерения физических расстояний. LiDAR обеспечивает высокую точность, но стоит дорого и потребляет много энергии. Визуальная SLAM экономичнее и передаёт информацию о цвете, но может плохо работать при недостаточном освещении.
• Визуальная SLAM и отслеживание объектов: отслеживание объектов выделяет конкретные объекты и следит за их перемещением на видеокадрах. Визуальная SLAM, напротив, отслеживает движение камеры относительно неподвижного окружения, чтобы построить карту. Однако эти подходы объединяются в семантической SLAM: модели обнаружения объектов распознают движущиеся объекты и намеренно исключают их из статической карты.

Примеры применения в реальных условиях#

Визуальная SLAM тесно интегрирована в современные ИИ-агенты и системы пространственных вычислений.

• Робототехника и автономные дроны: роботы-доставщики и дроны используют визуальную SLAM для навигации в средах без GPS, например на складах или среди плотной городской застройки. Создавая карты в реальном времени, они могут самостоятельно прокладывать маршруты и избегать препятствий.
• Дополненная реальность (AR) и виртуальная реальность (VR): коммерческие умные очки активно используют визуальную SLAM для понимания геометрии помещения. Это позволяет системам AR точно закреплять цифровые объекты, например виртуальный монитор, на физических поверхностях, чтобы они оставались на месте при движении пользователя.
• Вспомогательные навигационные системы: последние разработки в области семантической SLAM на основе глубокого обучения помогают создавать носимые навигационные устройства для людей с нарушениями зрения, которые прокладывают безопасные маршруты в реальном времени в обход движущихся физических препятствий.

Интеграция семантической SLAM и Ultralytics YOLO26#

Одна из главных проблем визуальной SLAM — динамичное окружение, в котором движущиеся объекты искажают карту. Семантическая SLAM решает эту проблему, объединяя традиционный конвейер SLAM с высокоскоростными моделями компьютерного зрения. Используя Ultralytics YOLO26 для сегментации экземпляров или обнаружения объектов, система может семантически размечать сцену и отфильтровывать движущиеся объекты, значительно повышая точность локализации.

В приведённом ниже блоке кода показано, как использовать Ultralytics YOLO26 для определения координат движущихся объектов (например, людей и машин), чтобы механизм сопоставления признаков SLAM мог явно их игнорировать:

from ultralytics import YOLO

# Load Ultralytics YOLO26 to detect dynamic objects in the scene
model = YOLO("yolo26n.pt")
results = model("robot_camera_view.jpg")

# Extract bounding boxes of dynamic objects to exclude them from SLAM maps
for box in results[0].boxes:
    if int(box.cls) in [0, 2]:  # Example: Class 0 is person, Class 2 is car
        print(f"Ignore dynamic feature region at coordinates: {box.xyxy[0]}")

Используя современное оборудование для периферийного ИИ, например NVIDIA Jetson, и интегрируя модели через платформу Ultralytics, разработчики могут обучать и развёртывать лёгкие алгоритмы компьютерного зрения непосредственно в конвейерах SLAM. Дополнительную информацию об архитектурах автономного картографирования можно найти в недавних публикациях на IEEE Xplore или arXiv, а способы оптимизации непрерывных конвейеров компьютерного зрения — в документации Ultralytics.