Sensor Fusion

Слияние датчиков объединяет измерения с нескольких сенсоров для создания более точного, полного и надежного представления об окружающей среде, чем может обеспечить любой отдельный датчик. В computer vision это часто означает объединение изображений с камер с данными LiDAR, радаров, GPS, микрофонов или инерциальных измерительных модулей. Более широкая концепция слияния датчиков поддерживает работу автономных машин за счет балансировки их взаимодополняющих сильных сторон — например, камеры фиксируют цвет и семантические детали, в то время как радар надежно измеряет расстояние и скорость в условиях плохой видимости. (developer.nvidia.com)

Link to this sectionКак работает слияние датчиков#

Конвейер слияния сначала синхронизирует показания датчиков, преобразует их в общую систему координат и оценивает неопределенность каждого измерения. Затем он объединяет информацию на одном из трех уровней:

• Раннее слияние объединяет необработанные входные данные перед их обработкой, сохраняя детализацию, но требуя точного выравнивания.
• Слияние на уровне признаков комбинирует изученные представления после извлечения признаков. В современных системах, таких как RCBEVDet radar-camera fusion и GAFusion LiDAR-camera fusion, используются признаки вида сверху (bird’s-eye-view) и механизмы внимания для выравнивания модальностей. (openaccess.thecvf.com)
• Позднее слияние объединяет выходные данные, такие как рамки обнаружения объектов, оценки глубины или вероятности классов. Этот подход модульный и может продолжать работать, даже если один из датчиков выйдет из строя.

Традиционные методы оценки состояния включают фильтр Калмана и расширенный фильтр Калмана. Современные системы глубокого обучения все чаще обучаются определять адаптивные веса, чтобы вклад ненадежных датчиков снижался.

Link to this sectionРеальные приложения#

• Автономные транспортные средства: Камеры идентифицируют пешеходов и дорожные знаки, LiDAR предоставляет 3D-геометрию, а радар оценивает движение. В феврале 2026 года шестое поколение Waymo Driver описало использование слияния данных, полученных с помощью машинного обучения, между камерами, LiDAR, радаром и аудиовходами для обеспечения избыточности в сложных погодных условиях. (waymo.com)
• Робототехника: Мобильные роботы объединяют данные с камер, колесных энкодеров, IMU и датчиков расстояния для навигации. Сочетание восприятия с Visual SLAM помогает роботу определять свое местоположение при построении карты динамической среды.
• Промышленные системы технического зрения: На заводах объединяются RGB-камеры, тепловизоры, датчики вибрации и глубины для обнаружения дефектов или отказов оборудования, которые могут быть незаметны на обычных изображениях.

Link to this sectionСлияние датчиков с Ultralytics YOLO#

Ultralytics YOLO26 может обеспечить ветку восприятия камерой в системе слияния данных. В этом примере генерируются обнаружения, которые можно связать с синхронизированными измерениями радара или глубины:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Для видео режим отслеживания YOLO позволяет сохранять идентификаторы объектов до того, как будут объединены оценки дальности или движения.

Link to this sectionТекущие исследования и передовые методы#

Исследования 2024–2026 годов делают акцент на слиянии с учетом погодных условий, представлениях вида сверху, временном контексте и изящной деградации (graceful degradation). Недавние работы исследуют слияние LiDAR и 4D-радара в неблагоприятных погодных условиях, адаптивное к датчикам слияние и устойчивость к устаревшим или задержанным данным датчиков. (openaccess.thecvf.com)

Передовые методы включают точную пространственную калибровку, аппаратные метки времени, взвешивание с учетом неопределенности, тестирование на отказ датчиков и проверку в различных погодных условиях и условиях освещения. Руководство по таймингам ROS и практики конфигурирования датчиков Autoware подчеркивают важность синхронизации, а наборы данных, такие как MSU-4S, поддерживают тестирование в разные сезоны. (docs.ros.org)

Слияние датчиков отличается от интеграции датчиков, которая в основном заключается в подключении датчиков к системе, и от мультимодального обучения, которое может объединять несенсорные данные, такие как текст. Команды могут использовать Ultralytics Platform для разметки визуальных данных, обучения моделей, развертывания компонентов восприятия и мониторинга их работы как части более крупного конвейера слияния.