Sensor Fusion

Слияние датчиков объединяет измерения с нескольких датчиков для создания более точного, полного и надежного представления об окружающей среде, чем может обеспечить любой отдельный датчик. В computer vision это часто означает объединение изображений с камер с LiDAR, радаром, GPS, микрофонами или инерциальными измерительными модулями. Более широкая sensor fusion concept поддерживает автономные машины, балансируя взаимодополняющие сильные стороны: например, камеры фиксируют цвет и семантические детали, в то время как радар надежно измеряет расстояние и скорость при плохой видимости. (developer.nvidia.com)

Как работает слияние датчиков#

Конвейер слияния сначала синхронизирует показания датчиков, преобразует их в общую систему координат и оценивает неопределенность каждого измерения. Затем он объединяет информацию на одном из трех уровней:

• Раннее слияние объединяет необработанные входные данные перед их обработкой, сохраняя детализацию, но требуя точного выравнивания.
• Feature-level fusion объединяет извлеченные представления после feature extraction. Современные системы, такие как RCBEVDet radar-camera fusion и GAFusion LiDAR-camera fusion, используют признаки вида сверху и механизм внимания для выравнивания модальностей. (openaccess.thecvf.com)
• Late fusion объединяет выходные данные, такие как рамки object detection, оценки глубины или вероятности классов. Она является модульной и может продолжать работу при выходе из строя одного датчика.

Традиционные методы оценки состояния включают Kalman filter и Extended Kalman Filter. Современные системы глубокого обучения все чаще изучают адаптивные веса, благодаря чему ненадежные датчики вносят меньший вклад.

Реальные приложения#

• Autonomous Vehicles: Камеры идентифицируют пешеходов и дорожные знаки, LiDAR предоставляет 3D-геометрию, а радар оценивает движение. В феврале 2026 года sixth-generation Waymo Driver описал использование слияния на основе машинного обучения для входов с камеры, LiDAR, радара и аудио с целью обеспечения резервирования в сложных погодных условиях. (waymo.com)
• Robotics: Мобильные роботы объединяют данные с камер, энкодеров колес, IMU и дальномеров для навигации. Сочетание восприятия с Visual SLAM помогает роботы определять свое местоположение при построении карты динамического окружения.
• Industrial Vision Systems: Заводы объединяют RGB-, тепловизионные, вибрационные датчики и датчики глубины для обнаружения дефектов или отказов оборудования, которые могут быть невидимы на обычных изображениях.

Слияние датчиков с Ultralytics YOLO#

Ultralytics YOLO26 может обеспечивать ветку восприятия с камеры в системе слияния. Этот пример генерирует обнаружения, которые можно связать с синхронизированными измерениями радара или глубины:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Для видео YOLO tracking mode может сохранять идентификаторы объектов до того, как будут объединены оценки дальности или движения.

Текущие исследования и передовые методы#

Исследования 2024–2026 годов подчеркивают слияние с учетом погоды, представления вида сверху, временной контекст и плавное ухудшение характеристик. Недавние работы исследуют LiDAR and 4D radar fusion in adverse weather, sensor-adaptive fusion и устойчивость к stale or delayed sensor data. (openaccess.thecvf.com)

Лучшие практики включают точную пространственную калибровку, аппаратные метки времени, взвешивание с учетом неопределенности, тестирование на сбои датчиков и валидацию в различных погодных условиях и условиях освещения. ROS timing guidance и Autoware sensor configuration practices подчеркивают синхронизацию как необходимый элемент, в то время как такие наборы данных, как MSU-4S, поддерживают тестирование в разные сезоны. (docs.ros.org)

Слияние датчиков отличается от sensor integration, которая в первую очередь подключает датчики к системе, и от multimodal learning, которое может объединять несенсорные входные данные, такие как текст. Команды могут использовать Ultralytics Platform для разметки данных компьютерного зрения, обучения моделей, развертывания компонентов восприятия и мониторинга их работы в составе более крупного конвейера слияния.