Sensor Fusion

Объединение данных датчиков позволяет получить более точное, полное и надежное представление об окружающей среде, чем любой отдельный датчик. В компьютерном зрении это часто означает объединение изображений с камер с данными LiDAR, радара, GPS, микрофонов или инерциальных измерительных блоков. Более широкое понятие объединения данных датчиков помогает автономным машинам использовать взаимодополняющие преимущества разных источников: например, камеры передают цвет и семантические детали, а радар надежно измеряет расстояние и скорость при плохой видимости.

Как работает слияние данных с датчиков#

Сначала конвейер слияния синхронизирует показания датчиков, преобразует их в общую систему координат и оценивает неопределённость каждого измерения. Затем он объединяет информацию на одном из трёх уровней:

• Раннее слияние объединяет исходные данные до обработки, сохраняя детали, но требуя точного выравнивания.
• Объединение на уровне признаков совмещает выученные представления после извлечения признаков. В недавних системах, таких как объединение радара и камеры RCBEVDet и объединение LiDAR и камеры GAFusion, для согласования модальностей используются признаки с видом сверху и внимание.
• Позднее слияние объединяет выходные данные, например рамки обнаружения объектов, оценки глубины или вероятности классов. Такой подход модульный и позволяет продолжать работу при отказе одного из датчиков.

К традиционным методам оценки состояния относятся фильтр Калмана и расширенный фильтр Калмана. В современных системах глубокого обучения всё чаще обучаются адаптивные веса, чтобы ненадёжные датчики вносили меньший вклад.

Примеры применения в реальных условиях#

• Автономные транспортные средства: Камеры распознают пешеходов и дорожные знаки, LiDAR предоставляет трехмерные геометрические данные, а радар оценивает движение. В феврале 2026 года Waymo сообщила, что ее система Waymo Driver шестого поколения использует слияние данных с камер, LiDAR, радара и аудиовходов на основе машинного обучения, чтобы обеспечить резервирование в сложных погодных условиях.
• Робототехника: Мобильные роботы объединяют данные с камер, колесных энкодеров, IMU и дальномеров для навигации. Сочетание восприятия с визуальной SLAM помогает роботу определять своё местоположение, одновременно составляя карту динамической среды.
• Промышленные системы компьютерного зрения: На заводах объединяют датчики RGB, тепловизионные датчики, датчики вибрации и глубины, чтобы обнаруживать дефекты или отказы оборудования, которые могут быть незаметны на обычных изображениях.

Слияние данных с датчиков с Ultralytics YOLO#

Ultralytics YOLO26 может обеспечить ветвь восприятия с камеры в системе слияния данных. В этом примере создаются обнаружения, которые можно сопоставить с синхронизированными измерениями радара или глубины:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Для видео режим отслеживания YOLO может сохранять идентификаторы объектов перед объединением оценок дальности или движения.

Текущие исследования и лучшие практики#

В исследованиях 2024–2026 годов особое внимание уделяется объединению данных с учетом погоды, представлениям с видом сверху, временному контексту и плавной деградации. В недавних работах рассматриваются объединение данных LiDAR и радара 4D в неблагоприятную погоду, адаптивное к датчикам объединение данных и устойчивость к устаревшим или задержанным данным датчиков.

Рекомендуется точно калибровать пространственное положение датчиков, использовать аппаратные метки времени, учитывать неопределенность при взвешивании данных, тестировать отключение датчиков и проверять систему при разных погодных условиях и освещении. Синхронизация времени и единообразная конфигурация датчиков крайне важны, а наборы данных, такие как MSU-4S, позволяют проводить испытания в разные сезоны.

Слияние данных с датчиков отличается от интеграции датчиков, которая в первую очередь связывает датчики с системой, и от мультимодального обучения, при котором могут объединяться несенсорные данные, например текст. Команды могут использовать платформу Ultralytics, чтобы аннотировать данные компьютерного зрения, обучать модели, развёртывать компоненты восприятия и отслеживать их в рамках более крупного конвейера слияния данных.