Sensor Fusion

La fusion de capteurs combine les mesures issues de plusieurs capteurs pour créer une compréhension de l'environnement plus précise, complète et fiable que ce que peut offrir un capteur unique. En vision par ordinateur, cela signifie souvent fusionner des images de caméra avec des données LiDAR, radar, GPS, des microphones ou des unités de mesure inertielle. Le concept de fusion de capteurs plus large soutient les machines autonomes en équilibrant des forces complémentaires — par exemple, les caméras capturent la couleur et les détails sémantiques, tandis que le radar mesure la distance et la vitesse de manière fiable en cas de faible visibilité. (developer.nvidia.com)

Link to this sectionComment fonctionne la fusion de capteurs#

Un pipeline de fusion synchronise d'abord les lectures des capteurs, les transforme en un système de coordonnées partagé et estime l'incertitude de chaque mesure. Il combine ensuite les informations à l'un des trois niveaux suivants :

• La fusion précoce (early fusion) fusionne les entrées brutes avant le traitement, conservant les détails mais nécessitant un alignement précis.
• La fusion au niveau des caractéristiques (feature-level fusion) combine des représentations apprises après l'extraction de caractéristiques. Des systèmes récents comme la fusion radar-caméra RCBEVDet et la fusion LiDAR-caméra GAFusion utilisent des caractéristiques en vue plongeante (bird’s-eye-view) et l'attention pour aligner les modalités. (openaccess.thecvf.com)
• La fusion tardive (late fusion) combine des sorties telles que des boîtes de détection d'objets, des estimations de profondeur ou des probabilités de classe. Elle est modulaire et peut continuer à fonctionner lorsqu'un capteur tombe en panne.

Les méthodes traditionnelles d'estimation d'état incluent le filtre de Kalman et le filtre de Kalman étendu. Les systèmes d'apprentissage profond modernes apprennent de plus en plus des poids adaptatifs afin que les capteurs peu fiables contribuent moins.

Link to this sectionApplications concrètes#

• Véhicules autonomes : Les caméras identifient les piétons et les panneaux de signalisation, le LiDAR fournit la géométrie 3D et le radar estime le mouvement. En février 2026, la sixième génération du Waymo Driver a décrit l'utilisation d'une fusion apprise par machine à partir d'entrées caméra, LiDAR, radar et audio pour assurer une redondance dans des conditions météorologiques difficiles. (waymo.com)
• Robotique : Les robots mobiles fusionnent les données de caméra, d'encodeur de roue, d'IMU et de télémétrie pour la navigation. Combiner la perception avec le Visual SLAM aide un robot à se localiser tout en cartographiant des environnements dynamiques.
• Systèmes de vision industrielle : Les usines combinent des capteurs RGB, thermiques, de vibration et de profondeur pour détecter des défauts ou des défaillances d'équipement qui pourraient être invisibles sur des images ordinaires.

Link to this sectionLa fusion de capteurs avec Ultralytics YOLO#

Ultralytics YOLO26 peut fournir la branche de perception par caméra d'un système de fusion. Cet exemple génère des détections qui peuvent être associées à des mesures radar ou de profondeur synchronisées :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Pour la vidéo, le mode de suivi YOLO peut maintenir l'identité des objets avant que les estimations de distance ou de mouvement ne soient fusionnées.

Link to this sectionRecherche actuelle et meilleures pratiques#

La recherche de 2024–2026 met l'accent sur la fusion sensible aux conditions météorologiques, les représentations en vue plongeante, le contexte temporel et la dégradation gracieuse. Des travaux récents explorent la fusion LiDAR et radar 4D par mauvais temps, la fusion adaptative aux capteurs et la robustesse aux données de capteurs obsolètes ou retardées. (openaccess.thecvf.com)

Les meilleures pratiques incluent un étalonnage spatial précis, des horodatages matériels, une pondération basée sur l'incertitude, des tests de défaillance de capteur (dropout) et une validation à travers différentes conditions météorologiques et d'éclairage. Les conseils de synchronisation ROS et les pratiques de configuration des capteurs Autoware soulignent que la synchronisation est essentielle, tandis que des jeux de données tels que MSU-4S permettent des tests à travers les saisons. (docs.ros.org)

La fusion de capteurs diffère de l'intégration de capteurs, qui connecte principalement des capteurs à un système, et de l'apprentissage multimodal, qui peut combiner des entrées autres que celles des capteurs, comme du texte. Les équipes peuvent utiliser Ultralytics Platform pour annoter des données de vision, entraîner des modèles, déployer des composants de perception et les surveiller dans le cadre d'un pipeline de fusion plus large.