Sensor Fusion

La fusion de capteurs combine les mesures de plusieurs capteurs pour produire une compréhension de l’environnement plus précise, complète et fiable que celle fournie par un seul capteur. En vision par ordinateur, cela consiste souvent à associer des images de caméra au LiDAR, au radar, au GPS, à des microphones ou à des centrales inertielles. Le concept de fusion de capteurs au sens large aide les machines autonomes à tirer parti de forces complémentaires : par exemple, les caméras capturent les couleurs et les détails sémantiques, tandis que le radar mesure de manière fiable la distance et la vitesse lorsque la visibilité est mauvaise.

Fonctionnement de la fusion de capteurs#

Un pipeline de fusion synchronise d’abord les mesures des capteurs, les transforme dans un système de coordonnées commun et estime l’incertitude de chaque mesure. Il combine ensuite les informations à l’un de ces trois niveaux :

• La fusion précoce combine les entrées brutes avant leur traitement, ce qui préserve les détails mais nécessite un alignement précis.
• La fusion au niveau des caractéristiques combine les représentations apprises après l’extraction des caractéristiques. Des systèmes récents comme la fusion radar-caméra RCBEVDet et la fusion LiDAR-caméra GAFusion utilisent des caractéristiques en vue aérienne et l’attention pour aligner les modalités.
• La fusion tardive combine des sorties comme les boîtes de détection d’objets, les estimations de profondeur ou les probabilités de classe. Elle est modulaire et peut continuer à fonctionner en cas de défaillance d’un capteur.

Les méthodes traditionnelles d’estimation d’état comprennent le filtre de Kalman et le filtre de Kalman étendu. Les systèmes modernes d’apprentissage profond apprennent de plus en plus souvent des pondérations adaptatives afin que les capteurs peu fiables contribuent moins.

Applications concrètes#

• Véhicules autonomes : Les caméras identifient les piétons et les panneaux de signalisation, le LiDAR fournit la géométrie 3D et le radar estime le mouvement. En février 2026, Waymo a indiqué que son Waymo Driver de sixième génération utilisait la fusion par apprentissage automatique des entrées des caméras, du LiDAR, du radar et de l’audio afin d’assurer une redondance par mauvais temps.
• Robotique : Les robots mobiles fusionnent les données des caméras, des codeurs de roues, des IMU et des capteurs de distance pour se déplacer. La combinaison de la perception et du SLAM visuel aide un robot à se localiser tout en cartographiant des environnements dynamiques.
• Systèmes de vision industrielle : Les usines combinent des capteurs RVB, thermiques, de vibration et de profondeur pour détecter des défauts ou des défaillances d’équipement qui pourraient passer inaperçus sur des images ordinaires.

Fusion de capteurs avec Ultralytics YOLO#

Ultralytics YOLO26 peut fournir la branche de perception par caméra d’un système de fusion. Cet exemple génère des détections qui peuvent être associées à des mesures radar ou de profondeur synchronisées :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Pour les vidéos, le mode de suivi YOLO peut maintenir l’identité des objets avant la fusion des estimations de distance ou de mouvement.

Recherches actuelles et bonnes pratiques#

Les recherches de 2024 à 2026 mettent l’accent sur la fusion tenant compte des conditions météorologiques, les représentations en vue aérienne, le contexte temporel et la dégradation progressive. Des travaux récents explorent la fusion du LiDAR et du radar 4D par mauvais temps, la fusion adaptative aux capteurs et la robustesse aux données de capteur périmées ou retardées.

Les bonnes pratiques comprennent un calibrage spatial précis, des horodatages matériels, une pondération tenant compte de l’incertitude, des tests de perte de capteurs et une validation dans différentes conditions météorologiques et d’éclairage. La synchronisation temporelle et une configuration cohérente des capteurs sont essentielles, tandis que des jeux de données comme MSU-4S permettent de réaliser des tests sur plusieurs saisons.

La fusion de capteurs diffère de l’intégration de capteurs, qui consiste surtout à connecter des capteurs à un système, et de l’apprentissage multimodal, qui peut combiner des entrées non issues de capteurs, comme du texte. Les équipes peuvent utiliser la plateforme Ultralytics pour annoter des données de vision, entraîner des modèles, déployer des composants de perception et les surveiller dans le cadre d’un pipeline de fusion plus vaste.