Sensor Fusion

A fusão de sensores combina medições de vários sensores para criar uma compreensão do ambiente mais precisa, completa e fiável do que a fornecida por qualquer sensor isolado. Em visão computacional, isto significa muitas vezes combinar imagens de câmaras com LiDAR, radar, GPS, microfones ou unidades de medição inercial. O conceito mais amplo de fusão de sensores apoia máquinas autónomas ao equilibrar pontos fortes complementares. Por exemplo, as câmaras captam cores e detalhes semânticos, enquanto o radar mede com fiabilidade a distância e a velocidade em condições de fraca visibilidade.

Como funciona a fusão de sensores#

Um pipeline de fusão primeiro sincroniza as leituras dos sensores, transforma-as em um sistema de coordenadas compartilhado e estima a incerteza de cada medição. Em seguida, combina as informações em um de três níveis:

• Fusão precoce combina entradas brutas antes do processamento, preservando detalhes, mas exigindo alinhamento preciso.
• A fusão ao nível das características combina representações aprendidas após a extração de características. Sistemas recentes como a fusão de radar e câmaras RCBEVDet e a fusão de LiDAR e câmaras GAFusion usam características de vista aérea e atenção para alinhar modalidades.
• Fusão tardia combina saídas como caixas de deteção de objetos, estimativas de profundidade ou probabilidades de classe. É modular e pode continuar funcionando quando um sensor falha.

Os métodos tradicionais de estimativa de estado incluem o filtro de Kalman e o filtro de Kalman estendido. Os sistemas modernos de aprendizado profundo aprendem cada vez mais pesos adaptativos para que sensores não confiáveis contribuam menos.

Aplicações no mundo real#

• Veículos autônomos: as câmeras identificam pedestres e placas de trânsito, o LiDAR fornece geometria 3D e o radar estima o movimento. Em fevereiro de 2026, a Waymo descreveu seu Waymo Driver de sexta geração como um sistema que usa fusão de dados aprendida por máquina entre entradas de câmeras, LiDAR, radar e áudio para oferecer redundância em condições meteorológicas difíceis.
• Robótica: Robôs móveis combinam dados de câmera, codificadores de roda, IMU e sensores de distância para navegar. Combinar percepção com SLAM visual ajuda o robô a localizar-se enquanto mapeia ambientes dinâmicos.
• Sistemas de visão industrial: As fábricas combinam sensores RGB, térmicos, de vibração e de profundidade para detetar defeitos ou falhas de equipamento que podem ser invisíveis em imagens comuns.

Fusão de sensores com Ultralytics YOLO#

O Ultralytics YOLO26 pode fornecer o ramo de percepção por câmera de um sistema de fusão. Este exemplo gera deteções que podem ser associadas a medições sincronizadas de radar ou profundidade:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Em vídeos, o modo de rastreamento do YOLO pode manter as identidades dos objetos antes da fusão com estimativas de distância ou movimento.

Pesquisa atual e práticas recomendadas#

A investigação de 2024–2026 dá ênfase à fusão adaptada às condições meteorológicas, às representações de vista aérea, ao contexto temporal e à degradação progressiva. Trabalhos recentes exploram a fusão de LiDAR e radar 4D em condições meteorológicas adversas, a fusão adaptável a sensores e a robustez perante dados de sensores desatualizados ou atrasados.

As práticas recomendadas incluem calibração espacial precisa, registros de data e hora do hardware, ponderação que considere a incerteza, testes de perda de sensores e validação em diferentes condições meteorológicas e de iluminação. A sincronização temporal e a configuração consistente dos sensores são essenciais, enquanto conjuntos de dados como o MSU-4S dão suporte a testes em diferentes estações do ano.

A fusão de sensores difere da integração de sensores, que conecta principalmente sensores a um sistema, e do aprendizado multimodal, que pode combinar entradas não sensoriais, como texto. As equipes podem usar a Ultralytics Platform para anotar dados visuais, treinar modelos, implantar componentes de percepção e monitorá-los como parte de um pipeline de fusão maior.