Sensor Fusion

Hợp nhất cảm biến kết hợp phép đo từ nhiều cảm biến để tạo ra hiểu biết về môi trường chính xác, toàn diện và đáng tin cậy hơn so với khả năng của bất kỳ cảm biến đơn lẻ nào. Trong thị giác máy tính, việc này thường có nghĩa là kết hợp ảnh camera với LiDAR, radar, GPS, microphone hoặc đơn vị đo quán tính. Khái niệm hợp nhất cảm biến rộng hơn hỗ trợ máy tự hành bằng cách cân bằng các thế mạnh bổ trợ—chẳng hạn camera ghi lại màu sắc và chi tiết ngữ nghĩa, còn radar đo khoảng cách và vận tốc đáng tin cậy trong điều kiện tầm nhìn kém.

Cách hợp nhất cảm biến hoạt động#

Pipeline hợp nhất trước tiên đồng bộ các phép đo cảm biến, chuyển đổi chúng sang một hệ tọa độ chung và ước tính độ bất định của từng phép đo. Sau đó, pipeline kết hợp thông tin ở một trong ba cấp độ:

• Hợp nhất sớm kết hợp đầu vào thô trước khi xử lý, giữ lại chi tiết nhưng đòi hỏi căn chỉnh chính xác.
• Hợp nhất ở cấp đặc trưng kết hợp các biểu diễn đã học sau bước trích xuất đặc trưng. Các hệ thống gần đây như hợp nhất radar-camera RCBEVDet và hợp nhất LiDAR-camera GAFusion dùng đặc trưng góc nhìn từ trên cao và attention để căn chỉnh các phương thức.
• Hợp nhất muộn kết hợp các đầu ra như bounding box phát hiện đối tượng, ước tính độ sâu hoặc xác suất lớp. Phương pháp này có tính module và vẫn có thể tiếp tục hoạt động khi một cảm biến gặp lỗi.

Các phương pháp ước tính trạng thái truyền thống gồm bộ lọc Kalman và Bộ lọc Kalman mở rộng. Các hệ thống deep learning hiện đại ngày càng học trọng số thích ứng để giảm đóng góp của những cảm biến không đáng tin cậy.

Ứng dụng thực tế#

• Xe tự hành: Camera nhận diện người đi bộ và biển báo giao thông, LiDAR cung cấp hình học 3D, còn radar ước lượng chuyển động. Tháng 2 năm 2026, Waymo cho biết Waymo Driver thế hệ thứ sáu sử dụng phương pháp hợp nhất dựa trên machine learning cho dữ liệu camera, LiDAR, radar và âm thanh nhằm cung cấp tính dự phòng trong điều kiện thời tiết khắc nghiệt.
• Robot học: Robot di động hợp nhất dữ liệu camera, encoder bánh xe, IMU và cảm biến khoảng cách để điều hướng. Kết hợp tri giác với Visual SLAM giúp robot tự định vị trong khi lập bản đồ môi trường biến động.
• Hệ thống thị giác công nghiệp: Nhà máy kết hợp cảm biến RGB, nhiệt, rung và độ sâu để phát hiện lỗi hoặc sự cố thiết bị có thể không nhìn thấy trong ảnh thông thường.

Hợp nhất cảm biến với Ultralytics YOLO#

Ultralytics YOLO26 có thể cung cấp nhánh tri giác camera của hệ thống hợp nhất. Ví dụ này tạo ra các kết quả phát hiện có thể được liên kết với dữ liệu radar hoặc độ sâu đã đồng bộ:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Đối với video, chế độ tracking của YOLO có thể duy trì danh tính đối tượng trước khi hợp nhất với các ước tính khoảng cách hoặc chuyển động.

Nghiên cứu hiện nay và phương pháp hay nhất#

Nghiên cứu giai đoạn 2024–2026 nhấn mạnh hợp nhất nhận biết thời tiết, biểu diễn góc nhìn từ trên cao, ngữ cảnh theo thời gian và khả năng suy giảm linh hoạt. Nghiên cứu gần đây tìm hiểu hợp nhất LiDAR và radar 4D trong thời tiết bất lợi, hợp nhất thích ứng theo cảm biến và độ vững chắc trước dữ liệu cảm biến cũ hoặc đến trễ.

Các phương pháp tốt nhất gồm hiệu chuẩn không gian chính xác, timestamp phần cứng, weighting có xét đến độ bất định, kiểm thử mất cảm biến và validation trong nhiều điều kiện thời tiết, ánh sáng. Đồng bộ thời gian và cấu hình cảm biến nhất quán là yếu tố thiết yếu, còn các dataset như MSU-4S hỗ trợ kiểm thử qua các mùa.

Hợp nhất cảm biến khác với tích hợp cảm biến, vốn chủ yếu kết nối cảm biến với một hệ thống, và học đa phương thức, vốn có thể kết hợp các đầu vào không phải cảm biến như văn bản. Các nhóm có thể sử dụng Ultralytics Platform để gán nhãn dữ liệu thị giác, huấn luyện model, triển khai các thành phần tri giác và giám sát chúng như một phần của pipeline hợp nhất lớn hơn.