Sensor Fusion

Hợp nhất cảm biến kết hợp các phép đo từ nhiều cảm biến để tạo ra sự hiểu biết về môi trường chính xác, đầy đủ và đáng tin cậy hơn so với những gì một cảm biến đơn lẻ có thể cung cấp. Trong thị giác máy tính, điều này thường có nghĩa là hợp nhất hình ảnh từ camera với LiDAR, radar, GPS, micrô hoặc các thiết bị đo quán tính. Khái niệm hợp nhất cảm biến rộng hơn hỗ trợ các cỗ máy tự hành bằng cách cân bằng các điểm mạnh bổ sung cho nhau—ví dụ, camera ghi lại màu sắc và chi tiết ngữ nghĩa, trong khi radar đo khoảng cách và vận tốc đáng tin cậy ngay cả trong điều kiện tầm nhìn kém. (developer.nvidia.com)

Link to this sectionCách thức hoạt động của Hợp nhất cảm biến#

Một quy trình hợp nhất trước tiên đồng bộ hóa các dữ liệu đọc từ cảm biến, chuyển đổi chúng sang một hệ tọa độ chung và ước tính độ không chắc chắn của từng phép đo. Sau đó, nó kết hợp thông tin tại một trong ba cấp độ:

• Hợp nhất sớm kết hợp các dữ liệu đầu vào thô trước khi xử lý, giúp giữ lại chi tiết nhưng đòi hỏi sự căn chỉnh chính xác.
• Hợp nhất cấp độ đặc trưng kết hợp các biểu diễn đã học sau quá trình trích xuất đặc trưng. Các hệ thống gần đây như RCBEVDet radar-camera fusion và GAFusion LiDAR-camera fusion sử dụng các đặc trưng từ góc nhìn chim bay (bird’s-eye-view) và cơ chế attention để căn chỉnh các phương thức dữ liệu. (openaccess.thecvf.com)
• Hợp nhất muộn kết hợp các kết quả đầu ra như các khung phát hiện đối tượng, ước tính độ sâu hoặc xác suất phân loại. Nó có tính mô-đun và có thể tiếp tục hoạt động khi một cảm biến bị lỗi.

Các phương pháp ước tính trạng thái truyền thống bao gồm bộ lọc Kalman và bộ lọc Kalman mở rộng. Các hệ thống học sâu hiện đại ngày càng học các trọng số thích ứng để các cảm biến không đáng tin cậy đóng góp ít hơn.

Link to this sectionCác ứng dụng trong thực tế#

• Xe tự hành: Camera nhận diện người đi bộ và biển báo giao thông, LiDAR cung cấp hình học 3D, và radar ước tính chuyển động. Vào tháng 2 năm 2026, thế hệ thứ sáu của Waymo Driver đã mô tả việc sử dụng hợp nhất dựa trên học máy từ dữ liệu đầu vào của camera, LiDAR, radar và âm thanh để cung cấp khả năng dự phòng trong điều kiện thời tiết khó khăn. (waymo.com)
• Robot: Robot di động hợp nhất dữ liệu từ camera, bộ mã hóa bánh xe, IMU và cảm biến khoảng cách để điều hướng. Việc kết hợp nhận thức với Visual SLAM giúp robot tự định vị trong khi lập bản đồ các môi trường động.
• Hệ thống thị giác công nghiệp: Các nhà máy kết hợp cảm biến RGB, nhiệt, rung động và độ sâu để phát hiện các lỗi hoặc sự cố thiết bị vốn có thể không nhìn thấy được trong hình ảnh thông thường.

Link to this sectionHợp nhất cảm biến với Ultralytics YOLO#

Ultralytics YOLO26 có thể cung cấp nhánh nhận thức camera cho một hệ thống hợp nhất. Ví dụ này tạo ra các phát hiện có thể được liên kết với các phép đo radar hoặc độ sâu đã được đồng bộ hóa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

Đối với video, chế độ theo dõi YOLO có thể duy trì danh tính đối tượng trước khi các ước tính khoảng cách hoặc chuyển động được hợp nhất.

Link to this sectionNghiên cứu hiện tại và các phương pháp thực tiễn tốt nhất#

Các nghiên cứu từ 2024–2026 nhấn mạnh vào hợp nhất nhận biết thời tiết, các biểu diễn góc nhìn chim bay, bối cảnh tạm thời và khả năng suy giảm hiệu suất một cách an toàn. Các công trình gần đây khám phá hợp nhất LiDAR và radar 4D trong thời tiết bất lợi, hợp nhất thích ứng với cảm biến và khả năng chống chịu với dữ liệu cảm biến cũ hoặc bị trễ. (openaccess.thecvf.com)

Các phương pháp thực tiễn tốt nhất bao gồm hiệu chuẩn không gian chính xác, dấu thời gian phần cứng, tính trọng số dựa trên độ không chắc chắn, kiểm thử khi cảm biến bị rớt kết nối, và xác thực trong các điều kiện thời tiết và ánh sáng khác nhau. Hướng dẫn về thời gian ROS và thực tiễn cấu hình cảm biến Autoware làm nổi bật việc đồng bộ hóa là yếu tố thiết yếu, trong khi các bộ dữ liệu như MSU-4S hỗ trợ việc thử nghiệm qua các mùa. (docs.ros.org)

Hợp nhất cảm biến khác với tích hợp cảm biến, vốn chủ yếu kết nối các cảm biến vào hệ thống, và khác với học đa phương thức, vốn có thể kết hợp các dữ liệu đầu vào không phải cảm biến như văn bản. Các đội ngũ có thể sử dụng Ultralytics Platform để gán nhãn dữ liệu thị giác, huấn luyện mô hình, triển khai các thành phần nhận thức và giám sát chúng như một phần của một quy trình hợp nhất lớn hơn.