Multi-Object Tracking (MOT)

Multi-Object Tracking (MOT) là một tác vụ động trong computer vision (CV) bao gồm việc phát hiện nhiều thực thể riêng biệt trong một luồng video và duy trì danh tính của chúng theo thời gian. Không giống như object detection tiêu chuẩn, vốn coi mọi khung hình là một ảnh chụp độc lập, MOT đưa chiều thời gian vào artificial intelligence (AI). Bằng cách gán một số nhận diện (ID) duy nhất cho mỗi thể hiện được phát hiện—chẳng hạn như một người đi bộ cụ thể trong đám đông hoặc một phương tiện trên đường cao tốc—các thuật toán MOT cho phép hệ thống truy vết quỹ đạo, phân tích hành vi và hiểu các tương tác. Khả năng này là nền tảng cho video understanding hiện đại và cho phép máy móc nhận thức tính liên tục trong một môi trường đang thay đổi.

Cách thức hoạt động của MOT#

Hầu hết các hệ thống theo dõi đương đại hoạt động dựa trên mô hình "theo dõi bằng phát hiện" (tracking-by-detection). Phương pháp này chia quy trình thành hai giai đoạn chính: xác định những gì có trong khung hình và sau đó liên kết các kết quả đó với các đối tượng đã biết từ trước.

1. Detection: Trong mỗi khung hình, một mô hình hiệu suất cao như YOLO26 quét hình ảnh để định vị các đối tượng, tạo ra bounding boxes và xác suất lớp.

2. Motion Prediction: Để dự đoán nơi đối tượng sẽ di chuyển tiếp theo, các thuật toán thường sử dụng Kalman Filter. Công cụ toán học này ước tính trạng thái của một hệ thống động—chẳng hạn như vận tốc và vị trí—giúp thu hẹp vùng tìm kiếm ở khung hình tiếp theo.

3. Data Association: Hệ thống khớp các phát hiện mới với các đường đi hiện có. Các phương pháp tối ưu hóa như Hungarian algorithm giải quyết bài toán gán này bằng cách giảm thiểu chi phí khớp, thường dựa vào Intersection over Union (IoU) để đo lường độ chồng chéo không gian.

4. Re-Identification (ReID): Khi xảy ra hiện tượng cản trở thị giác—được gọi là occlusion—các trình theo dõi nâng cao sử dụng embeddings trực quan để nhận dạng đối tượng khi nó xuất hiện trở lại. Điều này giúp ngăn chặn "chuyển đổi ID", đảm bảo hệ thống biết rằng chiếc xe đi ra từ đường hầm chính là chiếc xe đã đi vào đó.

Phân biệt MOT với Theo dõi đơn đối tượng#

Mặc dù thuật ngữ tương tự, Multi-Object Tracking (MOT) khác biệt đáng kể so với Single Object Tracking (SOT). SOT tập trung vào việc theo dõi một mục tiêu cụ thể được khởi tạo ở khung hình đầu tiên, thường bỏ qua tất cả các thực thể khác. Ngược lại, MOT phải xử lý số lượng mục tiêu không xác định và thay đổi có thể đi vào hoặc rời khỏi cảnh bất cứ lúc nào. Điều này làm cho MOT đòi hỏi tính toán cao hơn, vì nó yêu cầu logic mạnh mẽ để xử lý việc khởiInitiation đường đi, chấm dứt và các tương tác phức tạp giữa nhiều vật thể di chuyển.

Các ứng dụng trong thực tế#

Khả năng theo dõi đồng thời nhiều thực thể thúc đẩy đổi mới trên nhiều ngành công nghiệp lớn.

• Autonomous Driving: Xe tự lái phụ thuộc rất nhiều vào MOT để điều hướng an toàn. Bằng cách theo dõi người đi bộ, người đi xe đạp và các phương tiện khác, autonomous systems có thể dự đoán các vị trí trong tương lai để tránh va chạm. Quá trình này thường bao gồm việc kết hợp dữ liệu từ camera và LiDAR sensors để đạt độ tin cậy tối đa.
• Retail Analytics: Trong các cửa hàng vật lý, các nhà bán lẻ sử dụng AI in retail để lập bản đồ hành trình của khách hàng. Các thuật toán MOT tạo ra heatmaps về lưu lượng người qua lại, giúp người quản lý tối ưu hóa bố cục cửa hàng và cải thiện queue management trong giờ cao điểm.
• Sports Analytics: Các đội chuyên nghiệp sử dụng MOT để phân tích chuyển động của cầu thủ và sơ đồ chiến thuật của đội. Bằng cách theo dõi mọi cầu thủ trên sân, huấn luyện viên có thể trích xuất các chỉ số chi tiết về tốc độ, khoảng cách di chuyển và vị trí chiến thuật bằng cách sử dụng các kỹ thuật pose estimation.

Triển khai MOT với Python#

Ultralytics giúp việc triển khai theo dõi trở nên đơn giản với các mô hình tiên tiến nhất. Phương thức track() tích hợp liền mạch logic phát hiện và theo dõi, hỗ trợ các thuật toán như ByteTrack và BoT-SORT. Ví dụ bên dưới minh họa việc theo dõi các phương tiện trong video bằng YOLO26 model được khuyến nghị.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Những thách thức trong theo dõi đa đối tượng#

Bất chấp những tiến bộ, MOT vẫn là một lĩnh vực đầy thách thức. Occlusion là một khó khăn chính; khi các đối tượng cắt ngang đường đi của nhau hoặc ẩn sau các chướng ngại vật, việc duy trì danh tính trở nên phức tạp. Crowded scenes, chẳng hạn như một cuộc thi marathon đông đúc hoặc một đàn chim, kiểm tra giới hạn của các thuật toán data association. Hơn nữa, việc duy trì tốc độ real-time inference khi xử lý các luồng video độ phân giải cao đòi hỏi kiến trúc mô hình hiệu quả và thường là phần cứng chuyên dụng như thiết bị NVIDIA Jetson.

Để giải quyết những thách thức này, các nhà nghiên cứu đang khám phá các phương pháp học sâu đầu cuối (end-to-end) hợp nhất việc phát hiện và theo dõi thành một mạng duy nhất, cũng như tận dụng Ultralytics Platform để chú thích các tập dữ liệu khó khăn và đào tạo các mô hình tùy chỉnh mạnh mẽ.