8 công cụ và thuật toán open source hàng đầu để theo dõi vật thể

Khi một chiếc xe vượt đèn đỏ và vé phạt tự động được gửi đến tài xế, hoặc khi một cầu thủ bóng đá rê bóng trên sân và camera mượt mà theo sát diễn biến, AI đang âm thầm hoạt động ở phía sau. Cụ thể, các hệ thống này dựa vào thị giác máy tính, một nhánh của AI cho phép máy móc quan sát, diễn giải và hiểu thông tin hình ảnh từ thế giới xung quanh.

Trong lĩnh vực thị giác máy tính, một trong những tác vụ then chốt đứng sau các ứng dụng này là theo dõi đối tượng. Tác vụ này được dùng để xác định các đối tượng trong từng khung hình của video, sau đó theo dõi chúng khi di chuyển, chồng lấn với các đối tượng khác hoặc đổi hướng.

Hiện nay có nhiều công cụ theo dõi đối tượng và thuật toán, mỗi công cụ được thiết kế cho các trường hợp sử dụng, yêu cầu hiệu năng và mức độ phức tạp khác nhau. Một số tập trung vào tốc độ và có thể theo dõi hàng chục đối tượng theo thời gian thực, trong khi những công cụ khác ưu tiên độ chính xác hoặc tính ổn định lâu dài trong các điều kiện khó khăn như bị che khuất, chuyển động nhanh hoặc ánh sáng yếu.

Cụ thể, các dự án mã nguồn mở đã đóng vai trò quan trọng trong việc thúc đẩy lĩnh vực này. Vì code được công khai, các developer và nhà nghiên cứu có thể tìm hiểu cách chúng hoạt động, cải tiến các phương pháp hiện có và điều chỉnh chúng cho những ứng dụng mới. Tính cởi mở này đã giúp công nghệ theo dõi đối tượng phát triển nhanh chóng và dễ tích hợp hơn vào các hệ thống thực tế.

Trong bài viết này, chúng ta sẽ tìm hiểu tám công cụ và thuật toán theo dõi đối tượng mã nguồn mở phổ biến. Hãy bắt đầu!

Theo dõi đối tượng là gì?#

Hãy hình dung một tình huống trong đó nhân viên bảo vệ đang xem camera CCTV của một bãi đỗ xe. Anh ấy quyết định theo dõi một chiếc xe màu đỏ. Khi video phát, anh ấy ghi nhớ chiếc xe đó và tiếp tục theo dõi nó bất kể nó đi đâu, ngay cả khi những chiếc xe khác chạy ngang qua hoặc có người đi bộ phía trước.

Theo dõi đối tượng bằng AI cũng tương tự, nhưng hoạt động tự động và trên quy mô lớn. Nói cách khác, theo dõi đối tượng là quá trình bám theo một đối tượng khi nó di chuyển qua các khung hình video và duy trì danh tính nhất quán của nó từ khung hình này sang khung hình tiếp theo.

Trong nhiều hệ thống, quy trình này bắt đầu bằng phát hiện đối tượng, xác định và gắn nhãn cho các đối tượng như người, phương tiện hoặc biển báo giao thông trong từng khung hình. Sau đó, khi các đối tượng di chuyển, xuất hiện, biến mất hoặc chồng lấn, hệ thống theo dõi liên kết các lần phát hiện qua các khung hình để biết đối tượng nào là đối tượng nào và mỗi đối tượng di chuyển đến đâu theo thời gian.

Hình 1. Minh họa về theo dõi đối tượng (Nguồn)

Có hai loại theo dõi phổ biến: theo dõi một đối tượng (SOT), tập trung vào một đối tượng chính (chẳng hạn chỉ theo dõi quả bóng trong video thể thao), và theo dõi nhiều đối tượng (MOT), theo dõi đồng thời nhiều đối tượng và gán cho mỗi đối tượng một ID duy nhất (chẳng hạn theo dõi tất cả xe tại một giao lộ đông đúc).

Bất kể loại theo dõi nào, hầu hết hệ thống đều dựa trên ba thành phần cốt lõi: detector để tìm đối tượng trong từng khung hình, model chuyển động để dự đoán khả năng di chuyển của các đối tượng đó, và bước matching để liên kết các lần phát hiện mới với những đối tượng đã được theo dõi trước đó. Các thành phần này biến video thô thành thông tin có ý nghĩa về cách các đối tượng di chuyển và tương tác theo thời gian.

Nhu cầu về các công cụ theo dõi đối tượng mã nguồn mở#

Trước khi đi sâu vào chi tiết, có thể bạn đang thắc mắc: điều gì khiến các công cụ và thuật toán theo dõi đối tượng mã nguồn mở trở nên đặc biệt đến vậy?

Các công cụ mã nguồn mở đã đóng vai trò lớn trong việc giúp công nghệ theo dõi đối tượng dễ sử dụng hơn và được cung cấp rộng rãi hơn. Vì code được mở, các developer và nhà nghiên cứu có thể xem chính xác tracker hoạt động như thế nào, học hỏi từ đó và điều chỉnh cho dự án của mình thay vì coi nó như một hộp đen.

Chúng cũng được hưởng lợi từ các cộng đồng mạnh. Nhiều công cụ theo dõi mã nguồn mở được duy trì bởi các contributor tích cực, những người bổ sung tính năng mới, cải thiện tốc độ và độ chính xác, sửa bug và giữ cho công cụ phù hợp với các nghiên cứu mới nhất. Sự cộng tác liên tục này giúp chúng duy trì độ tin cậy và tính hữu ích trong nhiều ứng dụng khác nhau.

Chi phí là một lý do lớn khác khiến chúng trở nên quan trọng. Vì các công cụ mã nguồn mở miễn phí, sinh viên, startup và các team nhỏ có thể thử nghiệm, tạo prototype và xây dựng hệ thống thực tế mà không phải lo về phí license hoặc chi phí subscription.

8 công cụ và thuật toán open source hàng đầu để theo dõi vật thể#

Hiện nay có rất nhiều lựa chọn mã nguồn mở để xây dựng hệ thống theo dõi. Một số là thuật toán hoặc model theo dõi có thể tích hợp trực tiếp vào pipeline, trong khi những lựa chọn khác là library và framework giúp việc chạy, quản lý và tích hợp các model đó trở nên dễ dàng hơn. Kết hợp lại, chúng bao phủ mọi khía cạnh từ logic theo dõi cốt lõi đến các công cụ hỗ trợ cần thiết trong một dự án thực tế.

Tiếp theo, hãy cùng xem qua tám công cụ và thuật toán theo dõi đối tượng mã nguồn mở phổ biến.

1. Các model Ultralytics YOLO và package Ultralytics Python#

Một trong những lựa chọn dễ sử dụng và thiết thực nhất để theo dõi đối tượng là kết hợp các model Ultralytics YOLO với package Ultralytics Python. Các model Ultralytics YOLO như Ultralytics YOLO11 và Ultralytics YOLO26 sắp ra mắt là các model thị giác máy tính hỗ trợ nhiều tác vụ thị giác, bao gồm phát hiện đối tượng, phân đoạn instance, ước lượng pose và theo dõi đối tượng.

Hình 2. Ví dụ sử dụng YOLO11 để phát hiện và theo dõi đối tượng. (Nguồn)

Điều thú vị là bản thân các model không theo dõi đối tượng qua các khung hình. Thay vào đó, package Ultralytics Python, một library giúp đơn giản hóa việc chạy và triển khai các model Ultralytics YOLO, cho phép thực hiện việc theo dõi bằng cách kết hợp các lần phát hiện theo từng khung hình của YOLO với các thuật toán theo dõi nhiều đối tượng chuyên dụng như BoT-SORT và ByteTrack.

Với khả năng theo dõi tích hợp sẵn, package Ultralytics và các model Ultralytics YOLO có thể được dùng để phát hiện đối tượng trong từng khung hình, sau đó gán các ID nhất quán để theo dõi chúng khi di chuyển, chồng lấn, rời khỏi khung hình và xuất hiện trở lại sau đó. Phương pháp này ngày càng được áp dụng trong các lĩnh vực như sản xuất và bán lẻ, hỗ trợ những ứng dụng như quy trình kiểm tra lỗi, theo dõi luồng hàng tồn kho và theo dõi khách hàng trong cửa hàng.

2. Tracker OpenCV#

OpenCV là một library thị giác máy tính đồ sộ, bao gồm một tập hợp các thuật toán theo dõi đối tượng. Library này được cộng đồng OpenCV phát triển và duy trì từ năm 1999.

Thay vì dựa vào deep learning, hầu hết các tracker này sử dụng các phương pháp thị giác máy tính truyền thống như bộ lọc tương quan và kỹ thuật dựa trên kernel (theo dõi đối tượng bằng cách đối chiếu diện mạo, chẳng hạn màu sắc và texture, từ khung hình này sang khung hình tiếp theo, thay vì học feature bằng neural network).

Khi sử dụng các thuật toán này, thông thường trước tiên bạn có thể chọn đối tượng muốn theo dõi, sau đó tracker sẽ liên tục tìm kiếm vùng hình ảnh tương đồng nhất trong các khung hình tiếp theo khi đối tượng di chuyển.

Hình 3. Theo dõi đối tượng bằng OpenCV (Nguồn)

Mặc dù các phương pháp này có thể không mạnh mẽ bằng những hệ thống theo dõi hiện đại dựa trên deep learning trong các cảnh phức tạp hoặc đông đúc, chúng vẫn được sử dụng rộng rãi vì nhẹ, nhanh và dễ chạy. Ngoài ra, vì các tracker này hoạt động hiệu quả trên CPU và thường không yêu cầu GPU, chúng phù hợp với các thử nghiệm nhanh, việc học trong lớp học và các dự án sở thích.

3. ByteTrack#

ByteTrack là một trong những thuật toán mã nguồn mở phổ biến nhất cho việc theo dõi nhiều đối tượng. Thay vì chỉ matching những lần phát hiện mà model có độ tin cậy rất cao, nó cũng tận dụng các lần phát hiện có độ tin cậy thấp hơn mà nhiều hệ thống thường bỏ qua.

Điều này giúp nó tiếp tục theo dõi các đối tượng khó quan sát trong thời gian ngắn, chẳng hạn khi bị che một phần, ở xa hoặc di chuyển nhanh. Vì nhanh và đáng tin cậy, ByteTrack thường được sử dụng trong các ứng dụng như phân tích giao thông, theo dõi người đi bộ và giám sát bán lẻ, nơi hiệu năng thời gian thực và ID nhất quán rất quan trọng.

Như đã đề cập trước đó, nếu bạn sử dụng các model Ultralytics YOLO để phát hiện, bạn có thể dễ dàng bật ByteTrack thông qua package Ultralytics Python. Tuy nhiên, nó cũng có thể được sử dụng độc lập trong các pipeline tùy chỉnh, phù hợp với mọi loại ứng dụng từ prototype nghiên cứu đến hệ thống production được viết bằng C++.

4. DeepSORT#

Một thuật toán được sử dụng rộng rãi khác cho việc theo dõi nhiều đối tượng là DeepSORT, viết tắt của phương pháp theo dõi trực tuyến đơn giản và thời gian thực dựa trên deep learning. Đây là phiên bản nâng cao của SORT, viết tắt của phương pháp theo dõi trực tuyến đơn giản và thời gian thực.

Tương tự ByteTrack, SORT sử dụng phương pháp tracking-by-detection. Tuy nhiên, SORT dựa vào bộ lọc Kalman, một model toán học ước tính vị trí tương lai của đối tượng dựa trên chuyển động trước đó, để dự đoán vị trí tiếp theo có khả năng của mỗi đối tượng.

Sau đó, nó matching các lần phát hiện mới với các track hiện có, chủ yếu dựa trên vị trí và độ chồng lấn của bounding box. Điều này giúp SORT nhanh và nhẹ, nhưng nó có thể gặp khó khăn khi các đối tượng chồng lấn, cắt ngang đường đi của nhau hoặc tạm thời biến mất khỏi tầm nhìn.

DeepSORT cải tiến SORT bằng cách bổ sung thông tin về diện mạo vào quy trình theo dõi. Ngoài chuyển động và vị trí, nó sử dụng một model tái nhận dạng hoặc re-id dựa trên deep learning để học cách các đối tượng trông như thế nào. Nhờ đó, tracker có thể nhận ra cùng một đối tượng qua các khung hình, ngay cả khi chỉ dựa vào chuyển động thì không đủ để phân biệt đối tượng đó với những đối tượng khác.

Vì lý do này, DeepSORT thường được sử dụng trong các ứng dụng như giám sát và theo dõi đám đông, nơi người thường xuyên chồng lấn hoặc bị che khuất trong thời gian ngắn. Tuy nhiên, hiện nay nó được xem là một baseline kinh điển, và các phương pháp theo dõi mới hơn thường đạt hiệu năng tốt hơn trong những cảnh khó hơn.

5. Norfair#

Norfair là một library theo dõi nhẹ được thiết kế để linh hoạt thay vì buộc bạn sử dụng một pipeline theo dõi cố định. Nó có thể bổ sung khả năng theo dõi trên hầu hết mọi detector, miễn là đầu ra của detector có thể được biểu diễn dưới dạng một tập hợp các điểm, chẳng hạn tâm của bounding box, keypoint hoặc dữ liệu tọa độ tùy chỉnh.

Hình 4. Theo dõi đối tượng trong thực tế bằng Norfair (Nguồn)

Tính linh hoạt này khiến Norfair đặc biệt hữu ích cho các dự án liên quan đến đầu vào bất thường hoặc kiểu chuyển động động, nơi các công cụ theo dõi nhiều đối tượng tiêu chuẩn có thể không đáp ứng được. Library này cũng cung cấp các hàm khoảng cách tích hợp sẵn để kiểm soát cách matching các lần phát hiện qua các khung hình.

Các hàm khoảng cách này đo độ tương đồng giữa hai điểm hoặc đối tượng, cho phép người dùng toàn quyền kiểm soát logic theo dõi. Norfair thường được sử dụng trong robotics, phân tích chuyển động thể thao, điều hướng drone và các ứng dụng phụ thuộc nhiều vào việc theo dõi các mốc pose hoặc keypoint.

6. MMTracking#

MMTracking là một bộ công cụ theo dõi mã nguồn mở từ team OpenMMLab, đơn vị cũng phát triển các library thị giác máy tính được sử dụng rộng rãi như MMDetection. Được xây dựng trên MMDetection, framework này cung cấp một nền tảng linh hoạt để phát triển và thử nghiệm các hệ thống theo dõi.

Một trong những điểm mạnh lớn nhất của nó là thiết kế dạng module. Thay vì khóa bạn vào một pipeline duy nhất, MMTracking cho phép cấu hình và thay thế các thành phần khác nhau như detector, module theo dõi và, trong một số cấu hình, các model tái nhận dạng. Nhờ tính linh hoạt này, nó đặc biệt phổ biến trong nghiên cứu và các dự án nâng cao, nơi các team muốn benchmark phương pháp, thử nghiệm ý tưởng mới hoặc fine-tune pipeline theo dõi.

7. FairMOT#

FairMOT là một framework theo dõi nhiều đối tượng được thiết kế để theo dõi đồng thời nhiều đối tượng. Không giống các pipeline tracking-by-detection truyền thống, vốn thực hiện phát hiện trước rồi liên kết các đối tượng qua các khung hình trong một bước riêng biệt, FairMOT học việc phát hiện và tái nhận dạng cùng lúc trong một network duy nhất.

Hình 5. Cách framework FairMOT hoạt động (Nguồn)

Cấu hình kết hợp này giúp duy trì danh tính nhất quán hơn, đặc biệt trong các cảnh đông đúc nơi người thường chồng lấn hoặc di chuyển nhanh. FairMOT thường được sử dụng trong các tình huống như theo dõi người đi bộ và giám sát đám đông, đồng thời cũng được áp dụng trong các bối cảnh như phân tích bán lẻ và giám sát giao thông, nơi việc theo dõi nhiều mục tiêu theo thời gian thực rất quan trọng.

8. SiamMask#

SiamMask là một phương pháp theo dõi một đối tượng, tiến xa hơn nhiều tracker bằng cách tạo ra segmentation mask cùng với bounding box. Nói đơn giản, nó không chỉ vẽ một hình chữ nhật quanh mục tiêu mà còn phác họa hình dạng của đối tượng ở cấp độ pixel, hữu ích khi mục tiêu thay đổi hình dạng, xoay hoặc bị che khuất một phần.

Hình 6. Theo dõi và phân đoạn một đối tượng bằng SiamMask (Nguồn)

Phương pháp này sử dụng thiết kế theo dõi Siamese, trong đó tracker trước tiên lấy một góc nhìn tham chiếu nhỏ của mục tiêu từ khung hình đầu tiên, thường được gọi là template. Sau đó, trong mỗi khung hình mới, nó tìm kiếm một vùng lớn hơn và xác định vị trí có độ tương đồng cao nhất với template đó.

SiamMask phát triển dựa trên ý tưởng matching này. Nó cũng dự đoán mask ở cấp độ pixel cho mục tiêu, nhờ đó bạn có được cả vị trí của đối tượng và đường bao chính xác hơn trong suốt quá trình phát video.

Các yếu tố then chốt khi lựa chọn công cụ theo dõi đối tượng#

Với nhiều lựa chọn công cụ theo dõi đối tượng mã nguồn mở hiện có trong lĩnh vực AI, lựa chọn tốt nhất cho dự án thị giác máy tính của bạn phụ thuộc vào yêu cầu của trường hợp sử dụng cụ thể. Dưới đây là một số yếu tố cần cân nhắc:

• Độ chính xác: Yếu tố này quan trọng nhất trong các cảnh đông đúc hoặc phức tạp về mặt hình ảnh, nơi hệ thống thị giác cần duy trì ID ổn định ngay cả khi có chồng lấn, bị che khuất hoặc chuyển động nhanh.
• Tốc độ: Đối với các ứng dụng thời gian thực như robotics, giám sát giao thông và phân tích thể thao, khả năng phản hồi có thể quan trọng hơn độ chính xác tuyệt đối.
• Tính dễ tích hợp: Một số công cụ theo dõi đối tượng dễ dàng plug-and-play và hoạt động chỉ với vài dòng code, trong khi những công cụ khác yêu cầu nhiều bước thiết lập, cấu hình hoặc tùy chỉnh pipeline hơn.
• Ràng buộc triển khai: Môi trường đích, chẳng hạn server GPU, thiết bị edge hoặc phần cứng di động, có thể quyết định phương pháp theo dõi nào là phù hợp.
• Khả năng mở rộng: Nếu hệ thống cần theo dõi đồng thời nhiều đối tượng hoặc xử lý nhiều luồng video, tracker phải có khả năng mở rộng hiệu quả mà không làm hiệu năng giảm mạnh.

Mỗi công cụ hoặc thuật toán theo dõi đối tượng phục vụ một mục đích khác nhau. Cuối cùng, lựa chọn phù hợp phụ thuộc vào yêu cầu cụ thể, ràng buộc runtime, các metric hiệu năng và mức độ tùy chỉnh mà dự án của bạn yêu cầu đối với phương pháp theo dõi.

Những điểm chính#

Công nghệ theo dõi đối tượng đã phát triển từ các kỹ thuật thủ công ban đầu thành những hệ thống deep learning hiện đại tiên tiến nhất, có khả năng diễn giải chuyển động, danh tính và hành vi với độ chính xác ấn tượng. Các công cụ mã nguồn mở là động lực quan trọng đứng sau tiến bộ này. Chúng dân chủ hóa quyền tiếp cận các thuật toán mạnh mẽ, khuyến khích thử nghiệm và cho phép các nhà nghiên cứu xây dựng pipeline theo dõi tinh vi mà không bị giới hạn bởi license hạn chế hoặc hạ tầng cồng kềnh.

Hãy xem cộng đồng và repository GitHub của chúng tôi để tìm hiểu thêm về AI. Khám phá các trang giải pháp về AI trong nông nghiệp và thị giác máy tính trong sản xuất. Tìm hiểu các tùy chọn cấp phép của chúng tôi và bắt đầu xây dựng model thị giác của riêng bạn.