Hướng dẫn theo dõi các đối tượng chuyển động trong video với các mô hình Ultralytics YOLO

Các robot có thể lắp ráp linh kiện điện tử, các hệ thống bắt xe vượt quá tốc độ và các giải pháp bán lẻ thông minh theo dõi cách khách hàng mua sắm - tất cả những đổi mới này đều dựa trên computer vision. Đây là một nhánh của trí tuệ nhân tạo (AI) giúp máy móc phân tích và hiểu được hình ảnh cũng như video.

Ví dụ, một robot cần nhận diện và theo dõi các linh kiện khác nhau để lắp ráp chúng chính xác. Tương tự, một hệ thống giao thông có thể sử dụng computer vision để phát hiện xe, đọc biển số và xác định khi nào ai đó đang chạy quá tốc độ. Trong khi đó, tại các cửa hàng, AI thị giác có thể giúp theo dõi những gì khách hàng đang xem hoặc lấy, thậm chí giám sát hàng tồn kho.

Các ứng dụng như vậy được cung cấp sức mạnh bởi các model computer vision như Ultralytics YOLO11, hỗ trợ một phạm vi rộng lớn các tác vụ thị giác. Nhiều tác vụ trong số này tập trung vào việc thu thập thông tin chi tiết từ một hình ảnh duy nhất, nhưng một tác vụ đặc biệt thú vị, object tracking, có thể được sử dụng để theo dõi chuyển động của các đối tượng qua một chuỗi hình ảnh hoặc khung hình video.

Fig 1. Một ví dụ về việc phát hiện và theo dõi ô tô.

Trong hướng dẫn này, chúng ta sẽ tìm hiểu kỹ hơn về cách object tracking hoạt động và khám phá các ví dụ thực tế về việc áp dụng công nghệ này. Chúng ta cũng sẽ thảo luận về cách các model AI thị giác như Ultralytics YOLO11 hỗ trợ object tracking. Hãy cùng bắt đầu!

Tìm hiểu sâu hơn về các hệ thống theo dõi bằng computer vision#

Object tracking là một computer vision task được sử dụng để theo dõi chuyển động của các đối tượng qua các khung hình video, giúp hệ thống giám sát và hiểu được cách mọi thứ thay đổi theo thời gian. Điều này rất giống với cách con người có thể tự nhiên theo dõi một người hoặc vật thể di chuyển bằng mắt của họ, giống như khi bạn đang xem một trận đấu quần vợt và mắt bạn dõi theo quả bóng khi nó di chuyển qua lại trên sân.

Theo cách tương tự, object tracking sử dụng camera và AI để theo dõi chuyển động của quả bóng trong thời gian thực. Công nghệ này có thể mang lại cho khán giả tại nhà sự hiểu biết tốt hơn về diễn biến trận đấu, đặc biệt thông qua các thông tin phân tích như tốc độ, quỹ đạo và vị trí của người chơi.

Mặc dù việc theo dõi bằng mắt thường có vẻ dễ dàng đối với con người, nhưng đối với thị giác máy tính, nó bao gồm một chuỗi các bước được vận hành bởi các model AI thị giác. Dưới đây là phân tích đơn giản về cách object tracking hoạt động:

• Ghi hình video: Camera ghi lại cảnh quay, nắm bắt cách đối tượng di chuyển trong cảnh theo thời gian.
• Phát hiện đối tượng: Các computer vision models được hỗ trợ bởi AI như YOLO11 có thể phân tích từng khung hình để xác định và định vị các đối tượng cụ thể, chẳng hạn như con người, phương tiện hoặc sản phẩm.
• Gán danh tính: Sau khi một đối tượng được phát hiện, các thuật toán theo dõi sẽ gán cho nó một ID duy nhất để theo dõi nó qua nhiều khung hình, đảm bảo hệ thống biết đó là cùng một đối tượng ngay cả khi nó di chuyển.
• Giám sát chuyển động: Hệ thống theo dõi chuyển động theo thời gian và dữ liệu này có thể được sử dụng để thu thập thông tin như tốc độ, hướng đi và các tương tác với các đối tượng khác.
• Tạo thông tin chi tiết: Thông tin này có thể được sử dụng trong thời gian thực để cung cấp phân tích, hỗ trợ ra quyết định hoặc vận hành các lớp phủ hình ảnh - tùy thuộc vào trường hợp sử dụng cụ thể.

So sánh object detection và tracking với YOLO#

Một tác vụ computer vision khác được hỗ trợ bởi YOLO11 có liên quan mật thiết đến tracking đối tượng là object detection. Hãy cùng tìm hiểu sự khác biệt giữa hai tác vụ này.

Object detection bao gồm việc xác định và định vị các đối tượng quan tâm trong một hình ảnh hoặc khung hình video duy nhất. Ví dụ, một chiếc xe tự lái sử dụng object detection để nhận diện biển báo dừng hoặc người đi bộ trong một khung hình duy nhất được camera trên xe ghi lại. Nó trả lời câu hỏi: “Cái gì đang ở trong ảnh này và nó ở đâu?”. Tuy nhiên, nó không cung cấp bất kỳ thông tin nào về việc đối tượng đó sẽ đi đâu tiếp theo.

Object tracking phát triển dựa trên object detection bằng cách bổ sung khả năng hiểu về chuyển động theo thời gian. Sự khác biệt chính giữa hai phương pháp này là cách chúng xử lý thời gian và chuyển động. Object detection coi mỗi khung hình là một ảnh chụp độc lập, trong khi object tracking kết nối các điểm giữa các khung hình, sử dụng dữ liệu quá khứ để dự đoán vị trí tương lai của đối tượng.

Bằng cách kết hợp cả hai, chúng ta có thể xây dựng các hệ thống AI thị giác mạnh mẽ có khả năng tracking thời gian thực trong các môi trường động. Ví dụ, một hệ thống an ninh tự động có thể phát hiện những người đi vào không gian và liên tục track their movement trên toàn khung hình.

Theo dõi thời gian thực sử dụng các model YOLO của Ultralytics#

Bây giờ chúng ta đã nắm được sự khác biệt giữa object detection và tracking, hãy cùng xem cách các model YOLO của Ultralytics, như YOLO11, hỗ trợ object tracking thời gian thực.

Mặc dù bản thân các model YOLO không phải là thuật toán theo dõi, nhưng chúng đóng vai trò thiết yếu bằng cách phát hiện các đối tượng trong từng khung hình video. Sau khi các đối tượng được phát hiện, các thuật toán theo dõi cần được sử dụng để gán ID duy nhất cho chúng, cho phép hệ thống theo dõi chuyển động của chúng từ khung hình này sang khung hình khác.

Để giải quyết nhu cầu này, Ultralytics Python package tích hợp liền mạch object detection với các thuật toán tracking phổ biến như BoT-SORT và ByteTrack. Sự tích hợp này cho phép người dùng chạy detection và tracking cùng nhau với thiết lập tối thiểu.

Khi sử dụng các model YOLO để thực hiện object tracking, bạn có thể chọn thuật toán theo dõi để áp dụng dựa trên yêu cầu của ứng dụng. Ví dụ, BoT-SORT là một lựa chọn tốt để theo dõi các đối tượng di chuyển khó đoán nhờ sử dụng dự đoán chuyển động và deep learning. Mặt khác, ByteTrack hoạt động đặc biệt hiệu quả trong các môi trường đông đúc, duy trì khả năng theo dõi đáng tin cậy ngay cả khi các đối tượng bị mờ hoặc bị che khuất một phần.

Fig 2. Gói Ultralytics Python tích hợp liền mạch BoT-SORT và ByteTrack.

Việc huấn luyện model YOLO tùy chỉnh liên quan thế nào đến object tracking?#

Custom training là quá trình tinh chỉnh một model phát hiện đối tượng đã được huấn luyện sẵn, chẳng hạn như Ultralytics YOLO11, trên một tập dữ liệu cụ thể để model có thể nhận diện các đối tượng không có trong các tập dữ liệu tiêu chuẩn. Điều này đặc biệt quan trọng khi hệ thống theo dõi của bạn cần theo dõi các đối tượng tùy chỉnh hoặc ít phổ biến.

Các hệ thống theo dõi dựa vào model phát hiện để nhận diện đối tượng trước. Nếu model YOLO không thể phát hiện một mục cụ thể, chẳng hạn như một loại máy móc hoặc loài động vật hoang dã nào đó, thuật toán theo dõi sẽ không thể theo dõi nó.

Đó là lý do tại sao custom training là điều cần thiết: nó đảm bảo rằng model phát hiện có thể xác định chính xác các đối tượng bạn muốn theo dõi.

Cũng cần lưu ý rằng chỉ model phát hiện mới được fine-tune trong quá trình này. Các thuật toán theo dõi, như BoT-SORT hoặc ByteTrack, không được huấn luyện tùy chỉnh - chúng chỉ đơn giản sử dụng đầu ra từ model YOLO để theo dõi các đối tượng đã được phát hiện qua các khung hình.

Các ứng dụng của object tracking với Ultralytics YOLO#

Bây giờ chúng ta đã hiểu rõ hơn về object tracking là gì và cách nó hoạt động, hãy cùng khám phá một số ứng dụng thực tế nơi công nghệ này đang tạo ra tác động.

Theo dõi thời gian thực bằng Ultralytics YOLO để ước tính tốc độ#

Các hệ thống speed estimation được kích hoạt bởi computer vision phụ thuộc vào các tác vụ như object detection và tracking. Các hệ thống này được thiết kế để tính toán tốc độ di chuyển của một đối tượng - cho dù đó là phương tiện, người đi xe đạp hay thậm chí là một người. Thông tin này rất quan trọng cho nhiều ứng dụng, từ quản lý giao thông đến giám sát an toàn và tự động hóa công nghiệp.

Sử dụng một model như Ultralytics YOLO11, các đối tượng có thể được phát hiện và theo dõi qua các khung hình video. Bằng cách phân tích khoảng cách đối tượng di chuyển trong một khoảng thời gian cụ thể, hệ thống có thể ước tính tốc độ của nó.

Fig 3. Sử dụng khả năng hỗ trợ object tracking của YOLO11 để ước tính tốc độ.

Khám phá object tracking trong sản xuất#

Các quy trình sản xuất có thể diễn ra nhanh chóng và rất phức tạp, khiến việc theo dõi thủ công từng mặt hàng đang được sản xuất trở nên khó khăn. Object tracking cung cấp giải pháp tốt để tự động hóa việc giám sát sản phẩm khi chúng di chuyển qua từng giai đoạn sản xuất. Nó giúp các nhà máy duy trì mức độ chính xác và hiệu quả cao mà không làm chậm quy trình.

Từ việc đếm sản phẩm trên băng chuyền đến phát hiện lỗi hoặc xác minh quá trình lắp ráp đúng cách, object tracking mang lại khả năng hiển thị và kiểm soát cho các tác vụ vốn sẽ tốn nhiều thời gian hoặc dễ xảy ra lỗi. Công nghệ này có tác động đặc biệt lớn trong các ngành công nghiệp có khối lượng lớn như food processing, điện tử và đóng gói, nơi tốc độ và độ chính xác là rất quan trọng.

Fig 4. Ví dụ về tracking và đếm các sản phẩm thực phẩm trên dây chuyền lắp ráp bằng cách sử dụng YOLO11.

Tổng quan về object tracking trong phân tích bán lẻ#

Vô số khách hàng ra vào các retail stores mỗi ngày và việc hiểu được hành vi của họ là chìa khóa để cải thiện cả trải nghiệm của khách hàng lẫn hiệu suất kinh doanh. Object tracking giúp các nhà bán lẻ có thể theo dõi lượng người qua lại, đo thời gian lưu trú và phân tích các mẫu chuyển động - tất cả mà không cần đến các phương pháp xâm nhập hoặc thủ công.

Bằng cách theo dõi các cá nhân khi họ vào, ra và di chuyển khắp cửa hàng, các doanh nghiệp có thể hiểu rõ hơn về giờ cao điểm, các khu vực phổ biến và thậm chí cả độ dài hàng đợi. Những thông tin này có thể thông báo các quyết định về nhân sự, bố trí cửa hàng và vị trí đặt hàng tồn kho, từ đó dẫn đến hoạt động hiệu quả hơn và tăng doanh số.

Fig 5. Sử dụng khả năng tracking đối tượng của YOLO11 để giám sát người ra vào cửa hàng.

Ưu điểm và nhược điểm của object tracking#

Từ các cửa hàng bán lẻ đến các sàn nhà máy, object tracking đang được sử dụng trong mọi loại ngành nghề để cải thiện các yếu tố như hiệu quả, an toàn và trải nghiệm tổng thể. Dưới đây là một số lợi ích chính mà object tracking có thể mang lại cho các ngành công nghiệp khác nhau:

• Kích hoạt cảnh báo thời gian thực: Các hệ thống được tích hợp object tracking có thể được cấu hình để tự động kích hoạt cảnh báo khi phát hiện điều bất thường, chẳng hạn như một người đi vào khu vực hạn chế hoặc hàng hóa bị để quá lâu tại một vị trí.
• Tích hợp với các hệ thống khác: Dữ liệu object-tracking có thể được kết hợp với các công nghệ khác, như facial recognition, camera nhiệt hoặc hệ thống kho hàng, để có được những thông tin chi tiết mạnh mẽ hơn nữa.
• Tiết kiệm chi phí trong dài hạn: Mặc dù việc thiết lập ban đầu có thể cần đầu tư, nhưng việc theo dõi tự động làm giảm nhu cầu lao động thủ công, giảm tỷ lệ sai sót và cắt giảm chi phí vận hành theo thời gian.

Mặc dù những lợi ích này làm nổi bật cách object tracking tác động tích cực đến các trường hợp sử dụng khác nhau, nhưng cũng cần cân nhắc các thách thức liên quan đến việc triển khai. Hãy cùng xem xét kỹ hơn một số hạn chế của object tracking:

• Độ khó trong crowded environments: Trong các cài đặt bận rộn như buổi hòa nhạc, trung tâm mua sắm hoặc đường phố, các hệ thống tracking có thể gặp khó khăn trong việc phân biệt giữa những người hoặc đối tượng ở gần nhau, dẫn đến nhầm lẫn hoặc kết quả không chính xác.

• Nhạy cảm với các điều kiện môi trường: Ánh sáng yếu, sương mù, chuyển động nhanh hoặc rung máy có thể ảnh hưởng đến khả năng theo dõi đối tượng chính xác của hệ thống, đặc biệt là trong môi trường ngoài trời hoặc không kiểm soát.

• Quyền riêng tư và các vấn đề pháp lý: Việc xử lý không đúng cách dữ liệu cá nhân, thiếu sự đồng ý của người dùng hoặc giám sát ở không gian công cộng có thể gây ra các vấn đề đạo đức và dẫn đến việc không tuân thủ luật quyền riêng tư.

Các điểm chính cần lưu ý#

Object tracking là một tác vụ computer vision cho phép máy móc theo dõi sự di chuyển của các đối tượng theo thời gian. Nó được sử dụng trong hàng loạt kịch bản thực tế - từ ước tính tốc độ phương tiện và đếm sản phẩm trên dây chuyền lắp ráp đến phân tích chuyển động của cầu thủ trong thể thao.

Với các model Vision AI như Ultralytics YOLO11 và các thuật toán theo dõi như BoT-SORT và ByteTrack, việc theo dõi đối tượng đã trở nên nhanh hơn, thông minh hơn và dễ tiếp cận hơn trên các ngành công nghiệp khác nhau. Khi công nghệ theo dõi đối tượng phát triển, nó giúp các hệ thống trở nên thông minh, hiệu quả và phản hồi nhanh hơn qua từng khung hình.

Bạn muốn tìm hiểu thêm về computer vision và AI? Hãy khám phá GitHub repository của chúng tôi, kết nối với our community và xem qua our licensing options để bắt đầu dự án computer vision của bạn. Nếu bạn đang khám phá các đổi mới như AI in manufacturing và computer vision in the automotive industry, hãy truy cập các trang giải pháp của chúng tôi để khám phá thêm.