Khám phá những nguyên tắc cơ bản của theo dõi điểm trong thị giác máy tính. Tìm hiểu cách thức... Ultralytics YOLO26 và các mô hình AI tiên tiến track Chuyển động chính xác dành cho robot và hiệu ứng hình ảnh.
Theo dõi điểm là một nhiệm vụ cơ bản trong thị giác máy tính, bao gồm việc ước tính và theo dõi chuyển động của các điểm cụ thể, cục bộ (như pixel hoặc các đặc điểm riêng biệt) trên các khung hình liên tiếp trong một chuỗi video theo thời gian. Không giống như theo dõi đối tượng , vốn giám sát vị trí tổng quát của toàn bộ thực thể bằng cách sử dụng hộp giới hạn hoặc mặt nạ phân đoạn , theo dõi điểm tập trung vào mức độ chi tiết nhỏ hơn nhiều, ở mức dưới pixel. Bằng cách xác định và duy trì sự tương ứng giữa các vị trí chính xác này, các hệ thống trí tuệ nhân tạo (AI) có thể thực hiện các nhiệm vụ hiểu video nâng cao đòi hỏi phân tích chuyển động phức tạp.
Việc theo dõi chính xác các điểm trong một khung cảnh động là một thách thức rất lớn. Các điểm được theo dõi thường bị che khuất —khi các vật thể tạm thời che khuất tầm nhìn của camera—hoặc chúng có thể hoàn toàn rời khỏi tầm nhìn . Thêm vào đó, sự thay đổi về ánh sáng, sự dịch chuyển phối cảnh và chuyển động nhanh có thể làm thay đổi đáng kể hình dạng trực quan của một điểm.
Trong lịch sử, các thuật toán cổ điển như thuật toán luồng quang học Lucas-Kanade đã xử lý các nhiệm vụ này. Tuy nhiên, các phương pháp hiện đại sử dụng các kiến trúc học sâu mạnh mẽ. Những đổi mới gần đây từ các tổ chức nghiên cứu lớn, chẳng hạn như TAPIR (Tracking Any Point with Initialization and Refinement) của Google DeepMind và CoTracker3 của Meta AI , đã cách mạng hóa lĩnh vực này. Không giống như các phương pháp cũ theo dõi các điểm một cách độc lập, các mô hình như CoTracker3 sử dụng transformer để thực hiện theo dõi đồng thời nhiều điểm, tận dụng các mối quan hệ vật lý giữa các điểm thuộc cùng một đối tượng. Các mô hình tiên tiến này cũng sử dụng việc gán nhãn giả trên các video thực tế để huấn luyện các hệ thống có độ chính xác cao với yêu cầu dữ liệu giảm đáng kể.
Mặc dù có liên quan mật thiết, theo dõi điểm khác biệt đáng kể so với các tác vụ thị giác máy tính khác:
Theo dõi điểm là yếu tố then chốt cho nhiều ứng dụng tiên tiến:
Trong khi các công cụ theo dõi điểm nói chung tuân theo các pixel hình ảnh tùy ý, bạn có thể track xác định các điểm mấu chốt cấu trúc cụ thể (như mắt, vai hoặc cổ tay của một người) bằng cách sử dụng khả năng theo dõi tư thế của thiết bị. ultralytics gói hàng được đề xuất. YOLO26 Mô hình này cung cấp khả năng theo dõi điểm mấu chốt tốc độ cao, từ đầu đến cuối, lý tưởng cho việc phân tích chuyển động.
from ultralytics import YOLO
# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")
# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)
# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
# Each keypoint maintains its association across frames
print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")
Khi triển khai các quy trình xử lý hình ảnh máy tính trên quy mô lớn, Nền tảng Ultralytics cung cấp một giải pháp hợp lý cho việc chú thích dữ liệu , huấn luyện mô hình và triển khai liền mạch, đảm bảo hiệu suất đáng tin cậy trên nhiều môi trường điện toán biên và đám mây khác nhau.
Bắt đầu hành trình của bạn với tương lai của học máy
