Point Tracking

Point tracking là một tác vụ cơ bản trong computer vision, bao gồm việc ước tính và theo dõi chuyển động của các điểm cụ thể, cục bộ (như pixels hoặc các đặc trưng riêng biệt) qua các khung hình liên tiếp trong một chuỗi video theo thời gian. Khác với object tracking, vốn theo dõi vị trí tổng thể của toàn bộ thực thể sử dụng bounding boxes hoặc segmentation masks, point tracking tập trung vào mức độ chi tiết tinh vi hơn, dưới mức pixel. Bằng cách nhận diện và duy trì sự tương ứng giữa các vị trí chính xác này, các hệ thống artificial intelligence (AI) có thể đạt được các tác vụ video understanding nâng cao đòi hỏi phân tích chuyển động phức tạp.

Tìm hiểu về Theo dõi điểm#

Việc theo dõi chính xác các điểm trong một cảnh động là một thử thách lớn. Các điểm được theo dõi thường xuyên gặp phải tình trạng occlusions — nơi các đối tượng tạm thời cản trở tầm nhìn của camera — hoặc chúng có thể rời hoàn toàn khỏi field of view. Ngoài ra, sự biến động về ánh sáng, thay đổi góc nhìn và chuyển động nhanh có thể làm thay đổi mạnh mẽ diện mạo trực quan của một điểm.

Về mặt lịch sử, các thuật toán cổ điển như Lucas-Kanade optical flow đã xử lý các tác vụ này. Tuy nhiên, các phương pháp hiện đại sử dụng các kiến trúc deep learning mạnh mẽ. Những đổi mới gần đây từ các tổ chức nghiên cứu lớn, chẳng hạn như Google DeepMind's TAPIR (Tracking Any Point with Initialization and Refinement) và Meta AI's CoTracker3, đã cách mạng hóa lĩnh vực này. Không giống như các phương pháp cũ theo dõi các điểm một cách độc lập, các mô hình như CoTracker3 sử dụng transformers để thực hiện theo dõi đồng thời nhiều điểm, tận dụng các phụ thuộc vật lý giữa các điểm thuộc cùng một đối tượng. Các mô hình tối tân này cũng tận dụng pseudo-labeling trên video thực tế để huấn luyện các hệ thống có độ chính xác cao với yêu cầu dữ liệu giảm đi đáng kể.

Theo dõi điểm so với các tác vụ liên quan#

Mặc dù có liên quan chặt chẽ, theo dõi điểm khác biệt đáng kể so với các tác vụ thị giác máy tính khác:

• Object Tracking: Gán ID duy nhất cho toàn bộ đối tượng (ví dụ: một người hoặc ô tô) và theo dõi chúng. Nó phụ thuộc rất nhiều vào các mô hình object detection như Ultralytics YOLO26.
• Pose Estimation: Theo dõi các keypoint ngữ nghĩa cụ thể (như khớp của con người) thay vì các pixel tùy ý. Mặc dù có những điểm tương đồng với point tracking, pose estimation đòi hỏi sự hiểu biết về mặt ngữ nghĩa đối với khung cấu trúc của đối tượng.

Các ứng dụng trong thực tế#

Theo dõi điểm là yếu tố hỗ trợ quan trọng cho nhiều ứng dụng nâng cao:

• 3D Reconstruction and Structure-from-Motion (SfM): Bằng cách theo dõi các đặc trưng cụ thể qua các góc máy quay hoặc khung hình video khác nhau, các hệ thống có thể suy ra độ sâu và xây dựng các bản tái tạo 3D chính xác của môi trường, điều này rất cần thiết cho việc lập bản đồ augmented reality (AR).
• Robotics and Autonomous Navigation: Các phương tiện tự hành và robot sử dụng point tracking (thường thông qua visual odometry) để hiểu chuyển động của chúng tương đối so với môi trường xung quanh, tính toán trajectories, và điều hướng an toàn qua các môi trường động phức tạp.
• Video Editing and Special Effects: Phần mềm hiệu ứng hình ảnh (VFX) chuyên nghiệp phụ thuộc rất nhiều vào point tracking để ổn định các cảnh quay rung lắc hoặc neo giữ liền mạch computer-generated imagery (CGI) vào các đối tượng chuyển động trong một cảnh vật lý.

Theo dõi Keypoint với Ultralytics#

Trong khi các trình theo dõi điểm chung theo dõi các pixel hình ảnh tùy ý, bạn có thể theo dõi các keypoint cấu trúc cụ thể (như mắt, vai hoặc cổ tay của một người) bằng cách sử dụng các tính năng pose tracking của gói ultralytics. Mô hình YOLO26 được khuyến nghị cung cấp tính năng theo dõi keypoint đầu cuối, tốc độ cao, lý tưởng cho việc phân tích chuyển động.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

Khi triển khai các quy trình làm việc computer vision ở quy mô lớn, Ultralytics Platform cung cấp một giải pháp hợp lý hóa cho data annotation, huấn luyện mô hình và deployment liền mạch, đảm bảo hiệu suất đáng tin cậy trên các môi trường biên và đám mây đa dạng.