Point Tracking

تتبّع النقاط مهمة في الرؤية الحاسوبية تهدف إلى متابعة نقاط منفردة عبر مقطع فيديو: يُعطى المتعقب نقطة استعلام في إطار واحد، مثل بقعة على كم أو زاوية نافذة، ويقدّر موضع ظهور النقطة الفيزيائية نفسها في كل إطار آخر وما إذا كانت مرئية. وتسميها الأبحاث الحديثة تتبّع أي نقطة (TAP)، لأن نقطة الاستعلام يمكن أن تكون أي بكسل بدلًا من نقطة مفتاحية محددة مسبقًا. ويتابع تتبّع النقاط مجموعة متناثرة من النقاط عبر إطارات عديدة، بما فيها حالات الحجب، ما يميزه عن تتبّع الأجسام، الذي يتابع أجسامًا كاملة على هيئة صناديق إحاطة تحمل معرّفات، وعن التدفق البصري، الذي يقدّر حركة كل بكسل بين إطارين متتاليين.

آلية عمل تتبّع النقاط#

يختار متعقب كانادي-لوكاس-توماسي (KLT) الزوايا ذات النسيج القوي في اتجاهين، أي «السمات الجيدة للتتبع» وفق طريقة شي-توماسي، ثم يعثر على كل زاوية في الإطار التالي عبر حل مسألة الإزاحة الصغيرة التي تحاذي الرقعة المحيطة بها بأفضل شكل، مستخدمًا هرمًا صوريًا للتعامل مع الحركات الأكبر. وينفذ OpenCV الخطوتين كلتيهما:

import cv2
import numpy as np

# Read an overhead clip of people walking and pick 300 corners in its first frame
cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4")
prev = cv2.cvtColor(cap.read()[1], cv2.COLOR_BGR2GRAY)
points = cv2.goodFeaturesToTrack(prev, maxCorners=300, qualityLevel=0.01, minDistance=5)
start = points.copy()

# Follow every point frame to frame with pyramidal Lucas-Kanade optical flow
while (frame := cap.read()[1]) is not None:
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    points, status, _ = cv2.calcOpticalFlowPyrLK(prev, gray, points, None)
    found = status.ravel() == 1  # keep only the points found again
    points, start, prev = points[found], start[found], gray

distance = np.linalg.norm(points - start, axis=-1)
print(f"{len(points)} of 300 points tracked to the last frame, median shift {np.median(distance):.1f} px")

يطبع 292 of 300 points tracked to the last frame, median shift 28.7 px: يفقد المتعقب 8 نقاط خلال إطارات المقطع الـ62، وينتهي المطاف ببقية النقاط على بُعد وسيط قدره 28.7 بكسل من مواقع بدايتها. يقارن KLT الإطارات المتتالية فقط، لذا تتراكم الأخطاء الصغيرة، كما أنه لا يراعي الحجب: فقد تنزلق نقطة على الأرض غطّاها أحد المارة إلى موضع ذلك المار وتستمر في الإبلاغ عنه.

متعقبات النقاط المتعلّمة#

تستدل متعقبات التعلم العميق باستخدام إطارات كثيرة دفعة واحدة، وتتنبأ بموضع كل إطار وعلامة رؤية له. وقد حدّد معيار TAP-Vid المهمة عام 2022 باستخدام مقاطع فيديو حقيقية تتضمن مسارات نقاط وسمها أشخاص يدويًا. ويحسّن PIPs (2022) مسار النقطة عبر نوافذ من الإطارات ليتمكن من تجاوز حالات الحجب القصيرة، بينما يطابق TAPIR (2023) أولًا سمات نقطة الاستعلام مع كل إطار، ثم يحسّن المسار باستخدام السياق الزمني. ويتتبع CoTracker من Meta نقاطًا عديدة معًا باستخدام محوّل، بحيث تدعم النقاط الموجودة على الجسم نفسه إحداها الأخرى عند حجب إحداها. وبما أن المسارات الموسومة في مقاطع الفيديو الحقيقية نادرة، يتدرب CoTracker3 (2024) على مقاطع فيديو اصطناعية، ثم على مقاطع حقيقية وُضعت لها تسميات زائفة بواسطة متعقبات أخرى، ويحقق نتائج أفضل من المتعقبات السابقة التي تدربت على بيانات أكثر بمقدار 1,000 مرة.

تطبيقات عملية#

يستخدم وضع التتبع في Ultralytics تتبّع النقاط لإلغاء حركة الكاميرا في تتبّع الأجسام المتعددة: يختار متعقب TrackTrack الافتراضي وBoT-SORT ما يصل إلى 400 زاوية في كل إطار، ويتابعانها بتدفق Lucas-Kanade الهرمي، ثم يقدّران الدوران والمقياس والإزاحة باستخدام RANSAC (gmc_method: sparseOptFlow)، وبعدها يزيحان الصندوق المتوقع لكل مسار قبل مطابقته مع اكتشافات YOLO26 الجديدة.

• المؤثرات البصرية: يتتبع تركيب العناصر نقاطًا في المشهد كي تبقى الرسومات المُضافة مثبتة على الأسطح، بينما يلغي تثبيت الصورة حركة الكاميرا التي تكشفها النقاط المتتبعة.
• إعادة البناء ثلاثي الأبعاد: يستخدم الاستدلال من الحركة وSLAM البصري تثليث النقاط المتتبعة عبر الإطارات لاستعادة أوضاع الكاميرا وهندسة المشهد.
• تعلم الروبوتات: يتنبأ نمذجة المسار لأي نقطة بكيفية تحرك النقاط في المشهد أثناء تنفيذ مهمة، ويحوّل تلك المسارات إلى أفعال للروبوت، متفوقًا على خطوط الأساس المدربة مسبقًا على الفيديو بنحو 80% في المتوسط عبر أكثر من 130 مهمة.