Multi-Object Tracking (MOT)

التتبّع متعدد الأجسام (MOT) هو مهمة في الرؤية الحاسوبية تتمثّل في متابعة كل جسم محل اهتمام ضمن فيديو واحد في الوقت نفسه، مع منح كل جسم معرّفًا ثابتًا (ID) بحيث تشكّل مواضعه عبر الإطارات مسارًا. عدد الأجسام غير معروف ويتغير باستمرار مع دخول الأشخاص أو المركبات وخروجهم، وتقاطع مساراتهم، واختفاء بعضهم خلف بعض، لذا يجب على أداة التتبّع تحديد، في كل إطار، أيّ الاكتشافات تواصل المسارات القائمة، وأيّها تبدأ مسارات جديدة، وأيّ المسارات انتهت. ويُعدّ MOT أكثر أشكال تتبّع الأجسام شيوعًا؛ أما تتبّع الجسم الواحد (SOT) فيتابع هدفًا واحدًا يُختار في الإطار الأول، بصرف النظر عن فئته.

آلية عمل التتبع متعدد الأجسام#

تستخدم معظم أنظمة MOT أسلوب التتبع عبر الكشف: إذ يعثر نموذج كشف الأجسام على الأجسام في كل إطار، ثم يربط المتتبّع تلك الاكتشافات بالمسارات التي يتابعها بالفعل. ويتنبأ المتتبّع بموضع ظهور كل مسار باستخدام نموذج حركة، عادةً مرشح Kalman، وينشئ مصفوفة تكلفة بين المسارات المتوقعة والاكتشافات الجديدة اعتمادًا على تداخل المربعات (IoU) والحركة، وربما تضمينات المظهر embeddings المستخرجة من نموذج إعادة تعرّف الأجسام (Re-ID)، ثم يحل مسألة المطابقة بوصفها مسألة إسناد خطي باستخدام الخوارزمية الهنغارية. تحتفظ المسارات المطابقة بمعرّفاتها، وتبدأ الاكتشافات غير المطابقة ذات الثقة العالية مسارات جديدة، وتُبقى المسارات غير المطابقة «مفقودة» لعدد من الإطارات حتى يمكن استعادتها بعد الاحتجاب.

تصعّب الحشود خطوة الربط، لأن الأشخاص المحجوبين جزئيًا ينتجون اكتشافات منخفضة الثقة قد يستبعدها حد بسيط. ويحتفظ ByteTrack بها لإجراء مطابقة ثانية:

تصميمات المتتبّعات#

• SORT وخلفاؤه: جمع SORT (2016) بين مرشح Kalman وتكاليف IoU والخوارزمية الهنغارية. وأضاف DeepSORT سمات المظهر لاستعادة الهويات بعد الاحتجاب، وأضاف ByteTrack خطوة الاكتشافات منخفضة الثقة، وجعل OC-SORT تقديرات الحركة أكثر متانة أمام الاحتجاب، وأضاف BoT-SORT تعويض حركة الكاميرا للكاميرات المتحركة.
• الكشف والتضمين المشتركان (FairMOT): يدرّب FairMOT شبكة واحدة لإنتاج الاكتشافات وتضمينات Re-ID معًا، فلا تتطلب سمات المظهر نموذجًا ثانيًا.
• التتبع من البداية إلى النهاية (MOTR): يوسّع MOTR وTrackFormer محوّل DETR باستخدام استعلامات التتبع التي تنقل هوية كل جسم من إطار إلى آخر، وبذلك يتعلّم النموذج الربط أثناء التدريب.

يطبّق وضع التتبع في Ultralytics YOLO أسلوب التتبع القائم على الكشف على أي نموذج YOLO26 للكشف أو التقسيم أو تقدير الوضعية أو الصناديق الموجّهة، ويتيح الاختيار بين ستة متتبعات مدمجة عبر الوسيطة tracker: TrackTrack (الافتراضي)، وBoT-SORT، وByteTrack، وOC-SORT، وDeep OC-SORT، وFastTracker. يتتبع هذا المثال الأشخاص في مقطع قصير ويحصي عدد الإطارات التي يظل خلالها كل ID نشطًا:

from collections import Counter

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"

# ⁨تتبّع الأشخاص (الفئة 0 في COCO) واحسب الإطارات التي يظهر فيها كل معرّف مسار⁩
frames_per_id = Counter()
for result in model.track(video, stream=True, classes=[0]):
    if result.boxes.is_track:
        frames_per_id.update(result.boxes.id.int().tolist())

# ⁨أطول خمسة مسارات بوصفها (معرّف المسار، عدد الإطارات)⁩
print(frames_per_id.most_common(5))

يمثل كل زوج معرّف مسار وعدد الإطارات التي ظل فيها هذا المعرّف قائمًا؛ لذا يشير المعرّف طويل الأمد إلى أن المتتبّع واصل متابعة شخص واحد عبر إطارات كثيرة.

قياس جودة التتبّع#

يُقيَّم أداء MOT وفق معايير مرجعية مثل MOT17 وMOT20 المخصّص للحشود الكثيفة وDanceTrack، حيث يتشابه الراقصون في مظهرهم ويتحركون على نحو غير متوقع. وتبرز ثلاثة مقاييس:

• MOTA: واحد ناقص مجموع الأجسام الفائتة والإيجابيات الكاذبة وتبديلات المعرّفات مقسومًا على عدد الأجسام الحقيقية، لذا يتأثر هذا المقياس بجودة الكشف في المقام الأول.
• IDF1: درجة F1 للاكتشافات المحددة هويتها على نحو صحيح، وتقيس مدى اتساق احتفاظ كل جسم حقيقي بمعرّف واحد.
• HOTA: المتوسط الهندسي لدقة الكشف ودقة الربط، ويوازن بين العثور على الأجسام وربطها.

التحديات#

• الاحتجاب: قد يعود جسم اختفى لعدة إطارات بمعرّف جديد، ما لم تستعده توقعات الحركة أو مطابقة المظهر.
• الحشود وتشابه المظهر: في مجموعات الأشخاص الكثيفة أو اللاعبين الرياضيين الذين يرتدون زيًا موحدًا، تصبح تكاليف IoU والمظهر ملتبسة وتتبدل المعرّفات.
• حركة الكاميرا: تحرّك الكاميرا المتحركة أفقيًا أو المهتزة كل المربعات معًا، ما يعطّل نماذج الحركة ذات السرعة الثابتة ما لم يعوّض المتتبّع ذلك.
• ميزانيات الزمن الفعلي: يتقاسم الكشف والربط وأي نموذج Re-ID ميزانية الوقت لكل إطار، كما يضيف نموذج Re-ID المنفصل تمريرة شبكية لكل جسم مكتشف.