Multi-Object Tracking (MOT)

Çok nesneli izleme (MOT), bir video boyunca ilgi duyulan her nesneyi aynı anda takip eden ve her nesneye kalıcı bir kimlik vererek kareler arasındaki konumlarının bir yörünge oluşturmasını sağlayan bilgisayarlı görü görevidir. Nesne sayısı bilinmez ve insanlar ya da araçlar kadraja girip çıktıkça, yolları kesiştikçe ve birbirlerinin arkasında kayboldukça sürekli değişir. Bu nedenle bir izleyici, her karede hangi algılamaların mevcut izleri sürdürdüğüne, hangilerinin yeni izler başlattığına ve hangi izlerin sona erdiğine karar vermelidir. MOT, nesne izlemenin en yaygın biçimidir; tek nesne izleme (SOT) ise sınıfından bağımsız olarak ilk karede seçilen tek bir hedefi takip eder.

Çok Nesneli İzleme Nasıl Çalışır#

Çoğu MOT sistemi algılama tabanlı izleme kullanır: Bir nesne algılama modeli her karedeki nesneleri bulur, bir izleyici de bu algılamaları mevcut izlerle eşleştirir. İzleyici, genellikle bir Kalman filtresi olan hareket modeliyle her izin nerede görünmesi gerektiğini tahmin eder; tahmin edilen izlerle yeni algılamalar arasında kutu örtüşmesine (IoU), harekete ve isteğe bağlı olarak bir nesne yeniden tanımlama (Re-ID) modelinden alınan görünüş gömmelerine dayalı bir maliyet matrisi oluşturur ve eşleştirmeyi Macar algoritması ile doğrusal atama problemi olarak çözer. Eşleşen izler kimliklerini korur, eşleşmeyen güvenilir algılamalar yeni izler başlatır ve eşleşmeyen izler, örtülme sonrasında kurtarılabilmeleri için belirli sayıda kare boyunca "kayıp" olarak tutulur.

Kalabalıklar eşleştirme adımını zorlaştırır; çünkü kısmen gizlenmiş insanlar, basit bir eşik değerinin elediği düşük güvenli algılamalara yol açar. ByteTrack bu algılamaları ikinci bir eşleştirme turunda kullanır:

İzleyici Tasarımları#

• SORT ve devamı: SORT (2016), Kalman filtresini, IoU maliyetlerini ve Macar algoritmasını birleştirdi. DeepSORT, örtülme sonrasında kimlikleri yeniden bulmak için görünüş özellikleri ekledi; ByteTrack düşük güvenli algılamalar için ikinci turu ekledi; OC-SORT hareket tahminlerini örtülmelere karşı dayanıklı hâle getirdi; BoT-SORT ise hareketli kameralar için kamera hareketi telafisi ekledi.
• Ortak algılama ve gömme (FairMOT): FairMOT, algılamaları ve Re-ID gömmelerini birlikte üreten tek bir ağı eğitir; böylece görünüş özellikleri için ikinci bir model gerekmez.
• Uçtan uca izleme (MOTR): MOTR ve TrackFormer, DETR transformer'ını her nesnenin kimliğini kareden kareye taşıyan iz sorgularıyla genişletir; böylece eşleştirme eğitim sırasında öğrenilir.

Ultralytics YOLO'nun izleme modu, her türlü YOLO26 algılama, segmentasyon, poz veya yönelimli kutu modelinde algılamayla izlemeyi çalıştırır. tracker bağımsız değişkeniyle seçilebilen yerleşik altı izleyici vardır: TrackTrack (varsayılan), BoT-SORT, ByteTrack, OC-SORT, Deep OC-SORT ve FastTracker. Bu örnek kısa bir klipteki kişileri izler ve her kimliğin kaç kare boyunca varlığını sürdürdüğünü sayar:

from collections import Counter

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"

# İnsanları izle (COCO sınıfı 0) ve her iz kimliğinin göründüğü kareleri say
frames_per_id = Counter()
for result in model.track(video, stream=True, classes=[0]):
    if result.boxes.is_track:
        frames_per_id.update(result.boxes.id.int().tolist())

# En uzun beş yörünge: (iz kimliği, kare sayısı)
print(frames_per_id.most_common(5))

Her çift bir iz kimliğini ve bu kimliğin kaç kare boyunca korunduğunu gösterir; dolayısıyla uzun süre varlığını koruyan bir kimlik, izleyicinin aynı kişiyi birçok kare boyunca takip etmeyi sürdürdüğü anlamına gelir.

Takip Kalitesini Ölçme#

MOT; MOT17, yoğun kalabalıklar için MOT20 ve dansçıların birbirine benzediği ve öngörülemez hareket ettiği DanceTrack gibi kıyaslama veri kümeleri üzerinde değerlendirilir. Üç ölçüt öne çıkar:

• MOTA: Kaçırılan nesnelerin, yanlış pozitiflerin ve kimlik değişimlerinin toplamının yer gerçeği nesnelerinin sayısına bölünmesinin 1'den çıkarılmasıyla hesaplanır; dolayısıyla algılama kalitesinden büyük ölçüde etkilenir.
• IDF1: Doğru kimliklendirilmiş algılamaların F1 puanı; her gerçek nesnenin aynı kimliği ne kadar tutarlı biçimde koruduğunu ölçer.
• HOTA: Algılama doğruluğu ile eşleştirme doğruluğunun geometrik ortalaması; nesneleri bulmaya ve onları eşleştirmeye eşit ağırlık verir.

Zorluklar#

• Örtülme: Birçok kare boyunca gizlenen bir nesne, hareket tahmini veya görünüş eşleştirmesi nesneyi kurtaramazsa yeni bir kimlikle geri dönebilir.
• Kalabalıklar ve benzer görünüşler: Yoğun insan gruplarında veya benzer üniformalar giyen sporcularda IoU ve görünüş maliyetleri belirsizleşir, kimlikler birbirine karışır.
• Kamera hareketi: Yatay hareket eden veya titreşen bir kamera tüm kutuları aynı anda hareket ettirir; izleyici bu durumu telafi etmezse sabit hızlı hareket modelleri bozulur.
• Gerçek zamanlı bütçeler: Algılama, eşleştirme ve varsa Re-ID modeli her karenin zaman bütçesini paylaşır; ayrıca ayrı bir Re-ID modeli, algılanan her nesne için ek bir ağ geçişi gerektirir.