Multi-Object Tracking (MOT)

Çoklu Nesne Takibi (MOT), bir video akışı içindeki birden fazla farklı varlığı tespit etmeyi ve bunların kimliklerini zaman içinde korumayı içeren bilgisayarlı görü (CV) alanında dinamik bir görevdir. Her kareyi bağımsız bir anlık görüntü olarak ele alan standart nesne tespiti uygulamasının aksine MOT, yapay zekaya (AI) zamansal bir boyut kazandırır. Kalabalıktaki belirli bir yaya veya otoyoldaki bir araç gibi tespit edilen her örneğe benzersiz bir kimlik numarası (ID) atayarak MOT algoritmaları; sistemlerin yörüngeleri izlemesine, davranışları analiz etmesine ve etkileşimleri anlamasına olanak tanır. Bu yetenek, modern video anlama süreçlerinin temelini oluşturur ve makinelerin değişen bir ortamda sürekliliği algılamasını sağlar.

MOT Nasıl Çalışır?#

Güncel takip sistemlerinin çoğu "algılama ile takip" (tracking-by-detection) paradigması üzerinde çalışır. Bu yaklaşım, süreci iki ana aşamaya ayırır: kare içinde ne olduğunu tanımlamak ve ardından bu bulguları geçmişten gelen bilinen nesnelerle ilişkilendirmek.

1. Tespit: Her karede YOLO26 gibi yüksek performanslı bir model, nesnelerin yerini bulmak için görüntüyü tarayarak sınırlayıcı kutular ve sınıf olasılıkları üretir.

2. Hareket Tahmini: Bir nesnenin bir sonraki hamlesini öngörmek için algoritmalar genellikle Kalman Filtresi kullanır. Bu matematiksel araç; hız ve konum gibi dinamik bir sistemin durumunu tahmin ederek sonraki karede arama alanını daraltmaya yardımcı olur.

3. Veri İlişkilendirme: Sistem, yeni tespitleri mevcut izlerle eşleştirir. Macar algoritması gibi optimizasyon yöntemleri, mekansal örtüşmeyi ölçmek için genellikle Kesişim Üzeri Birlik (IoU) ölçütüne güvenerek eşleştirme maliyetini en aza indirir ve bu atama problemini çözer.

4. Yeniden Tanıma (ReID): Tıkanma olarak bilinen görsel engeller oluştuğunda gelişmiş takipçiler, nesne yeniden göründüğünde onu tanımak için görsel gömmelerden yararlanır. Bu, "ID değişimini" önlemeye yardımcı olarak bir tünelden çıkan aracın oraya giren araçla aynı olduğunu sistemin bilmesini sağlar.

MOT'u Tek Nesne Takibinden Ayırmak#

Terminoloji benzer olsa da Çoklu Nesne Takibi (MOT), Tek Nesne Takibinden (SOT) önemli ölçüde farklıdır. SOT, genellikle diğer tüm varlıkları göz ardı ederek ilk karede başlatılan belirli bir hedefi takip etmeye odaklanır. Buna karşılık MOT, her an sahneye girebilecek veya sahneden ayrırılabilecek bilinmeyen ve değişken sayıda hedefi yönetmelidir. Bu durum; iz başlatma, sonlandırma ve birden fazla hareketli gövde arasındaki karmaşık etkileşimleri yönetmek için güçlü bir mantık gerektirdiğinden MOT'u hesaplama açısından daha talepkâr hale getirir.

Gerçek Dünya Uygulamaları#

Birden fazla varlığı aynı anda takip edebilme yeteneği, birçok büyük endüstride inovasyonu yönlendirir.

• Otonom Sürüş: Otonom araçlar güvenli bir şekilde seyahat etmek için büyük ölçüde MOT'a güvenir. Yayaları, bisikletlileri ve diğer araçları takip ederek otonom sistemler çarpışmaları önlemek için gelecekteki konumları tahmin edebilir. Bu süreç genellikle maksimum güvenilirlik için kameralardan ve LiDAR sensörlerinden gelen verilerin birleştirilmesini gerektirir.
• Perakende Analitiği: Fiziksel mağazalarda perakendeciler, müşteri yolculuklarını haritalandırmak için perakendecilikte yapay zekadan yararlanır. MOT algoritmaları, yaya trafiğinin ısı haritalarını üreterek yöneticilerin mağaza düzenlerini optimize etmesine ve yoğun saatlerde kuyruk yönetimini iyileştirmesine yardımcı olur.
• Spor Analitiği: Profesyonel takımlar oyuncu hareketlerini ve takım dizilişlerini analiz etmek için MOT kullanır. Saha üzerindeki her oyuncuyu takip eden koçlar; poz kestirimi tekniklerini kullanarak hız, katedilen mesafe ve taktiksel konumlandırma hakkında ayrıntılı metrikler elde edebilir.

Python ile MOT Uygulama#

Ultralytics, en son teknolojiye sahip modellerle takibi uygulamayı kolaylaştırır. track() yöntemi; tespit ve takip mantığını kusursuz bir şekilde entegre ederek ByteTrack ve BoT-SORT gibi algoritmaları destekler. Aşağıdaki örnek, önerilen YOLO26 modeli kullanılarak bir videodaki araçların nasıl takip edileceğini göstermektedir.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Çoklu Nesne Takibindeki Zorluklar#

İlerlemelere rağmen MOT zorlu bir alan olmaya devam etmektedir. Tıkanma, temel zorluklardan biridir; nesneler yollarını kestiğinde veya engellerin arkasına saklandığında kimliği korumak karmaşıklaşır. Yoğun bir maraton veya kuş sürüleri gibi kalabalık sahneler, veri ilişkilendirme algoritmalarının sınırlarını zorlar. Dahası, yüksek çözünürlüklü video akışları işlenirken gerçek zamanlı çıkarım hızlarını korumak; verimli model mimarileri ve genellikle NVIDIA Jetson cihazları gibi özel donanımlar gerektirir.

Bu zorlukların üstesinden gelmek için araştırmacılar; tespiti ve takibi tek bir ağda birleştiren uçtan uca derin öğrenme yaklaşımlarını inceliyor ve zorlu veri kümelerine açıklama eklemek ile güçlü özel modeller eğitmek için Ultralytics Platform altyapısından yararlanıyor.