Çoklu Nesne Takibi (MOT)

Çoklu Nesne Takibi (MOT), bilgisayar görüşünde (CV) video akışı içinde birden fazla farklı nesneyi algılama ve bunların kimliklerini zaman içinde koruma işlemini içeren dinamik bir görevdir. Her kareyi izole bir anlık görüntü olarak ele alan standart nesne algılamadan farklı olarak, MOT yapay zekaya (AI) zamansal bir boyut getirir. Kalabalık içindeki belirli bir yaya veya otoyoldaki bir araç gibi algılanan her örneğe benzersiz bir kimlik numarası (ID) atayarak, MOT algoritmaları sistemlerin yörüngeleri izlemesine, davranışları analiz etmesine ve etkileşimleri anlamasına olanak tanır. Bu yetenek, modern video anlayışının temelidir ve makinelerin değişen bir ortamda sürekliliği algılamasını sağlar.

MOT Nasıl Çalışır?

Günümüzün çoğu izleme sistemi, "algılama yoluyla izleme" paradigmasıyla çalışır. Bu yaklaşım, süreci iki ana aşamaya ayırır: çerçevede ne olduğunu belirlemek ve ardından bu bulguları geçmişte bilinen nesnelerle ilişkilendirmek.

1. Algılama: Her karede, YOLO26 gibi yüksek performanslı bir model görüntüyü tarayarak nesneleri bulur ve sınırlayıcı kutular ve sınıf olasılıkları oluşturur.
2. Hareket Tahmini: Bir nesnenin bir sonraki hareketini tahmin etmek için algoritmalar genellikle Kalman Filtresi kullanır. Bu matematiksel araç, hız ve konum gibi dinamik bir sistemin durumunu tahmin ederek sonraki karede arama alanını daraltmaya yardımcı olur.
3. Veri İlişkilendirme: Sistem, yeni tespitleri mevcut izlerle eşleştirir. Macar algoritması gibi optimizasyon yöntemleri, eşleştirme maliyetini en aza indirerek bu atama sorununu çözer ve genellikle uzamsal örtüşmeyi ölçmek için Birleşim Üzerine Kesişim (IoU) yöntemine dayanır.
4. Yeniden Tanımlama (ReID): Görsel engeller oluştuğunda (tıkanma olarak bilinir), gelişmiş izleyiciler görsel gömmeleri kullanarak nesneyi yeniden göründüğünde tanır. Bu, "kimlik değiştirmeyi" önlemeye yardımcı olur ve sistemin tünelden çıkan arabanın tünele giren araba ile aynı olduğunu bilmesini sağlar.

MOT'u Tek Nesne Takibinden Ayırma

Terminoloji benzer olsa da, Çoklu Nesne Takibi (MOT) Tekli Nesne Takibi (SOT) ile önemli ölçüde farklılık gösterir. SOT, SOT, genellikle diğer tüm varlıkları göz ardı ederek, ilk karede başlatılan belirli bir hedefi takip etmeye odaklanır. Buna karşılık, MOT, herhangi bir anda sahneye girebilecek veya sahneden çıkabilecek bilinmeyen ve değişken sayıda hedefi işlemek zorundadır. Bu, MOT'u hesaplama açısından daha zorlu hale getirir, çünkü track , sonlandırma ve birden fazla hareketli cisim arasındaki karmaşık etkileşimleri işlemek için sağlam bir mantık gerektirir.

Gerçek Dünya Uygulamaları

track varlığı aynı anda track etme yeteneği, birçok önemli sektörde yenilikçiliği teşvik etmektedir.

• Otonom Sürüş: Otonom araçlar, güvenli bir şekilde yol alabilmek için MOT'a büyük ölçüde güvenmektedir. Yayaları, bisikletlileri ve diğer araçları takip ederek, otonom sistemler çarpışmaları önlemek için gelecekteki konumları tahmin edebilir. Bu, genellikle maksimum güvenilirlik için kameralardan ve LiDAR sensörlerinden gelen verilerin birleştirilmesini içerir.
• Perakende Analitiği: Fiziksel mağazalarda, perakendeciler perakendede yapay zekayı kullanarak müşteri yolculuklarını haritalandırır. MOT algoritmaları, mağaza trafiğinin ısı haritalarını oluşturarak yöneticilerin mağaza düzenini optimize etmesine ve yoğun saatlerde kuyruk yönetimini iyileştirmesine yardımcı olur.
• Spor Analitiği: Profesyonel takımlar, MOT'u oyuncu hareketlerini ve takım oluşumlarını analiz etmek için kullanıyor. Saha üzerindeki her oyuncuyu takip ederek, koçlar poz tahmin tekniklerini kullanarak hız, kat edilen mesafe ve taktiksel konumlandırma hakkında ayrıntılı ölçümler elde edebiliyor.

Python ile MOT'u uygulamak

Ultralytics , en son teknolojiye sahip modellerle izlemeyi kolayca uygulamaya koymanızı Ultralytics . track() Yöntem, algılama ve izleme mantığını sorunsuz bir şekilde entegre eder ve aşağıdaki algoritmaları destekler: ByteTrack ve BoT-SORTAşağıdaki örnek, önerilen yöntemi kullanarak bir videodaki araçları izlemeyi göstermektedir. YOLO26 modeli.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Çoklu Nesne Takibinde Karşılaşılan Zorluklar

İlerlemelere rağmen, MOT zorlu bir alan olmaya devam ediyor. Örtülme birincil zorluktur; nesneler yollarını kesiştiğinde veya engellerin arkasına saklandığında, kimliklerini korumak karmaşıktır. Kalabalık sahneler, yoğun bir maraton veya bir kuş sürüsü gibi, veri ilişkilendirme algoritmalarının sınırlarını zorlar. Ayrıca, yüksek çözünürlüklü video akışlarını işlerken gerçek zamanlı çıkarım hızlarını korumak, verimli model mimarileri ve genellikle NVIDIA cihazları gibi özel donanımlar gerektirir. Bu, nesnelerin kimliklerini korumak için

Bu zorlukları aşmak için araştırmacılar, algılama ve izlemeyi tek bir ağda birleştiren uçtan uca derin öğrenme yaklaşımlarını araştırıyor ve Ultralytics kullanarak zorlu veri kümelerini açıklamaya ve sağlam özel modeller eğitmeye çalışıyorlar.