Video Understanding

Video anlama, bir videoda zaman içinde neler olduğunu yorumlayan bilgisayarlı görü alanıdır: Hangi nesne ve kişilerin bulunduğunu, ne yaptıklarını, olayların ne zaman başlayıp bittiğini ve bir olayın diğerine nasıl yol açtığını belirler. Görüntü tanıma her kareyi tek başına incelerken video anlama, birçok sorunun yanıtlanması için gereken hareketi ve zamansal sırayı modeller. Tek bir karede, sandalyeye oturmak üzere olan bir kişi görülebilir; kişinin oturup oturmadığını ya da ayağa kalkıp kalkmadığını ise yalnızca çevresindeki kareler gösterir. Bu alan, kısa klipleri etiketlemekten saatlerce süren görüntülerle ilgili açık uçlu soruları yanıtlamaya kadar uzanır.

Temel Görevler#

• Eylem tanıma: Kısa ve kırpılmış bir klibe "şınav" veya "düşme" gibi tek bir etiket atar.
• Zamansal eylem konumlandırma: Uzun ve kırpılmamış bir videoda her eylemin ne zaman başlayıp bittiğini bulur. Uzamsal-zamansal eylem tespiti ise her karedeki her aktörü de kutularla işaretler.
• Nesne takibi: Her nesneyi kareler boyunca kalıcı bir kimlikle izler; sayım, hız ölçümü ve yörünge analizinin temelini oluşturur.
• Video segmentasyonu: Kareden kareye tutarlı kalan nesneler veya sahne bölgeleri için piksel maskeleri üretir.
• Video açıklama ve soru yanıtlama: Bir klibi metinle açıklar veya "Araba durmadan önce sürücü ne yaptı?" gibi soruları yanıtlar.
• Zamansal eşleme: "Kaleci topu yakalar" gibi bir cümleyle eşleşen anı bulur. Bu görev, anı bulma olarak da adlandırılır.
• Anomali tespiti: Düşme, kavga veya ters yönde ilerleyen araç gibi olağandışı olayları işaretler.

Video Modelleri Nasıl Çalışır?#

Video modelleri hem görünüşü (nesnelerin nasıl göründüğünü) hem de hareketi (nesnelerin nasıl değiştiğini) yakalamalıdır. İki akışlı ağlar, RGB karelerini ve optik akışı ayrı dallarda işler. 3B evrişimli sinir ağları (CNNs), yükseklik, genişlik ve zaman boyunca birlikte evrişim uygular. Temporal Shift Module ise her katmanın kanallarının bir bölümünü komşu karelere kaydırarak 2B CNN'lere ek hesaplama gerektirmeden zamansal modelleme kazandırır. Video Transformer modelleri, uzay-zaman yamaları arasında öz dikkat uygular. TimeSformer, zamana ve uzaya ayrı adımlarda dikkat uygulayarak bunu daha hesaplı hâle getirdi. Etiketsiz videolar üzerinde yapılan öz denetimli ön eğitim, genel amaçlı güçlü kodlayıcılar üretir: Meta'nın V-JEPA 2 modeli, maskelenmiş bölgelerin temsillerini tahmin ederek internet videolarından 1 milyondan fazla saatlik veriyle öğrendi ve temel olarak hareketleri farklılık gösteren el-nesne eylemleri kıyaslama veri kümesi Something-Something v2'de %77,3 top-1 doğruluğa ulaştı. Video dil modelleri, karelerden örnekler alır, her kareyi görsel belirteçlere kodlar ve bunları soruları metinle yanıtlayan bir büyük dil modeline (LLMs) aktarır.

Bir sistemin ihtiyaç duyduğu çıktı, büyük ölçüde hangi model ailesini kullanacağını belirler:

Nesne İzlerinden Olaylar#

Uygulamadaki birçok sistem, izler üzerinde akıl yürüterek videoları anlar: Bir dedektör her karedeki nesneleri bulur, bir izleyici bu nesneleri yörüngeler hâlinde birbirine bağlar ve kurallar veya modeller yörüngeleri bir bölgeye girme, bir çizgiyi geçme ya da çok uzun süre durma gibi olaylara dönüştürür. Ultralytics nesne sayma çözümü, YOLO26 takibini bu şekilde kullanır; izlenen her nesneyi yolu bir çizgiyi geçtiğinde bir kez sayar ve ardışık karelerdeki konumlarından hareket yönünü kaydeder:

import cv2
from ultralytics import solutions

# Count people (COCO class 0) crossing a horizontal line through the middle of the 640x360 frame
counter = solutions.ObjectCounter(model="yolo26n.pt", region=[(0, 180), (640, 180)], classes=[0])

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4")
while True:
    success, frame = cap.read()
    if not success:
        break
    results = counter(frame)

# A crossing and its direction come from each person's track, so they exist only across frames
print(f"Crossed moving down: {results.in_count}, moving up: {results.out_count}")

İki sayım, tek bir karenin gösteremediği olayları açıklar. Çünkü yürüyen bir kişinin aşağı mı yoksa yukarı mı indiğini anlamak için aynı kişinin izlenmiş en az iki konumunu görmek gerekir.

Video Anlama ve İlişkili Terimler#

• Görüntü tanıma: Tek görüntülerdeki içeriği sınıflandırır veya tespit eder. Bir videonun her karesinde çalıştırılması, kimlik, hareket veya sıra bilgisi içermeyen kare başına sonuçlar verir.
• Çoklu nesne takibi (MOT): Nesnelerin ne yaptığını yorumlamadan kimliklerini kareler boyunca koruyan ve video anlamanın yapı taşlarından biri olan yöntem.
• Video üretimi: Metin veya görüntülerden yeni video oluşturur. Bu, ters yöndeki süreçtir; ancak ikisi de sahnelerin zaman içinde nasıl değiştiğini modelleyen yöntemlere dayanır.
• Çok modlu yapay zekâ: Videoyu ses, altyazı veya başka verilerle birleştirir. Bu, önemli bilgi ses kaydında veya konuşmada olduğunda yarar sağlar.

Uygulamalar#

• Spor analitiği: Hızı, topa sahip olma durumunu ve dizilişleri ölçmek, tam maç kayıtlarında önemli anları bulmak için oyuncuları ve topu takip eder.
• Trafik ve akıllı şehirler: Araçları ve yayaları sayar, hızları ölçer, ters yönde ilerleyen veya yolda kalan araçları tespit eder.
• Perakende ve güvenlik izleme: Kuyruk uzunluklarını ölçer, bakım evlerindeki düşmeleri işaretler ve kısıtlı bölgelere giren kişileri tespit eder.
• Medya ve içerik denetimi: Büyük video kütüphanelerini arama için dizine ekler ve politikaları ihlal eden yüklemeleri işaretler.
• Robotik ve otonom araçlar: Yayaların ve diğer araçların bir sonraki hareket yönünü tahmin eder.

Zorluklar#

Video, her görüntünün maliyetini katlar: Saniyede 30 kare hızında bir dakika 1.800 kare içerir. Bu nedenle modeller, genellikle klip başına 8 ila 64 kare gibi seyrek örnekleme yapar ve yine de kısa süreli olayları kaçırma riski taşır. Uzun videolar belleği ve bağlam uzunluğunu zorlar; eylemleri kesin başlangıç ve bitiş zamanlarıyla etiketlemek de görüntüleri etiketlemekten çok daha uzun sürer. Google'ın Gemini API'si videoyu saniyede bir kare hızında örnekler ve varsayılan düşük medya çözünürlüğünde videonun saniyesi başına yaklaşık 100 belirteç kullanır. Böylece modelleri, bir milyon belirteçlik bağlam penceresiyle üç saate kadar video veya yüksek çözünürlükte bir saat video işleyebilir.