Action Recognition

Eylem tanıma, videoda bir kişinin (bazen bir hayvanın veya robotun) ne yaptığını sınıflandıran bir bilgisayarlı görü görevidir: yürüme, el sallama, düşme, golf sopasıyla vuruş yapma veya şınav çekme. Birçok eylem tek karede ayırt edilemediğinden, zaman boyutunu ekleyerek görüntü sınıflandırmayı genişletir. Bir kişinin aşağıya doğru eğildiği sabit bir görüntü, oturduğunu veya ayağa kalktığını gösterebilir; kısa bir video ise hangisinin gerçekleştiğini ortaya koyar. Terim çoğu zaman insan etkinliği tanıma (HAR) ile birbirinin yerine kullanılır; ancak HAR, ivmeölçer gibi giyilebilir sensörlerden gelen verilerle tanımayı da kapsar.

Eylem Tanıma Nasıl Çalışır#

Modeller, genellikle birkaç saniyelik videodan örneklenen 8 ila 64 karelik bir klibi alır ve iki tür bilgi öğrenir: insanların ve nesnelerin görünüşünü betimleyen uzamsal özellikler ile nasıl hareket ettiklerini betimleyen zamansal özellikler. İlk iki akışlı ağlar, RGB karelerini ve optik akışı ayrı dallarda işleyip tahminlerini birleştiriyordu. 3B evrişimli sinir ağları yükseklik, genişlik ve zaman boyunca aynı anda evrişim yapar; I3D, ImageNet üzerinde önceden eğitilmiş 2B görüntü filtrelerini 3B'ye genişleterek bu ağları oluşturdu; SlowFast ise görünüş için düşük kare hızlı bir yolu hareket için yüksek kare hızlı bir yolla eşleştirir. Video dönüştürücüleri, uzay-zaman yamaları boyunca öz dikkat uygular; VideoMAE bu modelleri, büyük ölçüde maskelenmiş videoyu yeniden oluşturarak önceden eğitir.

TorchVision video modelleri içindeki bir 3B CNN, bir klibi birkaç satır kodla sınıflandırır:

import cv2
import numpy as np
import torch
from torchvision.models.video import R3D_18_Weights, r3d_18

# Load a 3D CNN pretrained on the 400 action classes of Kinetics-400
weights = R3D_18_Weights.KINETICS400_V1
model = r3d_18(weights=weights).eval()

# Read 16 consecutive frames from a short exercise video
cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solution_ci_pose_demo.mp4")
frames = [cv2.cvtColor(cap.read()[1], cv2.COLOR_BGR2RGB) for _ in range(16)]

# Stack the frames into one clip shaped (time, channels, height, width) and classify it
clip = torch.from_numpy(np.stack(frames)).permute(0, 3, 1, 2)
batch = weights.transforms()(clip).unsqueeze(0)
with torch.no_grad():
    probs = model(batch).softmax(dim=1)[0]

top = probs.argmax().item()
print(f"{weights.meta['categories'][top]}: {probs[top]:.2f}")

Model push up: 0.99 çıktısını verir: yarım saniyelik klibin tamamını 400 sınıfından bir eylemle etiketler.

İskelet tabanlı yöntemler farklı bir yaklaşım izler. Bir poz tahmini modeli önce her karedeki vücut anahtar noktalarını bulur; ardından graf ağı ST-GCN gibi zamansal bir model, ortaya çıkan eklem yörüngelerini sınıflandırır. İskeletler kıyafeti, aydınlatmayı ve arka planı yok sayar; ayrıca uç cihazlarda gerçek zamanlı işlenecek kadar küçüktür. Ultralytics YOLO26 poz modelleri, bu yaklaşım için kişi başına 17 vücut anahtar noktası sağlar; antrenman takibi çözümü ise bu anahtar noktalardan üçünün arasındaki açıyı kullanarak şınav ve squat gibi egzersizlerin tekrar sayısını belirler.

Eylem Tanıma ve İlgili Görevler#

• Poz tahmini ve nesne takibi: Poz tahmini eklemlerin konumunu belirler, takip ise her kişinin kimliğini kareler boyunca korur. Her ikisi de çoğu zaman eylem tanımanın girdileridir; eylem tanıma, tanımladıkları hareketi yorumlar. Kalabalıkta, takip edilen her kişi kendi klibini ve etiketini alır.
• Zamansal eylem yerelleştirme: Uzun ve kesilmemiş bir videoda her eylemin ne zaman başlayıp bittiğini bulur. Uzamsal-zamansal eylem algılama daha da ileri giderek AVA veri kümesinde olduğu gibi her karedeki her aktörü kutular.
• Video anlama: Video altyazısı oluşturma, soru yanıtlama, olayları ve nedenleri videoda değerlendirme gibi konuları da kapsayan daha geniş alan.

Gerçek Dünya Uygulamaları#

• Sağlık ve yaşlı bakımı: Düşme tespit sistemleri, kamera veya giyilebilir cihaz verilerinden düşmeleri tanıyıp personele uyarı gönderir; rehabilitasyon uygulamaları ise hastaların egzersizleri doğru yapıp yapmadığını kontrol eder.
• Fitness ve spor: Uygulamalar tekrar sayar ve hareket biçimini puanlar; spor analizi sistemleri yayın görüntülerinde şutları, pasları ve vuruşları sınıflandırır.
• Emniyet ve güvenlik: İzleme sistemleri kamusal alanlardaki kavgaları ve fabrika zeminlerindeki düşme ya da güvenli olmayan kaldırma hareketlerini işaretler.
• İnsan-robot etkileşimi: Robotlar ve akıllı cihazlar el sallama veya işaret etme gibi hareketlere tepki verir.

Veri Kümeleri ve Yarışmalar#

Video etiketlemek, görüntüleri etiketlemekten çok daha fazla çaba gerektirir; bu nedenle ilerleme büyük veri kümelerine dayanmıştır. Kinetics-400, 400 insan eylemi sınıfının her biri için yaklaşık 10 saniyelik en az 400 YouTube klibi içerir; UCF101 ise 101 sınıfta 13.320 klip barındırır. Something-Something V2, modellerin kulaç hareketleri yerine havuz görüntüsünden yüzmeyi tanıma eğilimi olan sahne yanlılığını hedefler: yaklaşık 220.000 klibi, yalnızca hareket bakımından farklılaşan 174 sınıfta gündelik nesnelerle etkileşen elleri gösterir. Örnek olarak “bir şeyi soldan sağa itmek” ve “bir şeyi sağdan sola itmek” verilebilir.